English
Eurasian Journal of Educational Research
Print ISSN: 1302-597X & e-ISSN: 2528-8911
EJER |

Ana Sayfa > > Klasik Test Kuram? ve Çok De?i?kenlik Kaynakl? Rasch Modeli Üzerine Bir Çal??ma
  Yazar : Ne?e GÜLER-Selahattin GELBAL
  Bu özet 3715 kere okundu..


Başlık :
Klasik Test Kuram? ve Çok De?i?kenlik Kaynakl? Rasch Modeli Üzerine Bir Çal??ma

Konu :

Problem Durumu: Ölçme, bir özelli?in gözlenerek gözlem sonuçlar?n?n say? ya da sembollerle ifade edilmesi olarak tan?mlan?rken, de?erlendirme daha geni? kapsaml? bir süreç olup; ölçme sonuçlar?, ölçüt ve karar verme basamaklar?n? içermektedir. Ölçme sonuçlar?n?n bir ölçütle kar??la?t?r?larak karara var?lmas? olarak tan?mlanan de?erlendirmenin do?ru yap?lm?? olmas?nda, kullan?lan ölçütün uygunlu?u yan?s?ra, ölçme sonuçlar?n?n güvenilir ve geçerli olmas?n?n çok büyük önemi bulunmaktad?r. De?erlendirme sonuçlar?n?n isabetli olma derecesini artt?rabilmek için yap?lan ölçme i?lemlerinde kullan?lan ölçme araçlar?n?n güvenirli?inin ve geçerli?inin olabildi?ince yüksek olmas? istenir. Güvenirlik, ölçme sonuçlar?n?n tesadüfi hatalar?ndan ar?n?k olma derecesi olarak tan?mlanmaktad?r. Güvenirlik, ölçümlerin zaman içersindeki tutarl?l?klar?n?n derecesidir. Güvenirli?in derecesi genellikle bir katsay? ile ifade edilir. Bu katsay? “0” (güvenilir de?il) ile “1”(mükemmel güvenirlik) aras?nda de?i?en de?erler al?r ve ölçme sonuçlar?n?n tesadüfi hatalardan ne derece ar?n?k oldu?unu gösterir. Ö?renci ba?ar?s?n? aç?k-uçlu sorularla ölçülmesinde, güvenirlik en zay?f halka olarak dü?ünülmektedir. Puanlay?c?, aç?k-uçlu sorulara verilen cevaplar?n puanlanmas?nda güvenirli?i dü?üren önemli bir hata kayna?? olmakla birlikte, görev ya da madde gibi di?er faktörler de en az o kadar önemli di?er hata kaynaklar?d?r.  Bu nedenle sadece puanlay?c?lar aras? tutarl?l??? sa?lamak puanlaman?n güvenirli?i için yeterli olmamakta, di?er hata kaynaklar?n?n da güvenirli?in hesaplanmas?nda göz önünde bulundurulmas? gerekmektedir. Ancak güvenirli?in hesaplanmas? için kullan?lan tüm yöntemler, tüm hata kaynaklar?yla ayn? anda ele almamaktad?r. Aç?k-uçlu sorularla yap?lan ölçmelerin güvenirli?i, ölçmenin üç temel kuram? olan klasik test kuram?, madde tepki kuram? ve genellenebilirlik kuram?na dayal? yöntemlerle çal???lmaktad?r.

Ara?t?rman?n Amac?: Bu ara?t?rmayla, güvenirli?in belirlenmesinde klasik test kuram? klasik test kuram?na dayal? ölçme yöntemi ve çok de?i?kenlik kaynakl? Rasch modeli (ÇDKRM) yakla??mlar? kullan?larak birbirleriyle ve kendi içlerinde tutarl?l?klar? s?nanarak benzer ölçme durumlar? için kuramsal bir katk? sa?lanabilece?i dü?ünülmektedir. Matematik e?itimcileri, matematikle ilgili ba?ar?n?n ölçülmesinde subjektif ölçme araçlar? kulland?klar?nda, ö?rencilerinin matematiksel bilgilerine ili?kin verdikleri puanlar?n ne kadar güvenilir oldu?unu bilmek isterler. Bununla birlikte, matematik ba?ar?s?n?n ölçülmesinde en etkili olan de?i?kenlik kayna??n?n ne oldu?unu ve ölçme hatas?n? en aza indirmek için ölçmenin nas?l yap?lmas? gerekti?ini bilmeye ihtiyaç duyarlar. Ayn? zamanda bu noktalara temas edilerek matematik e?itimcilerini bu konularda ayd?nlatmak, çal??man?n bir di?er amac?d?r.

Ara?t?rman?n Bulgular?: Çal??mada kullan?lan 18 matematik sorusunun Cronbach  α güvenirlik katsay?lar? birinci ve ikinci puanlay?c?lar için 0.91 ve üçüncü ve dördüncü puanlay?c?lar için 0.92 olarak bulunmu?tur. Elde edilen bu katsay?lara göre, maddelerin matematik ba?ar?s?n? birbirleriyle tutarl? bir ?ekilde ölçtükleri yorumu yap?labilir. Yap?lan uygulamada, dört farkl? puanlay?c?n?n ayn? ko?ullar alt?nda her bir ö?renciyi puanlamas?na ili?kin elde edilen puanlar aras?ndaki tutarl?l?k derecesi, Kendall’?n uyum katsay?s? ile analiz edilmi? ve sonuç olarak 18 madde için 0.52 olarak bulunmu?tur (X2=315.16, sd=3, p=0.00). Ayr?ca, her bir puanlay?c?n?n verdi?i puanlar ile di?er bir puanlay?c?n?n verdi?i puanlar aras?ndaki korelasyon katsay?lar? hesaplanm??t?r. Puanlay?c?lar?n 18 madde üzerinden verdikleri puanlar aras?ndaki korelasyonlar 0.90 ile 0.97 aras?nda de?i?en oldukça yüksek de?erlere sahiptir. Elde edilen bu de?erler puanlay?c?lar aras? uyumun oldu?u yorumunu destekler niteliktedir. Çal??mada yer alan dört puanlay?c?n?n puanlar? ortalamalar? aras?ndaki farkl?l?k, ili?kili örneklem üzerinde tek de?i?kenli varyans analizi ile test edilmi? ve istatistiksel olarak anlaml? bir fark oldu?u sonucuna var?lm??t?r (F=13.801, p=0.00). Bu sonuç üzerine yap?lan post-hoc çal??mas?yla puanlay?c?lar?n puanlar? ortalamalar?n?n ikili kar??la?t?r?lmas? sonucunda birinci puanlay?c? hariç di?er tüm puanlay?c?lar?n verdikleri puanlar?n ortalamalar? aras?nda manidar bir farkl?l?k görülmemi?tir. ÇDKRM için FACET analizi sonuçlar?nda, verilerin modelle olan uyumu için standartla?t?r?lm?? art?k de?erlerin (residuals) yakla??k en fazla %5’i ±2’nin d???nda ve yakla??k en fazla %1’inin de ±3’ün d???nda olmas? gerekmektedir (Linacre, 2007). Matematik puanlar?ndan elde edilen toplam 14.616 verinin standart art?k de?erlerinin 244’ü (%1.6) ±2’nin d???nda ve 88’i (%0.6) de ±3’ün d???nda yer alm??t?r. Buna göre, FACET analizi için model veri uyumunu sa?lad??? yorumu yap?labilir.

Ölçme sonucu, toplam 203 ö?rencinin logit de?erleri -4.50 ile 2.50 aras?nda de?i?mektedir. Bu logit de?erlerin ortalamas? 0.51 ve standart sapmas? 0.11’dir. Ay?rma indeksi (G) 4.39 ve güvenirli?i 0.95 olarak yeterince yüksek bulunmu?tur. Hem iç uyum (infit) istatistikleri hem de d?? uyum (outfit) istatistikleri verilerin modele çok iyi uyum gösterdi?ine i?aret etmektedir. Ö?rencileri puanlayan dört puanlay?c?n?n puanlamas?ndaki kat?l?k/cömertliklerine ili?kin logit de?erlerin -0.10 ile 0.22 aras?nda de?i?ti?i görülmektedir. Ay?rma indeksine bak?ld???nda 10.59 gibi oldukça yüksek bir de?erle kar??la??lmaktad?r. Bu de?er puanlay?c?lar aras? farkl?l?k oldu?unun bir göstergesidir. Ay?rma indeksi güvenirli?i de 0.99 olarak elde edilmi?tir. Hem iç uyum hem de d?? uyum de?erleri, verinin genel anlamda modele çok iyi uyum gösterdi?ine i?aret etmektedir. Di?er bir deyi?le, dört puanlay?c?n?n birbirlerine göre puanlamalar? farkl?l?k göstermesine kar??n, Rasch modeline göre puanlay?c?lar kendi içinde ö?rencilerin tümünü, tüm maddeler aç?s?ndan birbirleriyle tutarl? olarak ölçmü?tür yorumu yap?labilir. Maddelerin güçlük düzeyleri -0.46 ile 0.48 aras?nda de?i?mektedir. Maddelere ili?kin ay?rma indeksi 8.36 ve güvenirlik 0.99 olarak elde edilmi?tir. Hem iç uyum hem de d?? uyum de?erleri, verinin genel anlamda modele çok iyi uyum gösterdi?ine i?aret etmektedir.  Bu de?erler, verilerin ölçüm için uygun oldu?unu i?aret etmektedir.

Sonuç ve Öneriler

: 2007 y?l?nda uygulanan matematik ba?ar?s?n?n ölçülmesinde yer alan maddelerin matematik ba?ar?s?n? oldukça tutarl? bir ?ekilde ölçtü?ü sonucuna var?lm??t?r. Çal??mada yer alan dört puanlay?c?n?n puanlamadaki kat?l?k/cömertlik düzeylerinin birbirinden farkl? oldu?u görülmekle birlikte puanlay?c?lar?n puanlar? s?ralamas? paralellik göstermekte olup, birbirleriyle tutarl? olacak ?ekilde puanlama yapt?klar? sonucuna var?lm??t?r.

ÇDKRM’ne göre, FACET analizi ile modelin veri için uygun oldu?u sonucuna var?lm??t?r. FACET analizi ile ay?rma indeksi hesaplanm?? ve bu de?erin oldukça yüksek oldu?u belirlenmi?tir. Ö?renci de?i?kenlik boyutu için ay?rma indeksi güvenirli?i; KR-20, Cronbach alfa ve genellenebilirlik katsay?s?na benzer yorumlanmaktad?r. Buna göre, matematik puanlar?n?n ÇDKRM’ne göre iç tutarl?l?k anlam?nda güvenirli?inin yüksek oldu?u sonucuna var?lm??t?r. Dört puanlay?c?n?n, FACETS analizi ile hesaplanan ay?rma indeksinin oldukça yüksek bir de?erde oldu?u belirlenmi?tir. Bu de?ere göre puanlay?c?lar?n cömertlik/kat?l?k aç?s?ndan birbirlerinden farkl? olduklar? sonucuna var?lm??t?r. Bununla birlikte, uyum istatistiklerinin i?aret etti?i ?ekliyle; bir bütün olarak puanlay?c?lar?n tutarl? puanlama yapm?? olduklar? belirlenmi?tir. FACETS analiziyle maddelerin güçlük dereceleri aç?s?ndan birbirlerinden farkl? olduklar? sonucuna var?lm??t?r.

ÇDKRM, tek bir çal??ma ile her bir de?i?kenlik kayna??na ili?kin farkl? güvenirliklerin hesaplanmas?na imkan verdi?i için her bir de?i?kenlik kayna?? için ayr?nt?l? bilgi sa?lamaya olanak tan?r. Tüm de?i?kenlik kaynaklar?n?n tek bir ölçekte birlikte de?erlendirilmesi, her bir de?i?kenlik kayna?? içindeki uyumsuzluklar?n belirlenmesi ve böylece hangi madde ya da puanlay?c?dan kaynakl? bir sorun oldu?unun aç?kça görülmesinin istendi?i durumlarda ÇDKRM’nin kullan?lmas? uygun olabilir. Özellikle birden fazla puanlaman?n yap?ld??? durumlarda güvenirli?in kestirilmesinde, klasik test kuram?n?n yan? s?ra ÇDKRM’inin kullan?lmas? önerilebilir. Farkl? ölçme durumlar?nda iki kuram?n birlikte kullan?ld??? benzer çal??malar?n yap?lmas?n?n güvenirlik çal??malar?na katk? sa?layaca?? dü?ünülmektedir.

« Geri Dön