English
Eurasian Journal of Educational Research
Print ISSN: 1302-597X & e-ISSN: 2528-8911
EJER |

Sumeyra SOYSAL , Haydar KARAMAN , Nuri DOGAN

The Effects of Sample Size and Missing Data Rates on Generalizability Coefficients

10.14689/ejer.2018.75.10
  Yazar : Sumeyra SOYSAL , Haydar KARAMAN , Nuri DOGAN
  Bu özet 317 kere okundu..


Başlık :
Sumeyra SOYSAL , Haydar KARAMAN , Nuri DOGAN

The Effects of Sample Size and Missing Data Rates on Generalizability Coefficients

10.14689/ejer.2018.75.10

Özet :

Soysal, S., Karaman, H., & Dogan, N. (2018). The effects of sample size and missing data rates on generalizability coefficients. Eurasian Journal of Educational Research, 75, 179-196, DOI: 10.14689/ejer.2018.75.10

Problem Durumu:

Veri toplama ve bu verilerin analiz edilmesinin temele alındığı araştırmalarda karşılaşılma olasılığı olan en önemli problemlerden biri kayıp veridir. Kayıp veri planlanan veri kümesi ile elde edilen veri kümesi arasındaki fark olarak tanımlanabilir. Alan yazın incelendiğinde kayıp veri problemi ölçme araçlarının uygulanması sonucu karşılaşılan yaygın bir problem olmasına karşın, ölçme araçlarının psikometrik özelliklerine etkisi üzerinde pek durulmamıştır. Özellikle ölçme sonuçlarının güvenirliğinin, geçerliğinin, ortalama ayırıcılık ve güçlük gibi istatistiklerin kayıp verilerden nasıl ve ne düzeyde etkilendiği konusu pek araştırılmamıştır. Başarı testi, tutum ölçeği, anketler vb. katılımcılara uygulandığı zaman çeşitli sebeplerle bazı katılımcıların cevap vermemesi durumuna çok sık rastlanır. Katılımcılar ölçme araçlarındaki soruları bir fikri olmaması, uygun bir cevap bulamaması, yanlışlıkla soruyu cevaplamadan atlaması veya cevabını doğru bir şekilde işaretlememesi nedenleriyle boş bırakabilmektedir. Ancak ölçme araçlarına gelen cevaplar azaldıkça ya da kayıp veri arttıkça toplanan bilgi azalacak ve ölçme sonuçlarının geçerliği ve güvenirliğinin düşmesi beklenecektir. Kayıp verilerin eğitim ve psikolojide kullanılan ölçme araçlarının psikometrik özelliklerini etkilemesi kaçınılmaz bir durumdur. Dolayısıyla kayıp verilerin ölçme araçlarının psikometrik özellikleri üzerindeki etkisinin araştırılmasına ihtiyaç olduğu düşünülmektedir.

Araştırmanın Amacı:

Belirlenen bu ihtiyaca bağlı olarak kayıp verinin ölçme araçlarının psikometrik özelliklerinden güvenirliğe etkisi üzerinde çalışılmasına karar verilmiştir. Bu yönü ile çalışma diğer çalışmalardan farklılık göstermektedir. Çalışmanın ikinci ve daha önemli bir yönü ise kayıp veri oranının genellenebilirlik (G) ve phi (güvenirlik) katsayısına olan etkisini incelemesidir. Brennan (2001), Genellenebilirlik kuramına dayalı olarak kayıp veriye sahip ölçme sonuçlarından uygun formüllerle herhangi bir cevaplayıcıyı verilerden silmeden genellenebilirlik ve güvenilirlik katsayılarının hesaplanacağını göstermiş ancak kayıp verinin G ve Phi katsayısına olan etkisi herhangi bir araştırmacı tarafından incelenmemiştir. Kayıp verilerin G ve Phi katsayısına etkisi bu araştırmanın temel sorusunu oluşturmaktadır. Ayrıca ikili puanlanan verilerde kayıp veri sorunu ile karşılaşan araştırmacıların en sık başvurdukları yöntemlerden biri kayıp verileri yanlış cevap olarak kabul edip sıfır puan ataması yapmaktır. Bu yaklaşımın güvenirlik kestirimine etkisi, bu çalışmayla cevaplamaya çalışılan bir başka sorudur. Dolayısıyla, bu araştırmada normal dağılım altında zayıf ve güçlü tek boyutluluk özelliği gösteren kayıp verili ve sıfır atamayla elde edilen ölçme sonuçlarının güvenirliğinin değişen örneklem büyüklüleri ve kayıp veri oranlarından nasıl etkilendiği sorusuna yanıt aranmıştır.

Araştırmanın Yöntemi:

Güvenirlik kestirimleri, hata kaynaklarına bağlı olarak farklı anlamlarda elde edilen güvenirlik katsayılarını aynı anda değerlendirmeyi sağlayan Genellenebilirlik Kuramı açısından ele alınmıştır. Araştırma sorularına bağlı olarak öncelikle normal dağılım gösteren zayıf ve güçlü tek boyutlu yapılarda farklı örneklem büyüklüğüne (N=100, 200, 400, 1000) sahip tam veri setleri üretilmiştir. Bu setlerden tamamıyla seçkisiz olacak şekilde farklı kayıp veri oranlarında (%5, %10, %20,%30) veriler silinerek kayıp verili setler oluşturulmuştur. Araştırma sonuçları tam veri setleri ile kayıp ve sıfır atama yapılmış veri matrislerinden elde edilen G ve phi katsayılarının ortalamaları karşılaştırılarak değerlendirilmiştir. Ayrıca değerlendirmeleri daha isabetli yapabilmek için hata istatistiklerinden hataların kareleri ortalamasının karekökü (RMSE) ve yanlılık (bias) değerleri hesaplanarak yorumlanmıştır.

Bulgularda ortaya çıkan temalar:

Tam veri ile kayıp veri setlerinden elde edilen kestirimler karşılaştırıldığında, zayıf tek boyutlu desenler için kayıp veri oranının %20 ve daha fazla olduğu durumlarda G ve Phi katsayılarının önemli derecede etkilendiği ancak güçlü tek boyutlu desenler de kayıp veri oranın %30 olduğu durumda dahi bu katsayıların minimal düzeyde etkilendiği bulunmuştur. Örneklem büyüklüğünün her bir koşulu için kayıp veri oranı artıkça hata değerlerinin zayıf tek boyutlu verilerde daha fazla arttığı; güçlü tek boyutlu verilerde ise minimal düzeyde arttığı gözlenmiştir. Kayıp veri oranının her bir koşulu için zayıf ve güçlü tek boyutlu verilerin her ikisinde de örneklem büyüklüğü arttıkça hata ve yanlılık değerlerinin ya değişmediği ya da minimal düzeyde azaldığı görülmüştür. Bütün koşullar bir arada değerlendirildiğinde zayıf tek boyutlu verilere ait hata istatistiklerinin güçlü tek boyutlu verilerden elde edilenlere göre daha büyük olduğu gözlenmiştir. Ayrıca özellikle zayıf tek boyutlu verilerde sıfır atama sonucu elde edilen kestirimlerin kayıp veri matrisinden elde edilen kestirimlerden daha düşük ve sıfır atama yöntemine dayalı olarak zayıf tek boyutlu verilerin hata istatistiklerinin güçlü tek boyutlu verilerin hata istatistiklerinden, özellikle %20 ve %30 kayıp veri oranlarında, önemli derecede yüksek olduğu bulunmuştur.

Araştırmanın Sonuçları ve Önerileri:

Dolayısıyla sıfır atama yöntemi ile elde edilen güvenirlik kestirimleri yanlı sonuçlar verdiğinden bu yöntemin güvenirlik kestirimlerinde kayıp veri ile baş etme yöntemi olarak kullanılmaması; bunun yerine ölçme sonuçlarının güvenirliğinin hesaplanmasında kayıp veri matrisleri ile analiz yapmaya olanak sağlayan Genellenebilirlik kuramının kullanılması önerilebilir. Ayrıca kayıp veri matrisleriyle ölçme sonuçlarının güvenirliğinin Genellenebilirlik kuramı ile hesaplanabileceğine dikkat çekmek istenilen bu çalışma iki kategorili veriler ile yürütülmüştür. Mevcut analizler çok kategorili veriler için tekrarlanabileceği gibi araştırmada incelenen koşulların farklı düzeylerinde de gerçekleştirilebilir. Bir başka araştırma problemi olan kayıp veri ile baş etme yöntemlerinin ölçme sonuçlarının güvenirliğine etkisi Genellenebilirlik kuramı bağlamında ayrıca incelenebilir.

Anahtar Kelimeler:

Güvenirlik, G katsayısı, phi katsayısı, sıfır atama, MCAR, genellenebilirlik kuramı, kayıp veri matrisi

« Geri Dön