English
Eurasian Journal of Educational Research
Print ISSN: 1302-597X & e-ISSN: 2528-8911
EJER |

Onder SUNBUL, Seha YORMAZ

Investigating the Performance of Omega Index According to Item Parameters and Ability Levels

10.14689/ejer.2018.74.11
  Yazar : Onder SUNBUL, Seha YORMAZ
  Bu özet 102 kere okundu..


Başlık :
Onder SUNBUL, Seha YORMAZ

Investigating the Performance of Omega Index According to Item Parameters and Ability Levels

10.14689/ejer.2018.74.11

Özet :

Sunbul O. & Yormaz S. (2018). The Effect of Augmented reality applications in learning process: A meta-analysis study, Eurasian Journal of Educational Research, 74, 207-226, DOI: 10.14689/ejer.2018.74.11

Problem Durumu:

Çoktan seçmeli maddeler sağlamış olduğu birtakım avantajlardan dolayı geniş ölçekli sınavlarda sıkça kullanılmaktadır. Bütün sınavlarda olduğu gibi çoktan seçmeli maddelerden oluşan testlerin de geçerlik ve güvenirliği bireyler hakkında karar vermede oldukça önemli bir role sahiptir. Sınav süreçlerinde bireylerin çeşitli şekillerde kopya çekme davranışı gösterme eğiliminde olduğu bilinmektedir. 21. yüzyılda teknoloji giderek ivmelenen bir şekilde gelişim göstermiştir. Teknolojide meydana gelen bu gelişmelerin bireylerin yaratıcılığı ile birleşmesi ve bireyler arasındaki rekabetin artması sonucu çok çeşitli kopya çekme türleri ortaya çıkmıştır. Testin uygulanması öncesinde, test uygulaması sürecinde ve sonrasında oluşabilecek hile karıştırma girişimlerini engellemek ağırlıklı olarak test güvenliğini ilgilendiren süreçlerdir. İstenmeyen bir durum oluşmaması adına test güvenliği üzerinde hassasiyetle durulmalıdır. Eğer gerekli hassasiyet gösterilmezse, doğacak sonuçların maliyeti ağır olabilmektedir. Bu hassasiyete rağmen bir kopya durumu oluştuğu takdirde, kopyayı tespit edebilmek için alternatif yol arayışlarına girilmiştir ve birçok kopya belirleme yöntemi geliştirilmiştir. Bu yöntemlerin en çok itibar edilenleri istatistiksel yöntemlerdir. İstatistiksel yöntemlerin performansına yönelik yapılan araştırmalarda ise madde tepki kuramına dayalı olan ? indeksinin kopya belirlemede öne çıktığı görülmüştür. Alanyazında ? indeksinin hangi koşullar altında çalıştığını incelemek üzere çeşitli araştırmalar bulunmaktadır. Aynı zamanda I. Tip hata oranı ve gücü bu koşullar altında diğer indekslerle karşılaştırılmıştır. Bunlardan çoğu çeşitli örneklem büyüklüğü, test maddesi ve kopya oranı ile bireylerin yetenek düzeyleri çaprazlanarak ? indeksinin performansı ortaya konmaya çalışılmıştır.

Araştırmanın Amacı:

Bu çalışmanın amacı alanyazında henüz ortaya konmayan ? indeksinin madde güçlük, madde ayırt edicilik ve yetenek sınırlandırmaları altındaki performansını incelemektir.

Araştırmanın Yöntemi:

Çalışmada beş seçenekli çoktan seçmeli 80 maddeden oluşan veri seti GEN3PL_Raw DATA_V2 yardımıyla elde edilmiştir. Veri standart normal yetenek dağılımına N(0~1) sahip 10000 birey için üretilmiştir. Ölçekleme sabiti olan D ise 1.00 olarak alınmıştır. a ve b madde parametreleri iki kategoriye ayrılarak incelenmiştir. a parametresinde düşük ayırt edici maddeler için (0.10 ? 0.80) aralıkları, yüksek ayırt edici maddeler için (0.81 ? 1.50) aralıkları ele alınmıştır. b parametresinde kolay maddeler için (-2.50 ? 0.00) aralıkları, zor maddeler için (0.01 ? 2.50) aralıkları ele alınmıştır. Parametre aralıkları çaprazlanarak dört hücreli tablo elde edilmiş ve böylece dört farklı madde grubu ortaya çıkmıştır. Her bir madde grubu için 20 maddelik veri üreterek toplamda 4x20=80 maddelik veri seti elde edilmiştir. 1. Madde Grubu kolay ve düşük ayırt edici maddelerden, 2. Madde Grubu zor ve düşük ayırt edici maddelerden, 3. Madde Grubu kolay ve yüksek ayırt edici maddelerden ve 4. Madde Grubu zor ve yüksek ayırt edici maddelerden oluşmaktadır. Kaynak ve kopyacı bireyin yeteneğinin, ? indeksinin performansı üzerine etkisini incelemek için (-3.00 ? -1.50, -1.50 ? 0.00, 0.00 ? 1.50, 1.50 ? 3.00) olmak üzere dört kategoriye ayrılmıştır. Kopyacı ve kaynak çifti için yapılan çaprazlamalar sonucu oluşan 16 hücre için kopya durumu oluşturup her bir veri için indeksin gücü incelenmiştir. I. Tip hata için ise kopya durumu oluşturulmadan inceleme yapılmıştır. İşlemler için 100 replikasyon yapılmıştır. Her replikasyondan elde edilen sonuçlar kullanılarak belirlenen ? düzeylerine (0.001, 0.01 ve 0.05) göre indeksin I. Tip hata oranları ve kopya belirleme güçleri hesaplanmıştır. I. Tip hata çalışmasında 16 farklı koşulla 100 replikasyon sonucunda 16x1000= 16000 kopya çekmeyen birey çifti için ? indeksine ait çıktılar elde edilmiştir. Güç çalışmasında ise sabit kopya oranı (%25) ile 2x2x16x1x100=6400 birey çifti için çıktılar elde edilmiştir. Madde parametrelerinin üretimi, ? indeksinin hesaplanması ve veri ve çıktıların elde edilmesinde R programlama dili kullanılmıştır.

Bulgularda ortaya çıkan temalar:

I. Tip hata çalışmasında elde edilen bulgulara göre ? indeksinin I. Tip hata oranı ilgili alfa düzeyine genellikle yakın ya da altında değerler almıştır. Bu değerler 0.11 ile 0.00 arasında değişmektedir. I. Tip hata oranının 0.11 olduğu durumlar, -1.50 ? 0.00 yetenek aralığında yer alan kopyacının 0.00 altındaki yetenek düzeyine sahip kaynaktan çektiği kopya durumlarında gözlenmiştir. Güç çalışması sonucunda kolay ve düşük ayırt edici maddelerden oluşan 1. madde grubundan elde edilen bulgulara göre indeksin gücü 1.00 ve 0.14 arasında değişmektedir. Alfa düzeyi 0.05?ten 0.001?e düştükçe güçte azalma eğiliminin olduğu görülmektedir. Düşük yetenek düzeyine sahip kaynağın yer aldığı kopya durumlarında güç bir miktar artmakta ve en yüksek gücün kaynağın yetenek düzeyinin 3.00 ve -1.50 aralığında olduğu durumlarda gözlenmiştir. 0.05 ve 0.01 alfa düzeyinde kopyacının yetenek düzeyinin düştüğü durumlarda güçte artışın olduğu görülmektedir. Madde grubu 2?de ise düşük ayırt edici maddeler olmasına rağmen tüm kopyacı ve kaynağın yetenek düzeylerinin çaprazlanmasında ? indeksinin gücünün 1.00?e yakın olduğu ortaya çıkmıştır. Kolay ve yüksek ayırt edici maddelerin yer aldığı madde grubunda ise indeksin gücünün genelde oldukça düşük olduğu görülmüştür. Kaynağın yetenek düzeyinin arttığı ve kopyacının yetenek düzeyinin azaldığı kopya durumlarında gücün artma eğiliminde olduğu ve kopyacı ve kaynak çiftinin yetenek düzeyi -3.00 ile 1.50 aralığında iken gücün bu grupta en yüksek değerler aldığı ortaya çıkmıştır. Diğer koşullarda ise sadece 0.05 alfa düzeyinde -3.00 ve -1.50 yetenek düzeyi aralığı haricinde tüm alfa düzeyinde ve tüm koşullarda ? indeksinin performansının düşük olduğu görülmüştür. Zor ve yüksek ayırt edici maddelerin kopya çekildiği durumlarda ise ? indeksinin gücü 0.56 ile 1.00 arasında değişmektedir. Birey çiftlerinin yetenek düzeylerine ait kombinasyonların tümünde çoğunlukla gücün 1.00?e yakın olduğu ortaya çıkmıştır.

Araştırmanın Sonuçları ve Önerileri:

? indeksinin I. Tip hata oranı bazı durumlar haricinde tüm koşullar ve tüm alfa düzeylerinde birbirine yakın ve düşük değerler almıştır. Ancak özellikle kopyacının yetenek düzeyinin düşük olduğu durumlarda I. Tip hata oranında fazla artışın olduğu görülmektedir. Araştırmacılar düşük yetenek düzeyine sahip kaynağın yer aldığı kopya durumlarında ? indeksini kullanırken dikkatli olmalıdırlar. Güç çalışması sonucunda ise madde güçlüğünün indeksin gücünü oldukça etkilediği görülmektedir. Kolay maddelerde çekilen kopyayı belirlemede indeksin gücünde anlamlı bir azalmanın olduğu ortaya konmuştur. Kolay maddeden kopyanın çekildiği durumlarda en iyi sonuçlar kopyacı ve kaynağın yetenek düzeyinin -3.50 ile -1.50 aralığında olduğunda ortaya çıkmıştır. Madde ayırt ediciliğin ise güçlük kadar indeksin gücünde etkili olmadığı ortaya çıkmıştır. Ancak ? indeksi, ayırt edici ve zor maddelerden çekilen kopyayı belirlemede en güçlü, ayırt edici ve kolay maddelerden çekilen kopyayı belirlemede ise en zayıf olduğu görülmüştür.

Anahtar Kelimeler:

Cevap kopyalamayı belirleme, hile, test güvenliği

« Geri Dön