English
Eurasian Journal of Educational Research
Print ISSN: 1302-597X & e-ISSN: 2528-8911
EJER |

Ana Sayfa > > Bayram CETIN, Nese GULER, Rabia SARICA

Kavram Haritalarının Puanlanmasında Puanlayıcı ve Puanlama Yöntemi Etkisinin Genellenebilirlik Kuramıyla İncelenmesi

10.14689/ejer.2016.66.12
  Yazar : Bayram CETIN, Nese GULER, Rabia SARICA
  Bu özet 972 kere okundu..


Başlık :
Bayram CETIN, Nese GULER, Rabia SARICA

Kavram Haritalarının Puanlanmasında Puanlayıcı ve Puanlama Yöntemi Etkisinin Genellenebilirlik Kuramıyla İncelenmesi

10.14689/ejer.2016.66.12

Konu :

Cetin, B., Guler, N & Sarica, R. (2016). Using generalizability theory to examine different concept map scoring methods. Eurasian Journal of Educational Research, 66, 212-228
http://dx.doi.org/10.14689/ejer.2016.66.12

Problem Durumu: 1970?lerde ortaya konan kavram haritaları, bilginin hiyerarşik bir düzen içerisinde şematize edilerek görselleştirilmesini sağlayan grafiksel araçlardır.Kavram haritaları eğitimde bir konudaki kavramlar arasındaki ilişkinin daha açık, anlamlı öğrenilmesini sağlamaya yardımcı olabilecek araçlardır. Novak (2001), kavram haritalarının öğretim amaçlı kullanılabildiği gibi değerlendirme amaçlı da kullanılabileceğini, çoktan seçmeli testlerin kullanılmasının bir zorunluluk olmadığını ve hatta zamanla ulusal başarı sınavlarında bu araçların etkili bir değerlendirme aracı olarak kullanılabileceğini belirtmiştir (Akt: Kaya ve Kılıç, 2004). Kavram haritalarının eğitimde değerlendirme amaçlı olarak kullanılması, öğrencilerin konuyu anlayıp anlamadıklarını göstermesi ve öğrenme ile ilgili eksiklerini ortaya çıkarması açısından çok önemlidir. Kavram haritaları, öğrencinin bilgi yapısını, konuyla ilgili yanılgılarını ve yanlış anlamalarını belirlemede oldukça fonksiyonel bir işleve sahiptir (Şahin, 2002). Kavram haritalarının değerlendirme aracı olarak kullanılması bunların puanlanması konusunu gündeme getirmiştir. Bu yöntemin değerlendirme amaçlı olarak kullanılabilmesi için öğretmenler tarafından puanlama yöntemlerinin çok iyi bilinmesi gerekmektedir. Farklı şekilde oluşturulan ve kullanılan haritalar farklı yöntemlerle puanlanabilmektedir. Bu yöntemlerden iki tanesi bütüncül ve ilişkisel puanlama metotlarıdır. Bütüncül puanlama yönteminde kavram haritaları bir bütün olarak ele alınır, öğrencilerin kavramlarla ilgili öğrenmelerini haritaya yansıtabilmeleri ve ilgili kavramların haritada yer alması göz önünde tutularak 1-10 arasında bir puanla değerlendirilir. İlişkisel puanlama yöntemi önermelerin ayrı ayrı puanlanması temeline dayanmaktadır. Önerme iki kavram arasındaki ilişkinin etiketlenmiş bir ok aracılığıyla gösterilmesi olarak tanımlanır. Haritanın toplam puanı, ayrı önermelerin her birine verilen puanların toplanmasıyla bulunmaktadır ve her bir önerme doğru olup olmadıklarına göre 0-3 arasında bir puan almaktadır (McClure, Sonak ve Suen,1999). Kavram haritası, değerlendirme aracı olarak kullanıldığında teknik özellikleri kritik hale gelmesine rağmen, elde edilen puanların güvenirlik ve geçerliliğinin nasıl değerlendirileceği her zaman net değildir (Yin ve Shavelson, 2008). Genellenebilirlik (G) kuramı, temeli varyans analizine (ANOVA) dayanan güvenirliğin değerlendirilmesini sağlayan, Cronbach ve arkadaşları (1972) tarafından geliştirilen, güvenirlik kavramına farklı bir bakış açısı getiren istatistiksel bir kuramdır (Shavelson ve Webb, 1991 Akt; Deliceoğlu, 2009). Öğrencilerden birinin aldığı puan kavram haritası puanlarının evreninden bir örnek olarak düşünülürse (değişen bütün koşullar altında örneğin; görev, cevap formatı ve puanlama metotları vb.) kavram haritalarının puanlanması G kuramı kapsamında incelenebilir. Ruiz-Primo ve Shavelson, (1996) kavram haritası puanlamasının; kavramlar, önermeler, görev tipi, cevaplama formatları, durumlar, puanlayıcılar ve puanlama yöntemleri gibi farklı hata kaynakları içerdiğinden, bu tür araştırmalarda G kuramının kullanılmasının bilhassa uygun olduğunu belirtmiştir (Akt: Yin ve Shavelson, 2008). Araştırmanın Amacı: Bu çalışmada, farklı öğretmenler tarafından puanlaması yapılan öğrencilerin oluşturduğu kavram haritalarının puanlarının güvenirlikleri G kuramı açısından ele alınacaktır. Bu araştırma kapsamında kavram haritası puanlama yöntemlerinden ikisi kullanılmıştır. Bunlar; bütünsel (holistik) puanlama ve ilişkisel puanlama yöntemleridir. Kavram haritalarının puanlanmasında sadece bu iki yöntemin kullanılabilmiş olması araştırmanın sınırlılıklarından biri olarak görülebilir. Araştırmanın Yöntemi: Araştırma, Osmaniye ili Merkez Atatürk İlköğretim okulunda 7.sınıfta öğrenim görmekte olan 15?i kız, 21?i erkek olmak üzere 36 öğrenci ile gerçekleştirilmiştir. Araştırma 2010-2011 eğitim-öğretim yılı güz dönemi Aralık-Ocak ayları içerisinde gerçekleştirilmiştir. Araştırma kapsamında öğrencilerin yapmış olduğu kavram haritalarını üç farklı öğretmen puanlamışlardır. Veriler, veri toplama aracı olarak kullanılan dört farklı kavram haritasından elde edilmiştir. Bu çalışmada kullanılan haritalar Kuvvet ve Hareket ünitesiyle ilgilidir. Araştırmanın Bulguları: Çalışmada 36 öğrencinin dört kavram haritası oluşturabilme düzeyleri iki farklı puanlama yöntemiyle üç puanlayıcı tarafından puanlanmıştır. Her bir puanlama yöntemine göre elde edilen puanlar G kuramına göre ayrı ayrı analiz edilmiş ve elde edilen sonuçlar yorumlanmıştır. Bütünsel puanlamada, çalışmada yer alan öğrenciler (s) ölçmenin objesi olup, diğer değişkenlik kaynakları olan kavram haritaları görevleri (t) ve puanlayıcılar (r) da çalışmanın yüzey (facet)lerini oluşturmaktadır. Bu çalışmada tüm öğrenciler tüm kavram haritalarını oluşturmakla sorumlu olduklarından ve tüm puanlayıcılar tarafından bütünsel puanlama yöntemiyle puanlandıkları için çalışma tümüyle çaprazlanmış (s x t x r) desenden oluşmaktadır. Genellenebilirlik analiziyle elde edilen varyans bileşenlerine ilişkin sonuçlara göre,en büyük değişkenlik kaynaklarından birinin öğrenciler olduğu görülmüştür (gerçek varyans). Diğer ana etkiler olan görev, toplam varyansı açıklayan en büyük bileşenlerden biri olurken (yaklaşık %14), puanlayıcı bileşeni toplam varyansın açıklanmasına nerdeyse hiç bir katkıda bulunmamaktadır (%001). Etkileşimlere baktığımızda öğrenci-görev bileşeni toplam varyansın yaklaşık %35?ini açıklarken, görev-puanlayıcı etkileşimi toplam varyansın çok küçük bir kısmını açıklamaktadır (%034). Üçlü etkileşimin, bir başka deyişle artık etkisinin, toplam varyansdaki payı ise %24?tür. G kuramına göre, artık etkisine ilişkin varyans değerinin olabildiğince küçük olması istenir. Bu değer, puanlardaki değişimin çalışmada yer almayan farklı değişkenlik kaynaklarına bağlı ortaya çıkmış olabileceğinin sinyalini vermektedir. G kuramında, klasik test kuramındaki güvenirlik katsayısına karşılık gelebilecek G katsayısı hesaplanmaktadır. G kuramında, klasik test kuramından farklı olarak bir de mutlak değerlendirmenin söz konusu olduğu durumlar için ayrıca Phi katsayısı (reliability coefficient) da hesaplanabilmektedir. Yukarıdaki eşitliklere dayalı olarak, çalışmada yer alan dört görev ve üç puanlayıcı üzerinden hesaplanan G ve ? katsayısıları sırasıyla .63 ve .57 olarak bulunmuştur. İlişkisel puanlama yönteminde de aynı desen kullanılmış ve yine en büyük değişkenlik kaynaklarından birinin öğrenciler olduğu görülmüştür (%10). Görev ana etki bileşeni, toplam varyansı açıklayan en büyük bileşen olurken (yaklaşık %56), puanlayıcı bileşenin toplam varyansın açıklanmada bir payı bulunmamaktadır (%000). Diğer taraftan ikili etkileşimlere bakıldığında öğrenci-görev, öğrenci-puanlayıcı ve görev-puanlayıcı etkileşimleri sırasıyla yaklaşık %20, %0 ve %03 olarak elde edilmiştir. Buradan anlaşılacağı üzere, kavram haritalarında yer alan görevlerin zorluk düzeyleri öğrenciler için farklılık gösterirken, öğrencilerin ve görevlerin puanlanması puanlayıcıdan puanlayıcıya farklılık göstermemektedir. Üçlü etkileşimler artık etki olarak isimlendirilir ve eğer çalışmada, ölçme sonuçları güvenilir ise artıklara ait olan bu değerin olabildiğince küçük olması istenir. İlişkisel puanlama yönteminin kullanılarak elde edilen puanlar üzerinden bulunan artık etki varyansı toplam varyansın %10?unu açıklamaktadır. Elde edilen bu varyans değeri, puanlardaki değişimin çalışmada yer almayan farklı değişkenlik kaynaklarına bağlı ortaya çıkmış olabileceğinin sinyalini vermektedir. Çalışmada yer alan dört görev ve üç puanlayıcı üzerinden ilişkisel puanlama yöntemi için hesaplanan G ve ? katsayısıları sırasıyla .63 ve .34 olarak bulunmuştur. Araştırmanın Sonuç ve Önerileri: Elde edilen sonuçlara göre, her ik puanlama yöntemi için G katsayısı aynı bulunmuşken, Phi katsayısı bütünsel puanlama yönteminin kullanıldığı kavram haritası çalışmasında daha yüksek bir değere sahiptir. Bu sonuçlara dayanarak mutlak kararkların alınması amaçalanan kavram haritası çalışmalarında, bütünsel puanlama yöntemini kullanmak önerilebilir. İlişkisel puanlama yönteminin kullanılacağı durumlarda ise öğrencilerin kavram haritalarını oluşturmada daha fazla pratik yapması ve puanlayıcılara puanlama konusunda daha fazla açıklama yapılması ve puanlama ölçütlerinin daha ayrıntılı verilmesi önerilebilir. Ayrıca, her iki puanlama yöntemiyle elde edilen sonuçlara göre, artık varyansın yüksek çıkmasına dayalı olarak, öğrencilerin kavram haritası oluşturulmasında hata kaynağı olabilecek diğer dış etkenlerin (ortam, ölçme aracı vb.) de dikkatlice kontrol altına alınması gerektiği önerilmektedir. Anahtar sözcükler: Genellenebilirlik kuramı, puanlayıcı etkisi, kavram haritalarının puanlanması, puanlama yöntemleri.
« Geri Dön