The impact of attribute size on the performance of item selection algorithms
Yükleniyor...
Dosyalar
Tarih
2016
Yazarlar
Dergi Başlığı
Dergi ISSN
Cilt Başlığı
Yayıncı
Assoc Measurement & Evaluation Education & Psychology, Assoc Measurement & Evaluation Education & Psychology
Erişim Hakkı
info:eu-repo/semantics/openAccess
Özet
The use of cognitive diagnosis models (CDMs) and computerized adaptive testing (CAT) has been increasing in both education and other fields such as psychology. To date, most of the research in CAT has been done using item response theory models which provide summative scores. However, formative assessment techniques (e.g., CDMs) that provide more detailed information about individuals’ strengths and weaknesses have become popular in the recent years. The use of cognitive diagnosis computerized adaptive testing (CDCAT) can produce more diagnostic information with an efficient testing design. This paper aims to investigate the impact of attribute size on the performance of item selection indices in terms of average test lengths. The result of this study showed that increasing the attribute size resulted in longer average test lengths; however, using different CDMs did not change the average test lengths.
Bilişsel tanı modelleri (BTM) ve bilgisayar ortamında bireye uyarlanmış test (BOBUT) uygulamaları hem eğitim alanında hem de psikoloji gibi diğer alanlarda hızla artmaktadır. Günümüze kadar BOBUT uygulamaları üzerine yapılan araştırmaların çoğunluğu, genellikle özetleyici bir değerlendirme sağlayan madde tepki kuramına dayalı modeller ile gerçekleştirilmiştir. Oysa BTM gibi bireylerin uzmanlaştığı ya da yetersiz kaldığı konularda daha ayrıntılı sonuç sağlayan biçimlendirici değerlendirme teknikleri son zamanlarda giderek önem kazanmıştır. BTM’nin BOBUT (BiTBOBUT) uygulamalarındaki kullanımı bireylerin yetenek düzeyleri hakkında daha ayrıntılı ve etkin bir değerlendirme sağlamada etkili bir yöntemdir. Bu çalışmanın amacı, BiTBOBUT uygulamalarındaki nitelik sayısının madde seçme algoritmalarının performansları üzerindeki etkisini araştırmaktır. Simülasyon çalışmasında farklı nitelik sayısı ve BTM’nin, madde seçme algoritmalarının performansları üzerindeki etkisi, ortalama test uzunlukları gibi betimsel istatistik değerlerine bakılarak araştırılmıştır. Elde edilen sonuçlara göre farklı nitelik sayısının ortalama test uzunlukları üzerinde önemli değişmelere sebep olduğu fakat farklı BTM kullanımının algoritmalar üzerinde test uzunluklarına herhangi bir etkisinin olmadığı gözlemlenmiştir.
Bilişsel tanı modelleri (BTM) ve bilgisayar ortamında bireye uyarlanmış test (BOBUT) uygulamaları hem eğitim alanında hem de psikoloji gibi diğer alanlarda hızla artmaktadır. Günümüze kadar BOBUT uygulamaları üzerine yapılan araştırmaların çoğunluğu, genellikle özetleyici bir değerlendirme sağlayan madde tepki kuramına dayalı modeller ile gerçekleştirilmiştir. Oysa BTM gibi bireylerin uzmanlaştığı ya da yetersiz kaldığı konularda daha ayrıntılı sonuç sağlayan biçimlendirici değerlendirme teknikleri son zamanlarda giderek önem kazanmıştır. BTM’nin BOBUT (BiTBOBUT) uygulamalarındaki kullanımı bireylerin yetenek düzeyleri hakkında daha ayrıntılı ve etkin bir değerlendirme sağlamada etkili bir yöntemdir. Bu çalışmanın amacı, BiTBOBUT uygulamalarındaki nitelik sayısının madde seçme algoritmalarının performansları üzerindeki etkisini araştırmaktır. Simülasyon çalışmasında farklı nitelik sayısı ve BTM’nin, madde seçme algoritmalarının performansları üzerindeki etkisi, ortalama test uzunlukları gibi betimsel istatistik değerlerine bakılarak araştırılmıştır. Elde edilen sonuçlara göre farklı nitelik sayısının ortalama test uzunlukları üzerinde önemli değişmelere sebep olduğu fakat farklı BTM kullanımının algoritmalar üzerinde test uzunluklarına herhangi bir etkisinin olmadığı gözlemlenmiştir.
Açıklama
Anahtar Kelimeler
Cognitive diagnosis models, Computerized adaptive testing, Attribute size, Bilişsel tanı modelleri, Bilgisayar ortamında bireyselleştirilmiş testler, Nitelik sayısı
Kaynak
Journal of Measurement and Evaluation in Education and Psychology- EPOD
WoS Q Değeri
N/A
Scopus Q Değeri
Cilt
7
Sayı
2
Künye
Kaplan, M. (2016).The impact of attribute size on the performance of item selection algorithms. Journal of Measurement and Evaluation in Education and Psychology , 7 (2) , 285-295 . Retrieved from http://dergipark.org.tr/tr/pub/epod/issue/27273/287120
