The impact of attribute size on the performance of item selection algorithms
Künye
Kaplan, M. (2016).The impact of attribute size on the performance of item selection algorithms. Journal of Measurement and Evaluation in Education and Psychology , 7 (2) , 285-295 . Retrieved from http://dergipark.org.tr/tr/pub/epod/issue/27273/287120Özet
The use of cognitive diagnosis models (CDMs) and computerized adaptive testing (CAT) has been increasing
in both education and other fields such as psychology. To date, most of the research in CAT has been done
using item response theory models which provide summative scores. However, formative assessment
techniques (e.g., CDMs) that provide more detailed information about individuals’ strengths and weaknesses
have become popular in the recent years. The use of cognitive diagnosis computerized adaptive testing (CDCAT) can produce more diagnostic information with an efficient testing design. This paper aims to investigate
the impact of attribute size on the performance of item selection indices in terms of average test lengths. The
result of this study showed that increasing the attribute size resulted in longer average test lengths; however,
using different CDMs did not change the average test lengths. Bilişsel tanı modelleri (BTM) ve bilgisayar ortamında bireye uyarlanmış test (BOBUT) uygulamaları hem
eğitim alanında hem de psikoloji gibi diğer alanlarda hızla artmaktadır. Günümüze kadar BOBUT
uygulamaları üzerine yapılan araştırmaların çoğunluğu, genellikle özetleyici bir değerlendirme sağlayan madde
tepki kuramına dayalı modeller ile gerçekleştirilmiştir. Oysa BTM gibi bireylerin uzmanlaştığı ya da yetersiz
kaldığı konularda daha ayrıntılı sonuç sağlayan biçimlendirici değerlendirme teknikleri son zamanlarda
giderek önem kazanmıştır. BTM’nin BOBUT (BiTBOBUT) uygulamalarındaki kullanımı bireylerin yetenek
düzeyleri hakkında daha ayrıntılı ve etkin bir değerlendirme sağlamada etkili bir yöntemdir. Bu çalışmanın
amacı, BiTBOBUT uygulamalarındaki nitelik sayısının madde seçme algoritmalarının performansları
üzerindeki etkisini araştırmaktır. Simülasyon çalışmasında farklı nitelik sayısı ve BTM’nin, madde seçme
algoritmalarının performansları üzerindeki etkisi, ortalama test uzunlukları gibi betimsel istatistik değerlerine
bakılarak araştırılmıştır. Elde edilen sonuçlara göre farklı nitelik sayısının ortalama test uzunlukları üzerinde
önemli değişmelere sebep olduğu fakat farklı BTM kullanımının algoritmalar üzerinde test uzunluklarına
herhangi bir etkisinin olmadığı gözlemlenmiştir.