TIMSS 2015 SEKİZİNCİ SINIF MATEMATİK BAŞARI TESTİNİN OECD ÜLKELERİNE GÖRE ÖLÇME DEĞİŞMEZLİĞİNİN İNCELENMESİ
Author:
Abstract
Bu araştırmanın amacı Uluslararası Matematik ve Fen Eğilimleri Araştırması (TIMSS-Trends in International Mathematics and Science Study) 2015 verileri kullanılarak, matematik başarı testine katılan 8. Sınıf öğrencilerinin matematik başarılarının İktisadi İşbirliği ve Kalkınma Teşkilatı (The Organısatıon For Economıc Co-Operatıon and Development OECD) ülkelerine göre ölçme değişmezliğinin incelenmesidir. Araştırma 11 no’lu kitapçığı almış olan 7.223 öğrenciye ait veri seti üzerinden yürütülmüş olup, ülkelerin 8. Sınıf matematik başarı testi puanları için, test istatistikleri, normallik testleri ve güvenilirlik katsayılarına bakılmış, merkezi eğilim ve dağılım ölçülerinin birbirine yakın olduğu sonucuna varılmıştır. Her ülke için ayrı ayrı doğrulayıcı faktör analizi yapılarak χ2/sd oranının oldukça iyi olduğu sonucuna ulaşılmıştır. Uyum indeksleri genel olarak değerlendirildiğinde tüm ülkelere ait ölçme modelleri tüm gruplar için ayrı ayrı doğrulanmıştır. OECD üyesi ülkelerin matematik başarı testi puanları için kovaryans matrislerinin eşitliği testi sonuçlarını ele aldığımızda, uyum indeksleri oldukça iyi olduğu görülmektedir. Ölçme değişmezliği çoklu-grup doğrulayıcı faktör analizi ile test edilmiştir, yapısal değişmezlik için uyum indekslerinin değerleri kabul edilebilir düzeylerdedir ve model doğrulanmıştır. Araştırma sonuçları OECD üyesi ülkeler için ölçme değişmezliğinin sağlanamadığını, ölçme değişmezliğine ilişkin modeller arasında en iyi çalışan modelin güçlü faktöriyel değişmezlik modeli olduğunu göstermiştir. Tüm sonuçlar değerlendirildiğinde, TIMSS 2015 uygulamasında matematik başarısına ait elde edilen sonuçların farklı ülkeler, diller, cinsiyetler ve kültürlere sahip katılımcılardan elde edilen sonuçların karşılaştırılabilirliği ve buna bağlı olarak yapılan yorumların ölçme değişmezliğinin sağlanamadığı görülmektedir. Uygulanan ölçme aracının tüm katılımcılar için aynı anlamı ifade etmemesi nedeniyle, TIMSS 2015 uygulaması tartışmaya açık hale gelmektedir. Bu araştırma geniş ölçekli sınav uygulamalarının sonuçları değerlendirilirken ölçme değişmezliğinin sağlanamıyor oluşuna, özellikle ülkeler arası karşılaştırmalar ve yorumlamalar yapılırken bu durumun titizlikle göz önünde bulundurulmasına dikkat çekmektedir.
Keywords
Abstract
The research, by using Trends in International Mathematics and Science Study (TIMSS) 2015 data, was conducted on the data set of 7,223 students who received the booklet number 11. 8th grade math achievement test scores of the countries, test statistics, normality tests and reliability coefficients were examined. It is concluded that the central tendency and distribution measures are close to each other. Confirmatory factor analysis was performed for each country separately and it was concluded that χ2 / sd ratio was quite good. When the fit indexes were evaluated in general, all countries' measurement models were verified separately for all groups. When we take the results of the equality test of covariance matrices for mathematics achievement test scores of The Organısatıon For Economıc Co-Operatıon and Development (OECD) member countries, the fit indices are quite good. Measurement invariance was tested by multi-group confirmatory factor analysis, the values of the fit indices for structural invariance were acceptable and the model was confirmed. The results of the study showed that the measurement invariance could not be achieved for OECD member countries and that the best working model among the measurement invariance models was the strong factorial invariance model. When all the results are evaluated, it is seen that the results of mathematics achievement in TIMSS 2015 are comparable to the results obtained from participants from different countries, languages, genders and cultures and the measurement invariance related to these results cannot be achieved. TIMSS 2015 is open to discussion as the measurement tool does not have the same meaning for all participants. This research draws attention to the fact that measurement invariance cannot be achieved when evaluating the results of large-scale examination applications, and that this situation is taken into consideration carefully when making comparisons and interpretations between countries.