TIMSS 2015 SEKİZİNCİ SINIF MATEMATİK BAŞARI TESTİNİN OECD ÜLKELERİNE GÖRE ÖLÇME DEĞİŞMEZLİĞİNİN İNCELENMESİ
Author :
Abstract
Bu araştırmanın amacı Uluslararası Matematik ve Fen Eğilimleri Araştırması (TIMSS-Trends in International Mathematics and Science Study) 2015 verileri kullanılarak, matematik başarı testine katılan 8. Sınıf öğrencilerinin matematik başarılarının İktisadi İşbirliği ve Kalkınma Teşkilatı (The Organısatıon For Economıc Co-Operatıon and Development OECD) ülkelerine göre ölçme değişmezliğinin incelenmesidir. Araştırma 11 no’lu kitapçığı almış olan 7.223 öğrenciye ait veri seti üzerinden yürütülmüş olup, ülkelerin 8. Sınıf matematik başarı testi puanları için, test istatistikleri, normallik testleri ve güvenilirlik katsayılarına bakılmış, merkezi eğilim ve dağılım ölçülerinin birbirine yakın olduğu sonucuna varılmıştır. Her ülke için ayrı ayrı doğrulayıcı faktör analizi yapılarak χ2/sd oranının oldukça iyi olduğu sonucuna ulaşılmıştır. Uyum indeksleri genel olarak değerlendirildiğinde tüm ülkelere ait ölçme modelleri tüm gruplar için ayrı ayrı doğrulanmıştır. OECD üyesi ülkelerin matematik başarı testi puanları için kovaryans matrislerinin eşitliği testi sonuçlarını ele aldığımızda, uyum indeksleri oldukça iyi olduğu görülmektedir. Ölçme değişmezliği çoklu-grup doğrulayıcı faktör analizi ile test edilmiştir, yapısal değişmezlik için uyum indekslerinin değerleri kabul edilebilir düzeylerdedir ve model doğrulanmıştır. Araştırma sonuçları OECD üyesi ülkeler için ölçme değişmezliğinin sağlanamadığını, ölçme değişmezliğine ilişkin modeller arasında en iyi çalışan modelin güçlü faktöriyel değişmezlik modeli olduğunu göstermiştir. Tüm sonuçlar değerlendirildiğinde, TIMSS 2015 uygulamasında matematik başarısına ait elde edilen sonuçların farklı ülkeler, diller, cinsiyetler ve kültürlere sahip katılımcılardan elde edilen sonuçların karşılaştırılabilirliği ve buna bağlı olarak yapılan yorumların ölçme değişmezliğinin sağlanamadığı görülmektedir. Uygulanan ölçme aracının tüm katılımcılar için aynı anlamı ifade etmemesi nedeniyle, TIMSS 2015 uygulaması tartışmaya açık hale gelmektedir. Bu araştırma geniş ölçekli sınav uygulamalarının sonuçları değerlendirilirken ölçme değişmezliğinin sağlanamıyor oluşuna, özellikle ülkeler arası karşılaştırmalar ve yorumlamalar yapılırken bu durumun titizlikle göz önünde bulundurulmasına dikkat çekmektedir.
Keywords
Abstract
The research, by using Trends in International Mathematics and Science Study (TIMSS) 2015 data, was conducted on the data set of 7,223 students who received the booklet number 11. 8th grade math achievement test scores of the countries, test statistics, normality tests and reliability coefficients were examined. It is concluded that the central tendency and distribution measures are close to each other. Confirmatory factor analysis was performed for each country separately and it was concluded that χ2 / sd ratio was quite good. When the fit indexes were evaluated in general, all countries' measurement models were verified separately for all groups. When we take the results of the equality test of covariance matrices for mathematics achievement test scores of The Organısatıon For Economıc Co-Operatıon and Development (OECD) member countries, the fit indices are quite good. Measurement invariance was tested by multi-group confirmatory factor analysis, the values of the fit indices for structural invariance were acceptable and the model was confirmed. The results of the study showed that the measurement invariance could not be achieved for OECD member countries and that the best working model among the measurement invariance models was the strong factorial invariance model. When all the results are evaluated, it is seen that the results of mathematics achievement in TIMSS 2015 are comparable to the results obtained from participants from different countries, languages, genders and cultures and the measurement invariance related to these results cannot be achieved. TIMSS 2015 is open to discussion as the measurement tool does not have the same meaning for all participants. This research draws attention to the fact that measurement invariance cannot be achieved when evaluating the results of large-scale examination applications, and that this situation is taken into consideration carefully when making comparisons and interpretations between countries.
Keywords
- Akgün, Ö.E., Büyüköztürk, Ş., Çakmak, E. Demirel, F., ve Karadeniz, Ş. (2008). Bilimsel araştırma yöntemleri. Ankara: Pegem Akademi.
- Alma, Ö. ve Vupa, Ö. (2008). Regresyon analizinde kullanılan en küçük kareler ve en küçük medyan kareler yöntemlerinin karşılaştırılması. Sdü Fen Edebiyat Fakültesi Fen Dergisi (E-Dergi), 3(2), 2008, 219-229
- Alwin, D. F., Muthen, B., Summers, G. F. & Wheaton, B. (1977). Assessing reliability and stability in panel models. Sociological methodology, 8(1), 84-136.
- Arıkan, S., Sarı, M. H. ve Yıldızlı, H. (2017). 8. Sınıf Matematik Akademik Başarısını Yordayan Faktörler-TIMSS 2015. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi Journal of Measurement and Evaluation in Education and Psychology, 8(3), 2017, 246-265.
- Arora, Foy, P., Martin, M.O. &, Mullis, I. A. (2012). TIMSS 2011 ınternational results in mathematics. 2012,
- Asil, M., & Brown, G. T. L. (2015). Comparing OECD PISA reading in English to other languages: Identifying potential sources of non-invariance. International Journal of Testing. Advance online publication. [Çevrim-içi: https://www.tandfonline.com/doi/abs/10.1080/15305058.2015.1064431] Erişim Tarihi: 14 Temmuz 2018.
- Atalay, Ö. Bayır, E. ve Çakıcı, Y. (2016). Fen bilimleri öğretmenlerinin bilimin doğasına ilişkin görüşleri: Bilişsel harita örneği. Kastamonu Eğitim Dergisi, 24(3), 1419-1436.
- Ayas, A., Çepni, S., Johnson, D. ve Turgut, F. (1997). Fizik Öğretimi. Ankara: YÖK/Dünya Bankası, Milli Eğitimi Geliştirme Projesi
- Ayvallı, M. (2016). PISA 2012 matematik okuryazarlığı testinin ölçme değişmezliğinin incelenmesi. An investigation into the measurement invarience of PISA 2012 mathematical literacy test. Yayınlanmamış Yüksek Lisans Tezi, Akdeniz Üniversitesi, Antalya, 2016.
- Babakus, E. (1985). The sensitivity of maximum likelihood factor analysis given violations of interval scale and multivariate normality. Doctoral dissertation, The University of Alabama. [Çevrim-içi: https://elibrary.ru/item.asp?id=7467190] Erişim Tarihi: 14 Eylül 2018.
- Bahadır, E. (2012). Uluslararası öğrenci değerlendirme programına (PISA 2009) göre Türkiye’deki öğrencilerin okuma becerilerini etkileyen değişkenlerin bölgelere göre incelenmesi. Yayınlanmamış Yüksek Lisans Tezi, Hacettepe Üniversitesi, Ankara, 2012.
- Bailey, K.D. (1982). Methods of social research. (Second Edition). New York: The Free Press.
- Balcı, A. (2013). Sosyal bilimlerde araştırma yöntem, teknik ve ilkeler (10. baskı). Ankara: Pegem Akademi
- Barrett (2007). Personality and Individual Differences, 42(5), 859-67.
- Başusta, N.B. ve Gelbal, S. (2015). Gruplararası karşılaştırmalarda ölçme değişmezliğinin test edilmesi: PISA öğrenci anketi örneği. Examination of measurement invariance at groups’ comparisons: a study on PISA student questionaire. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 30(4), 80-90.
- Bennet, N., James, L.R., Lind, S., Mulaik, S.A., Stilwell, C.D.& Van Alstine, J., (1989). Evaluation of goodness-of-fit ındices for structural equation models. Psychological Bulletin, 105(3), 430-45.
- Bentler, P. M. & Bonett, D. G. (1980). Significance tests and goodness of fit in the analysis of covariance structures. Psychological bulletin, 88(3), 588.
- Bentler, P.M. & Hu, L.T. (1999). Cut off criteria for fit ındexes in covariance structure analysis: conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55.
- Bentler, P. M. & Satorra, A. (2011). A scaled difference chi-square test statistic for moment structure analysis. Psychometrika: A Journal of Quantitative Psychology, 66(4), 507-514.
- Boadu, K., Boulianne, S., Cummings, G., Hayduk, L.& Pazderka-Robinson, H. (2007). Testing! Testing! One, two, three–testing the theory in structural equation models!. Personality and Individual Differences, 42(5), 841-850.
- Boehm, J. K., Lyubomirsk, S., Özer, D. J. & Tucker, K. L. (2006). Testing for measurement invariance in the satisfaction with life scale: A comparison of Russians and North Americans. Social Indicators Research, 78, 341–360.
- Bollen, K. A. (1989). Structural equations with latent variables. New York, NY: Wiley
- Bollen, K. A. (1990). Overall fit in covariance structure models: two types of sample size effects. Psychological bulletin, 107(2), 256.
- Bornstein, M.H. & Putnick, D.L. (2016). Measurement invariance conventions and reporting: The state of the art and future directions for psychological research. Developmental Review 41, 2015, 71-90.
- Brown, T. A. (2006). Confirmatory factor analysis for applied research. Newyork: Guilford Publications, Inc.
- Büyüköztürk, Ş. (2002). Sosyal bilimler için veri analizi el kitabı. Ankara: Pegem Akademi.
- Büyüköztürk, Ş., Çokluk, Ö. ve Şekercioğlu, G. (2010-2012). Sosyal Bilimler için çok değişkenli istatistik SPSS ve LISREL uygulamaları. Ankara: Pegem Akademi.
- Byrne, B.M. (1998). Structural equation modeling with LISREL, PRELIS and SIMPLIS: basic concepts, applications and programming. Mahwah, New Jersery: Lawrence Erlbaum Associates.
- Byrne, B. M. (2010). Testing for multigroup equivalence of a measuring instrument: A walk through the process. Psicothema, 20(4), 872-882.
- Byrne, B. M. (2013). Structural equation modeling with LISREL, PRELIS, and SIMPLIS: Basic concepts, applications, and programming. Psychology Press.
- Byrne, B. M., Muthen O. & Shavelson, J. (1989). Testing for the Equivalence of Factor Covariance and Mean Structures: The Issue of Partial Measurement Invariance May 1989 Psychological Bulletin 105(3):456-466 DOI: 10.1037/0033-2909.105.3.456
- Byrne, B. M. & Watkins, D. (2003). The issue of measurement invariance revisited. Journal of Cross- Cultural Psychology, 34(2), 155-175.
- Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural equation modeling, 14(3), 464-504.
- Cheng, Y. & Reinsvold, R. B. (2002). Factors Associated with foreign language writing anxiety. Retrieved 25, 2002. doi: https://doi.org/10.1111/j.1944-9720.2002.tb01903.x
- Çelebi, N., Güner, H., Kaya G. T. ve Korumaz, M. (2016). Teachers loyalty to their supervisors and organizational commitment. Educational Research and Reviews, 11(12), 1161-1167.
- Çelebi, N., Güner, H., Kaya G. T. ve Korumaz, M. (2014). Neoliberal eğitim politikaları ve eğitimde fırsat eşitliği bağlamında uluslararası sınavların (PISA, TIMSS ve PIRLS) analizi. Tarih Kültür ve Sanat Araştırmaları Dergisi, 3(3), 33-75. doi: 10.5897/ERR2016.2808 (Yayın No: 2864277)
- Davidov & others, (2014). The Goals of Regulating Work: Between Universalism and Selectivity [Çevrim-içi: https://www.academia.edu/17915574/The_Goals_of_Regulating_Work_Between_Universalism_ and_Selectivity ] Erişim Tarihi: 22 Temmuz 2018
- Davidov & others, (2014). Comparing results of an exact vs. an approximate (Bayesian) measurement invariance test: a cross-country illustration with a scale to measure 19 human values. Frontiers in Psychology, 5, 982.
- Doğan, N. ve Uyar, Ş. (2014). PISA 2009 Türkiye örnekleminde öğrenme stratejileri modelinin farklı gruplarda ölçme değişmezliğinin incelenmesi. Uluslararası Türk Eğitim Bilimleri Dergisi, 2, 30-43.
- EARGED (2014). TIMSS 2011 ulusal matematik ve fen raporu: 8. sınıflar. 01 Eylül 2018 tarihinde
- http://timss.meb.gov.tr/wp-content/uploads/TIMSS-2011-8-Sinif.pdf adresinden alınmıştır.
- Erdinç Akan, O. ve Ertürk, Z. (2018). TIMSS 2015 matematik başarısı ile ilgili bazı değişkenlerin cinsiyete göre ölçme değişmezliğinin incelenmesi. Kuramsal Eğitimbilim Dergisi, UBEK-2018, 204226, Aralık 2018 Journal of Theoretical Educational Science, ICSE-2018, 204-226, December 2018 [Çevrim-içi: http://www.keg.aku.edu.tr] Erişim Tarihi: 08 Temmuz 2018
- Ergül, H. (1999). Uzaktan öğretimde kalite verimlilik ve üretkenlik. Anadolu Üniversitesi Açık Öğretim Fakültesi Kurgu Dergisi, 16, 283-296.
- Fan, X., Thompson, B., & Wang, L. (1999). Effects of sample size, estimation methods, and model specification on structural equation modeling fit indexes. Structural equation modeling: a multidisciplinary journal, 6(1), 56-83.
- Fidell, L.S. & Tabachnick, B.G. (2013). Using multivariate statistics (6th ed.). New Jersey: Pearson.
- Gierl, M.J. (2000). Construct equivalence on translated achievement tests. Canadian Journal of Education, 25(4), 280-296.
- Gülleroğlu, H. D. (2017). PISA 2012 matematik uygulamasına katılan Türk öğrencilerin duyuşsal özeliklerinin cinsiyete göre ölçme değişmezliğinin incelenmesi. Gazi Üniversitesi Gazi Eğitim Fakültesi Dergisi, 37, 1, GEFAD / GUJGEF 37, 1: 151-175 (2017) Yayına Kabul Tarihi: 27.12.2016
- Ho, M.-H.R. & McDonald, R.P. (2002). Principles and practice in reporting statistical equation analyses. Psychological Methods, 7(1), 64-82.
- Horn and McArdle, (1992). Life satisfaction across adulthood: different determinants at different ages. https://www.academia.edu/14360191/Life_satisfaction_across_adulthood_different_determinan ts_at_different_ages] Erişim Tarihi: 22 Temmuz 2018
- Hox, J., Lugtig, P. & Schoot, R., (2012). A checklist for testing measurement invariance. European Journal of Developmental Psychology, 9(4), 486–492.
- Jöreskog, K. G. (1971). Simultaneous factor analysis in several populations. Psychometrika, 36, 409-426.
- Jöreskog, K. G. & Sörbom, D. (1993). LISREL 8: structural eguation modeling with the simplis command language. USA: Scientific Software International, Inc.
- Karakoç Alatlı, B. (2016). Uluslararası öğrenci değerlendirme programı (PISA - 2012) okuryazarlık testlerinin ölçme değişmezliğinin incelenmesi. (Yayımlanmamış Yüksek Lisans Tezi). Ankara Üniversitesi, Ankara.
- Kıbrıslıoğlu, N. (2015). PISA 2012 matematik öğrenme modelinin kültürlere ve cinsiyete göre ölçme değişmezliğinin incelenmesi: Türkiye-Çin, (Şangay)-Endonezya örneği. (Yayımlanmamış Yüksek Lisans Tezi). Hacettepe Üniversitesi, Ankara.
- Kline, R. B. (2005). Principles and practice of structural equation modeling. (Second Edition) New York:Guilford Press.
- Koğar, H. ve Yılmaz Koğar, E. (2015). Comparison of different estimation methods for categorical and ordinal data in confirmatory factor analysis. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi Journal of Measurement and Evaluation in Education and Psychology, 6(2), 2015, 351-364
- Koğar, H. ve Yılmaz Koğar, E. (2017), Öğretmenlerin matematik konularına yönelik hazırlık düzeylerinin matematik başarısı ile ilişkisi: TIMSS 2015 Türkiye ve Singapur örneği. Başkent Üniversitesi Eğitim Dergisi, 4(2), 2017, 108-121,
- Korkmaz, H. (2004). Fen ve teknoloji eğitiminde alternatif değerlendirme yaklaşımları, Yeryüzü Yayınevi,
- Köse, İ., Uysal Ö. ve Yandı, A. (2017). Farklı yöntemlerle ölçme değişmezliğinin incelenmesi: PISA 2012 örneği. Mersin Üniversitesi Eğitim Fakültesi Dergisi - Mersin University Journal of the Faculty of Education “Mersin Üniversitesi Eğitim Fakültesi Dergisi, 13(1), 2017, 243-253. doi: http://dx.doi.org/10.17860/mersinefd.305952.
- Lance, C. E. & Vandenberg, R. J. (2000). A review and synthesis of the MI literature: suggestions, practices, and recommendations for organizational research. Organizational Research Methods, 3, 4-69, 4-70. 24 Ekim 2005 tarihinde http://orm.sagepub.com/cgi/ reprint/3/1/4. pdf adresinden alınmıştır.
- Lee, S. Y. & Leung, T. K. (1982). Covariance structure analysis in several populations. Psychometrika, 47, 297-308.
- Leung, K. & Van de Vijver, F. J. R., (1997). Methods and data analysis for cross-cultural research. Newbury Park, CA: Sage
- Li, Z., Wu. A. D. & Zumbo, B. D. (2007). Decoding the meaning of factorial invariance and updating the practice of multigroup confirmatory factor analysis: A demonstration with TIMSS data practical assessment, Research and Evaluation, 12(3), 1-26.
- Marcoulides, G. A. & Raykov, T. (2008). An Introduction to Applied Multivariate Analysis (First Edition). NY: Taylor & Francis Group.
- Matsumoto, D. & Van de Vijver, F. J. (Eds.). (2011). Cross-cultural research methods in psychology. NY:Cambridge University Press.
- Martin, M.O. & Mullis, I.V.S. (Eds.) (2012). Methods and procedures in TIMSS and PIRLS 2011: Characteristics of national samples. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. Retrieved, February, 16, 2015, from http://timss.bc.edu/methods/pdf/T11_Characteristics.pdf
- Meredith, W. (1993). Measurement invariance, factor analysis and factorial ınvariance. Psychometrica, 58, 525-543.
- Miles, J. & Shevlin, M. (2007). A time and a place for incremental fit indices. Personality and individual differences, 42(5), 869-874.
- Millsap, R. E. (2011). Statistical Approaches to Measurement Invariance. New York, NY: Routledge.
- Moraes, C.L. & Reichenheim, M.E. (2002). Cross-Cultural measurement equivalence of the revised conflict tactics scales (CTS2) portuguese version used to identify violence within couples. Saúde Pública, 18, 3. Retrieved October, 26, 2018 from http://www.scielo.br/scielo.php?script=sci_arttext&pid
- Öğretmen, T. ve Uzun, B. (2010). Fen başarısı ile ilgili bazı değişkenlerin TIMSS-R Türkiye örnekleminde cinsiyete göre ölçme değişmezliğinin değerlendirilmesi. Eğitim ve Bilim, 35, 155,
- Ölçme, Değerlendirme ve Sınav Hizmetleri Genel Müdürlüğü. 22 Şubat 2018 tarihinde https://odsgm.meb.gov.tr/kurslar/ adresinden alınmıştır.
- Ölçülüoğlu, R. (2015). TIMSS 2011 Türkiye sekizinci sınıf matematik başarısını etkileyen değişkenlerin bölgelere göre incelenmesi. Yayınlanmış yüksek lisans tezi. [Çevrim-içi: www.openaccess.hacettepe.edu.tr] Erişim Tarihi: 18 Ocak 2019
- Steiger, J. H. (2007). Understanding the limitations of global fit assessment in structural equation modeling. Personality and Individual Differences, 42, 893-898.
- Şekercioğlu, G. (2018). Measurement invariance: Concept and implementation. International Online Journal of Education and Teaching (IOJET), 5(3), 609-634. 02 Temmuz 2018 tarihinde http://iojet.org/index.php/IOJET/article/view/439/257 adresinden alınmıştır.
- TIMSS 2015 Ulusal Raporu. 17.03.2018 tarihinde http://timss.meb.gov.tr/?page_id=147 adresinden
- TIMSS PIRLS web adresi. 22 Temmuz 2018 tarihinde http://timssandpirls.bc.edu/ adresinden alınmıştır.
- Tyson, (2004). Theories Underlying Literary Criticism. [Çevrim-içi: https://www.academia.edu/7113249/THEORIES_UNDERLYING_LITERARY_CRITICISM] Erişim Tarihi: 22 Temmuz 2018 EXTENDED ABSTRACT
