Big Data und PISA-Studie

Big Data als Instrument zur Reflexion und Kritik an der OECD-Studie PISA - Bei meiner Recherche nach Literatur bzw. Forschungspapieren zum Thema Big Data bin ich auf einen Aufsatz in einem Sammelband gestoßen, welcher verschiedene Forschungen zu Machine Learning und Data Analysis enthält. Dieser Sammelband ist anlässlich einer im Jahr 2012 durchgeführten Konferenz der Deutschen Gesellschaft für Klassifikation (GfKI) entstanden. Somit ist er eine Zusammenfassung verschiedener Konferenzpapiere, die auf dieser Tagung entstanden sind. Die Konferenz hatte die Zielsetzung, Fortschritte in der Datenanalyse, in Statistik, in der Wissensfindung und in Machine Learning zu diskutieren. Der Buchtitel der gleichnamigen Konferenz lautet "Data Analysis, Machine Learning and Knowledge Discovery", hg. von Deutsche Gesellschaft für Klassifikation (GfKI, 2012).

Der vorliegende Aufsatz, den ich mir aus dieser Sammlung an Konferenzpapieren herausgezogen habe, beschäftigt sich mit der Data Analysis in der Domäne der Bildung. Der Titel des Aufsatzes lautet "The OECD's Programme for International Student Assesment (PISA) Study: A Review of Its Basic Psychometric Concepts" von Ünlü, Kasper und Soo (2014) (dt. Übersetzung: "Das OECD-Programm für die Internationale Schüler-Bewertungsstudie (PISA): Eine Kritik ihrer grundlegenden psychometrischen Konzepte"). Dieser Sammelband wurde in englischer Sprache verfasst, da die Konferenz international war.

Die Schulleistungsstudie PISA war vor allem zu Beginn des 21. Jahrhunderts eine von Bildungsexperten und Laien vieldiskutierte Methode, um die Leistungen von Schülerinnen und Schülern international zu erheben und miteinander zu vergleichen. PISA ist eine internationale, groß angelegte Prüfungsstudie, die von den OECD-Ländern erhoben wurde und testet, inwieweit 15-jährige Schülerinnen und Schüler imstande sind, die Herausforderungen heutiger Wissensgesellschaften zu meistern (Ünlü, Kasper und Soo, 2014, S. 418).

Die Wissenschaftler um Ali Ünlü interessierten sich im Rahmen ihrer Data Analysis dafür, wie man mit einem Item-Raster, welches auf einem mathematischen Koeffizientenmodell basiert, das MCMLM (Mixed- Coefficients Multinomial Logit Model), die Ergebnisse der PISA-Studie auswerten und einordnen kann. Dieses Modell lehnt sich an das Rasch-Modell an (siehe https://www.spektrum.de/lexikon/psychologie/rasch-modell/12443). Mit diesem Modell konnte klassifiziert werden, dass im PISA-Skalierungs-Vorgang die Schülerinnen und Schüler vereinzelt herausgegriffen wurden und ihre Leistungen dabei mit Hilfe von Zufallsvariablen untereinander abgeglichen worden sind.

Diese Abgleiche sind laut den Forschern fraglich, da die Einstufung der PISA-Ergebnisse im Rahmen eines Versuchs noch viele Fragen offen lässt. Beispielsweise seien für die Schüler-Treffer-Generation nur internationale Itemparameter verwendet worden. Es hat wohl ein Subsample dieser internationalen Parameter gegeben. Obwohl alle internationalen Datensets frei einsehbar sind (www.oecd.org/pisa/pisaproducts), ist es nicht klar, welche Schülerinnen und Schüler in einem Subsample kategorisiert wurden (Ünlü, Kasper und Soo, 2014, S. 423).

Ünlü und seine Kollegen stellten abschließend fest, dass Klassifikationsmethoden, die auf psychometrischen Modellen basieren, viel aussagekräftiger sind als das bisherige reine Vergleichen von Samples (Ünlü, Kasper und Soo, 2014, S. 423).

Der Aufsatz über die Datenanalyse zur PISA-Studie ist für den schulischen Gebrauch selbst zunächst wohl eher uninteressant. Für die pädagogische und psychologische Forschung über Schulleistungsstudien kann eine datengestützte Reflexion über die PISA-Studie dennoch sehr sinnvoll sein. Darüberhinaus stellt diese Kritik das Postulat, dass die psychometrische Datenanalyse das Berichterstatten über die PISA-Ergebnisse automatisiert und somit vereinfacht (Ünlü, Kasper und Soo, 2014, S. 424). 

Literatur

Ünlü, A. (2014). The OECD's Programme for International Student Assessment (PISA) Study: A Review of Its Bacic Pychometric Concepts. In: M. Spiliopoulou (Hrsg.), Data Analysis, Machine Learning and Knowledge Discovery (S. 417-425). Cham, Heidelberg, New York, Dordrecht, London: Springer-Verlag.

Adams, R. J. , Wu, M. L. (2007). The Mixed- Coefficients Multinomial Logit Model : A Generalized Form of the Rasch Model. In: Multivariate and Mixture Distribution Rasch Models. Statistics for Social and Behavioral Sciences. New York: Springer-Verlag.

Spektrum.de (2000). Rasch-Modell. Abgerufen von https://www.spektrum.de/lexikon/psychologie/rasch-modell/12443

OECD (2018). PISA. Programme for International Student Assessment. Abgerufen von www.oecd.org/pisa/pisaproducts