The Potential of Complex Problem Solving Scenarios to Assess Students' Cognitive Abilities:: Development, Validation, and Fairness of the Genetics Lab

Abstract

The assessment of students‘ cognitive potential is of central importance to the educational field and is usually done with standardized, paper-and-pencil- based intelligence tests. Despite their unquestionable successes in fulfilling this purpose, cognitive ability tests have met with serious criticism. Detractors point to a lack of face validity for predictive capabilities and to the static format of the problems presented, which insufficiently cover all the cognitive abilities that are relevant in real life. The present Ph.D. project aims at significantly contributing to the question of whether complex problem-solving scenarios could be used to assess students’ cognitive abilities and to determine their potential for this purpose within the educational context. In particular, we have developed a state-of-the art computer-based scenario that assesses complex problem-solving ability (CPS) called the Genetics Lab (GL) and have examined its construct validity by studying its psychometric structure and relationship to traditional measures of cognitive ability and educational success. Results showed that the acceptance, and hence the face-validity, was high among 9th graders and that the GL’s scores were highly reliable and showed satisfying psychometric characteristics. Further, the results indicate that no matter whether CPS was modeled as a hierarchical or a faceted construct, it was substantially related to traditional measures of cognitive abilities assessing reasoning and to different indicators of educational success. Controlling for reasoning, however, revealed that the impressive external validity was largely attributable to the variance that CPS shares with reasoning. This suggests that CPS as a construct has only negligible incremental validity over and above traditional intelligence scales. Results further showed that the GL is a fair measure of CPS with regard to students’ immigration background. Interestingly, the GL’s scales were less affected by students’ educational background than a traditional paper-pencil-based reasoning scale. Taken together, this might point to the potential of computer-based complex problem solving scenarios to identify otherwise hidden cognitive potential in immigrant students. In sum, the present dissertation gives a differentiated view on the potential of complex problem-solving scenarios for the assessment of students’ cognitive abilities within the educational context. Although the strength of these scenarios might not be found in the measurement of something “new” that is not captured by traditional intelligence tests, they provide a novel and innovative approach to measure students’ problem-solving processes. The state-of-the art development of the GL also points to several implications for modern psychological assessment itself which are discussed at the end of the dissertation.

Die Erfassung des kognitiven Potenzials von Schülern ist im Bildungssystem von zentraler Bedeutung und wird in der Regel mit standardisierten, Papier- Bleistift basierten Intelligenztests durchgeführt. Trotz ihres unbestrittenen Erfolgs hinsichtlich der Erfüllung dieser Anforderung, wurden diese Tests immer wieder deutlich kritisiert. Neben dem Fehlen einer offensichtlichen Augenscheinvalidität für ihre prädiktiven Eigenschaften, wurde auch das statische Format der verwendeten Problemtypen kritisiert, das es nur bedingt erlaubt, sämtliche, beim Lösen von Problemen in realen Kontexten aber zentrale, kognitive Fähigkeiten zu erfassen. Die vorliegende Dissertation hatte zum Ziel, zu der Frage beizutragen, inwieweit komplexe Problemlöseszenarien nun zur Erfassung von kognitiven Fähigkeiten bei Schülern eingesetzt werden können und welches Potenzial diese hinsichtlich der Anwendung im Schulsystem haben. Konkret wurde das Genetics Lab (GL) entwickelt, ein computerbasiertes Szenario, das es erlaubt, komplexe Problemlösefähigkeit (KPL) zu erfassen. Die Ergebnisse zeigen, dass das GL im Allgemeinen eine hohe Akzeptanz und insofern auch Augenscheinvalidität unter Schülern der 9. Schulstufe genoss und dass die Testkennwerte des GL, hohe Reliabilität und zufriedenstellende psychometrische Eigenschaften aufwiesen. Unabhängig von der Modellierung von KPL als hierarchisches oder als ein aus einzelnen Facetten bestehendes Konstrukt, ist es stark mit klassischen Maßen kognitiver Fähigkeiten wie Tests zum schlussfolgernden Denken (Reasoning) sowie verschiedenen Indikatoren schulischen Erfolgs assoziiert. Unter Kontrolle des Einflusses von Reasoning zeigte sich allerdings, dass die beeindruckende externe Validität der Testkennwerte des GL zu einem Großteil auf deren gemeinsame Varianz mit Reasoning zurückgeht. Dies deutet auf eine im Vergleich zu traditionellen Intelligenzskalen eher vernachlässigbare inkrementelle Validität des Konstrukts KPL hin. Weitere Analysen zeigten, dass das GL, unabhängig vom Migrationshintergrund der Schüler, ein faires Maß von KPL ist. Interessanterweise zeigten sich die Skalen des GL weniger durch den Schulhintergrund beeinflusst als herkömmliche Reasoning-Skalen. Zusammengefasst deuten die Befunde auf ein eventuelles Potenzial von computerbasierten, komplexen Problemlöseszenarien hin, anderweitig schwer erfassbares kognitives Potenzial bei Schülern mit Migrationshintergrund messbar zu machen. In Summe eröffnet die Dissertation einen differenzierten Blick auf das Potenzial von komplexen Problemlöseszenarien für die Erfassung kognitiver Fähigkeiten im schulischen Kontext. Obwohl die Stärken dieser Szenarien wohl eher nicht in der Messung von etwas „Neuem“ liegen, bieten sie einen neuartigen und innovativen Ansatz, um individuelle Problemlöseprozesse bei Schülern zu messen. Die State of the Art Entwicklung des GL beinhaltet zahlreiche Implikationen für moderne psychologische Diagnostik, welche am Ende der Dissertation diskutiert werden.