Diagnosing Students’ Meta-Modelling Knowledge: Gathering Validity Evidence during Test Development

Abstract

Models, on one hand, aid students in their understanding, on the other, enable researchers to investigate biological phenomena (Oh & Oh, 2011). From an educational point of view, the process of thinking in and about models as a form of scientific practice can be seen as one of the essential learning goals for science students (e. g., Germany: KMK, 2005; USA: NGSS Lead States, 2013). Existing instruments (e. g., Grosslight et al., 1991; Grünkorn, 2014) that are used to assess students’ understanding of models are suitable for educational research but, due to their complexity, cannot be employed by teachers when seeking to obtain direct feedback on their students. In the present research project, we developed a forced choice task diagnostic instrument based on the ‘model of model competence’ (Krell et al., 2016), which was to allow for a valid and efficient diagnosis of students’ meta-modelling knowledge in the aspects ‘nature of models’ and ‘purpose of models’. In order to provide evidence for the validity of the proposed score interpretation with the instrument, the constructed forced choice tasks were put to the test within the first global research question (RQGI): In what way do evidence and theory support the interpretation of the test scores for the intended use of diagnosing students’ meta-modelling knowledge? We gathered evidence for validity based on test content, on students’ response processes, on relations to other variables and on internal structure (AERA et al., 2014). Most evidence supports the valid interpretation of the proposed scores of meta- modelling knowledge. Nevertheless, we have to advise that score interpretation is sufficiently supported only for grades ten to twelve. Furthermore, there is a demand for more research concerning construct-irrelevant variance caused by information in the task stem as well as construct underrepresentation due to a possible lack of differenciation across contexts. The second global research question was set to provide information about students’ meta-modelling knowledge (RQGII): How frequently are the three levels of understanding within the aspects ‘nature of models’ and ‘purpose of models’ represented among students? For the aspect ‘nature of models’, the students mainly express perspectives on level II indicating that they understand models as idealised representations of an original according to the ‘model of model competence’ (Krell et al., 2016). For the aspect ‘purpose of models’, on the other side, the students mainly express perspectives on level I indicating that they understand the purpose of models to be the description of phenomena. In addition to these results, we assume students’ meta-modelling knowledge to be context-specific as the frequency of the preferred levels altered across contexts.

Modelle dienen einerseits als Medien, um bereits etabliertes Wissen über biologische Phänomene zu verstehen, andererseits ermöglichen sie es als Instrumente der Wissenschaft, noch unbekannte biologische Phänomene zu untersuchen (Oh & Oh, 2011). Aus didaktischer Sicht ist das Modellieren eine zentrale Arbeits- und Denkweise der Naturwissenschaften und ein wesentlicher Bestandteil einer naturwissenschaftlichen Grundbildung (KMK, 2005). Empirische Studien zeigen jedoch, dass Schüler*innen die Bedeutung von Modellen im wissenschaftlichen Erkenntnisprozess nur wenig wahrnehmen (Krell et al, 2016). Die bisher entwickelten Instrumente (u. a. Grosslight et al., 1991; Grünkorn, 2014) sind aufgrund ihrer Komplexität für einen effizienten Einsatz im Biologieunterricht durch Lehrkräfte nicht geeignet. Im vorliegenden Forschungsprojekt wurde auf der Grundlage des Kompetenzmodells der Modellkompetenz (Krell et al., 2016) ein Forced Choice Diagnoseinstrument entwickelt, welches eine valide und effiziente Diagnose von Modellverstehen in den Teilkompetenzen „Eigenschaften von Modellen“ und „Zweck von Modellen“ ermöglichen soll. Im Rahmen der ersten globalen Forschungsfrage (RQGI) wurde die valide Interpretation der Schülerantworten in den konstruierten Forced Choice Aufgaben überprüft: Inwiefern sind die Forced Choice Aufgaben geeignet, um das Modellverstehen von Schüler*innen in den Teilkompetenzen „Eigenschaften von Modellen“ und „Zweck von Modellen“ zu diagnostizieren? Hierbei wurden Evidenzen für Validität in den Bereichen „Testinhalt“, „Antwortprozesse“, „Beziehung zu anderen Variablen“ und „Interne Struktur“ (AERA et al., 2014) gesammelt. Die meisten Evidenzen unterstützen die Interpretation der Schülerantworten. Dennoch ist zu beachten, dass die valide Interpretation der Antworten nur für die Schüler*innen der Jahrgangsstufen zehn bis zwölf genügend durch die Evidenzdaten abgebildet wird. Des Weiteren ergibt sich aus den Untersuchungen die Forderung nach einer stärkeren Aufklärung von konstrukt-irrelevanter Varianz in den entwickelten Aufgaben zum Modellverstehen, die möglicherweise durch Informationen im Aufgabenstamm verursacht wird, sowie die Forderung nach der Analyse einer möglichen Unterrepräsentation des Konstrukts des Modellverstehens aufgrund eines Mangels an Differenzierung über Kontexte. Durch die zweite globale Forschungsfrage (RQGII) sollte das Modellverstehen von Schüler*innen beschrieben werden: Wie häufig sind die drei Niveaus des Modellverstehens in den Teilkompetenzen „Eigenschaften von Modellen“ und „Zweck von Modellen“ in den Antworten der Schüler*innen vertreten? In der Teilkompetenz „Eigenschaften von Modellen“ wählen die Schüler*innen vor allem Perspektiven auf Niveau II, welche Modelle als idealisierte Repräsentationen eines Originals charakterisieren (Krell et al., 2016). In der Teilkompetenz „Zweck von Modellen“ wählen die Schüler*innen hauptsächlich Perspektiven auf Niveau I. Dies deutet darauf hin, dass sie den Zweck der Modelle vorrangig in der Beschreibung der entsprechenden biologischen Phänomene sehen. Zusätzlich bestärken die Ergebnisse des vorliegenden Forschungsprojekts die Annahme, dass das Modellverstehen von Schüler*innen kontextspezifisch ist, da die Häufigkeit der bevorzugten Niveaus über die einzelnen Kontexte hinweg schwankt.