Isn’t Something Missing? Latent Variable Models Accounting for Item Nonresponse

Abstract

Item nonresponse in competence tests pose a threat to a valid and reliable competence measurement, especially if the missing values occur systematically and relate to the unobserved response. This is often the case in the context of large-scale assessments, where the failure to respond to an item relates to examinee ability. Researchers developed methods that consider the dependency between ability and item nonresponse by incorporating a model for the process that causes missing values into the measurement model for ability. These model-based approaches seem very promising and might prove superior to common missing data approaches, which typically fail at taking the dependency between ability and nonresponse into account. Up to this point, the approaches have barely been investigated in terms of applicability and performance with regard to the scaling of competence tests in large-scale assessments. The current dissertation bridges the gap between these theoretically postulated models and their possible implementation in the context of large-scale assessments. It aims at (1) testing the applicability of model-based approaches to competence test data, and (2) evaluating whether and under what missing data conditions these approaches are superior to common missing data approaches. Three research studies were conducted for this purpose. Study 1 investigated the assumptions of model-based approaches, whether they hold in empirical practice, and how violations to those assumptions affect individual person parameters. Study 2 focused on features of examinees’ nonresponse behavior, such as its stability across different competence tests and how it relates to other examinee characteristics. Study 3 examined the performance of model- based approaches compared to other approaches. Results demonstrate that model- based approaches can be applied to large-scale assessment data, though slight extensions of the models might enhance accuracy in parameter estimates. Further, persons’ tendencies not to respond can be considered person-specific attributes, which are relatively constant across different competence tests and also relate to other stable person characteristics. Findings from the third study confirmed the superiority of the model-based approaches compared to common missing data approaches, although a model that simply ignores missing values also led to acceptable results. Model-based approaches show serval advantages over common missing data approaches. Considering their complexity, however, the benefits and drawbacks from different methods need to be weighed. Important issues in the debate on an appropriate scaling method concern model complexity, consequences on examinees’ test-taking behavior, and precision of parameter estimates. For many large-scale assessments, a change in the missing data treatment is clearly necessary. Whether model-based approaches will replace former methods is yet to be determined. They certainly count amongst the most advanced methods to handle missing values in the scaling of competence tests.

Die Nichtbeantwortung einzelner Aufgaben bei der Bearbeitung von Kompetenztests stellt eine Bedrohung für die valide und reliable Messung von Kompetenzen dar, besonders wenn die fehlenden Werte systematisch auftreten und mit der unbeobachteten Antwort zusammenhängen. Dies ist im Kontext großangelegter Bildungsstudien üblicherweise der Fall, da hier die Nichtbeantwortung von Items häufig mit der Fähigkeit der Probanden zusammenhängt. Wissenschaftler haben neue Ansätze entwickelt, welche die Abhängigkeit zwischen Kompetenz und Nichtbeantwortung von Items berücksichtigen. Hierfür wird der Prozess, der zu fehlenden Werten führt, modelliert und in das Messmodell zur Fähigkeitsschätzung mitaufgenommen. Diese vielversprechenden modellbasierten Ansätze sind den allgemein gebräuchlichen Ansätzen zum Umgang mit fehlenden Werten—welche den Zusammenhang zwischen Fähigkeit und Nichtbeantwortung nicht berücksichtigen—möglicherweise überlegen. Bislang wurden die Ansätze nur selten auf Anwendbarkeit und Performanz bei der Skalierung von Kompetenztests großangelegter Bildungsstudien geprüft. Die vorliegende Dissertationsarbeit schließt die Lücke zwischen den theoretisch postulierten Modellen und deren möglicher Implementierung im Kontext großangelegter Bildungsstudien. Ziele der Arbeit waren (1) die Anwendbarkeit modellbasierter Ansätze in Bezug auf Kompetenztests zu prüfen und (2) zu evaluieren ob und unter welchen Bedingungen die Ansätze den allgemein gebräuchlichen Ansätzen vorzuziehen sind. Diesem Zweck dienten drei Forschungsstudien. Studie 1 prüfte, ob die Annahmen modellbasierter Ansätze in Kompetenztestdaten Bestand haben und sich Verletzungen dieser Annahmen auf individuelle Personenparameterschätzer auswirken. Studie 2 untersuchte Merkmale des Antwortverhaltens von Probanden, wie beispielsweise ob die Tendenzen zur Nichtbeantwortung über verschiedene Tests hinweg ähnlich ausfallen und ob sie mit weiteren Personencharakteristika zusammenhängen. Studie 3 testete die Performanz der modellbasierten Ansätze im Vergleich zu allgemein gebräuchlichen Ansätzen. Ergebnisse zeigen, dass modellbasierte Ansätze durchaus auf Kompetenztestdaten großangelegter Bildungsstudien anwendbar sind, wobei leichte Erweiterungen der Modelle zu einer genaueren Parameterschätzung führen. Des Weiteren können die Tendenzen zur Nichtbeantwortung als personenspezifische Attribute angesehen werden, welche über verschiedene Kompetenztests relativ stabil sind und auch stabile Zusammenhänge zu anderen Persönlichkeitscharakteristika aufweisen. Die Befunde der dritten Studie bestätigen die Überlegenheit der modellbasierten Ansätze gegenüber allgemein gebräuchlichen Methoden, wobei ein Modell, welches fehlende Werte lediglich ignoriert, auch akzeptable Resultate liefert. Modellbasierte Ansätze weisen im Vergleich zu allgemein gebräuchlichen Ansätzen einige Vorteile auf. In Anbetracht ihrer Komplexität sollten jedoch die Vor- und Nachteile verschiedener Skalierungsmethoden gegeneinander abgewogen werden. Als wichtige Aspekte gelten hierbei die Komplexität des Modells, Auswirkungen auf das Testverhalten der Probanden und die Genauigkeit bei der Schätzung der Parameter. Vielen großangelegten Bildungsstudien steht definitiv ein Wandel in der Art des Umgangs mit fehlenden Werten bevor. Ob modellbasierte Ansätze die bisherigen Methoden ersetzen ist noch unklar. Fest steht, dass modellbasierte Ansätze zu den fortschrittlichsten Methoden zum Umgang mit fehlenden Werten bei der Skalierung von Kompetenztestdaten gehören.