Computergestütztes Adaptives Testen (CAT) von Angst entwickelt auf der Grundlage der Item Response Theorie (IRT)

Abstract

Die vorliegende Dissertation, welche im Rahmen eines DFG-geförderten Forschungsprojekts der Medizinischen Klinik mit Schwerpunkt Psychosomatik der Charité Berlin entstanden ist, hatte die Entwicklung und Validierung eines Computergestützten Adaptiven Tests (CAT) zur Angstmessung (Angst-CAT) zum Ziel. Die CAT-Entwicklung geschah auf der Grundlage einer "modernen" Testtheorie, namens "Item Response Theorie" (IRT), die gegenüber der herkömmlichen "Klassischen Test-Theorie" (KTT) eine Reihe von messtheoretischen Vorteilen bietet. Es sollte erprobt werden, ob sich diese Vorteile auch in der praktischen Anwendung bei der Konstruktion eines CATs im klinisch-psychologischen Bereich wieder finden lassen. CATs ermöglichen die individuelle Anpassung der Itemdarbietung an die Merkmalsausprägung einer Person. Dies geschieht, indem Testpersonen während der CAT-Bearbeitung nur die Items zur Beantwortung dargeboten werden, welche dem individuellem Ausprägungsniveau einer Person optimal entsprechen ("adaptives Testen"). Dadurch kann eine deutliche Verringerung der Testlänge bei einem gleichzeitig konstant hohen Messpräzisionsniveau erreicht werden.

Die IRT-basierte Testentwicklung des Angst-CATs gliedert sich in drei Schritte: (1.) die inhaltliche Auswahl angstrelevanter Items, (2.) die sequentielle statistische Itemanalyse und -selektion dieser Items mit dem Ziel, die Items mit der besten psychometrischen Qualität zur Konstruktion einer Itembank zu nutzen und (3.) die Implementierung der Itembank in einen computergestützten adaptiven Itemabfolge-Algorithmus, der die Präsentation der Items und die Schätzung der individuellen Angstausprägung von Testpersonen ermöglicht.

Die zur Itemanalyse und -selektion genutzten Items entstammen etablierten psychometrischen Instrumenten . Die Itemanalyse erfolgte an psychometrischen Daten von N=2.348 psychosomatischen Patienten. Aus einem initialen Itempool von 125 Items wurden 50 Items selektiert und als Itembank dem Angst-CAT zugrunde gelegt. Die entwickelte Itembank erfasst weitgehend objekt- und situationsübergreifend sowohl emotionale als auch kognitive Aspekte der aktuellen Zustandsangst.

Eine an die CAT-Entwicklung anschließende Validierungsstudie mit etablierten Instrumenten (BAI, HADS, GT, NEO-FFI) an N=102 psychosomatischen Patienten zeigt, dass das Angst-CAT ein valides und reliables, sowie ökonomisches psychometrisches Screening-Instrument zur Erfassung von Zustands-Angst ist. Durchschnittlich genügte im Angst-CAT die Darbietung von 5-7 Items zur Schätzung der Angstausprägung auf einem konstant hohen Messgenauigkeitsniveau mit einer Reliabilität von > 0,9.

Dieser Befund, welcher im Einklang mit positiven Forschungsergebnissen IRT- basiert-entwickelter CATs im Bereich der Leistungsdiagnostik steht, deutet darauf hin, dass auch die klinisch-psychologische Diagnostik von der Entwicklung und dem Einsatz IRT-basierter CATs profitieren kann.

This dissertation pursues the goal of constructing and validating a computer assisted adaptive test (CAT) for measuring anxiety (Anxiety-CAT). It was written in the course of a DFG-funded research project at the medical clinic of psychosomatics, Charité Berlin, Germany.

The CAT was developed on principles of a "modern" test theory called "item response theory" (IRT). Because IRT offers several test-theoretical advantages over the conventional "classical test theory"(CTT), the goal of this dissertation was to investigate, if these advantages could be used in a practical application of constructing a CAT in the domain of clinical psychology.

CATs allow for adapting items to the individual level of proficiency. The computerized adaptive testing is realized by administering during the CAT- trial only those items to test persons which fit the best to their individual level of f. ex. anxiety. By that test length can be significantly reduced while maintaining a constant high level of measurement precision.

The realized IRT-based test construction of the Anxiety-CAT follows three major steps: (1.) a content-based selection of items assumed to be relevant to the construct of anxiety, (2.) sequential steps of analyzing and selecting items to achieve the goal of constructing an item bank of the items showing the best psychometric quality and (3.) using the selected items for implementing a computer-assisted adaptive algorithm, which enables the adaptive item administration and estimation of the individual level of anxiety.

The item analysis and selection for CAT-construction was conducted on data of n=2.348 psychosomatic patients administered by established psychometric instruments . Out of an initial item pool of n=125 items 50 items were selected and implemented as the item bank underlying the Anxiety-CAT. These items assess emotional and cognitive aspects of the current state-anxiety mostly independent of specific objects and situations.

This was followed by a validation study administering established instruments (BAI, HADS, GT, NEO-FFI) to n=102 psychosomatic patients. The Anxiety-CAT indicates to be a valid and reliable as well as economic psychometric screening test for measuring state-anxiety. On average only 5-7 items were needed for administration by the Anxiety-CAT estimating the level of anxiety on a high level of measurement precision (reliability > 0,9).

This finding standing in line with positive results of research on IRT-based CATs in the domain of achievement testing shows that the field of clinical psychodiagnostics might profit from constructing and administering IRT-based CATs.