Structural equation modeling of multitrait-multimethod-multioccasion data

Abstract

New structural equation models (SEMs) for the analysis of multitrait- multimethod-multioccasion (MTMM-MO) data are presented. The definition and psychometric analysis of the models is based on stochastic measurement theory (Steyer, 1989; Suppes & Zinnes, 1963). The applicability of the new models is evaluated through a reanalysis of a real MTMM-MO data set and a Monte Carlo simulation study. In the introduction, an overview of existing SEMs for cross- sectional MTMM data is provided. The Correlated Trait-Correlated Uniqueness (CT-CU; Marsh, 1989), Correlated Trait-Correlated Method (CT-CM; Widaman, 1985), Correlated Trait-Uncorrelated Method- (CT-UM), and Correlated Trait- Correlated (Method Minus One)- [CT-C(M–1); Eid, 2000] models are briefly reviewed and compared. It is concluded that the CT-C(M–1) model for multiple indicators per trait-method unit (Eid et al., 2003) is one of the most useful models currently available for cross-sectional MTMM data. Subsequently, three different SEM approaches to the analysis of longitudinal MTMM data are discussed: Cole and Maxwell’s (2003) multi-occasion CU model; Burns, Walsh, and Gomez’ (2003) Correlated State-Correlated Method model (Burn & Haynes, 2006); and Courvoisier’s (2006) multi-method latent state trait model (Courvoisier, Nussbeck, Eid, Geiser, & Cole, 2007). It is shown that a general measurement model for analyzing MTMM data and for analyzing change in MTMM-MO studies has not yet been developed. Subsequently, basic principles of classical test theory (Steyer, 1989, Steyer & Eid, 2001) and latent state theory (Steyer, 1988; Steyer, Ferring, & Schmitt, 1992) are reviewed. These concepts are used in the formulation of the new MTMM-MO models. Afterwards, two versions of the Correlated State-Correlated (Method Minus One) [CS-C(M–1)] model are introduced. These models represent a combination of Eid et al.’s (2003) multiple indicator CT-C(M–1) model and the correlated state model for mono-method data (Steyer et al., 1992). A detailed psychometric analysis of the CS-C(M–1) models is provided. It is then shown how CS-C(M–1) models can be extended to latent difference models to study inter-individual differences in intra-individual change over time. The so-called CS-C(M–1) change model represents a multimethod extension of Steyer, Eid, and Schwenkmezger’s (1997) true change model (Steyer, Partchev, & Shanahan, 2000). The CS-C(M–1) change model can be used to study change in different methods simultaneously and to determine the degree of convergent validity and method-specificity of observed and latent change scores. In the empirical part, a 3-Step procedure for analyzing, testing and selecting an appropriate CS-C(M–1) model is presented and the applicability of the new models is investigated in a reanalysis of a MTMM-MO data set and a Monte Carlo simulation study. The results show that the new models are useful to analyze the complex structure of a MTMM-MO matrix obtained from multiple indicators per construct-method-occasion unit. In the final part, advantages and limitations of the models as well as detailed guidelines for potential users are discussed. Furthermore, the new models are compared with already established methods for analyzing MTMM-MO data and directions for future research are pointed out.

In der vorliegenden Arbeit werden Strukturgleichungsmodelle zur Analyse von längsschnittlich erhobenen Multitrait-Multimethod-(MTMM) Daten präsentiert, messtheoretisch analysiert und auf ihre praktische Nützlichkeit hin überprüft. Die Definition der Modelle erfolgt auf der Basis der stochastischen Messtheorie (Steyer, 1989; Suppes & Zinnes, 1963). Die Überprüfung der praktischen Anwendbarkeit der Modelle wird anhand einer Reanalyse von empirischen Daten sowie einer Monte-Carlo-Simulationsstudie vorgenommen. In der Einleitung werden zunächst mit dem Correlated Trait-Correlated Uniqueness- (CT-CU; Marsh, 1989), Correlated Trait-Correlated Method- (CT-CM; Widaman, 1985), Correlated Trait-Uncorrelated Method- (CT-UM) und dem Correlated Trait- Correlated (Method Minus One)- [CT-C(M–1); Eid, 2000] Modell die bekanntesten Strukturgleichungsmodelle zur Analyse von querschnittlichen MTMM-Daten diskutiert (siehe auch Eid, Lischetzke, & Nussbeck, 2006, Eid, Nussbeck, & Lischetzke, 2006; Geiser, Eid, Nussbeck, & Lischetzke, im Druck). Im Vergleich erweist sich dabei das CT-C(M–1)-Modell für multiple Indikatoren (Eid, Lischetzke, Nussbeck, & Trierweiler, 2003) als eines der leistungsfähigsten derzeit verfügbaren MTMM-Modelle. Anschließend werden verschiedene bereits etablierte Ansätze zur Analyse längsschnittlicher MTMM-Daten präsentiert. Dazu zählen das Multi-Occasion-CU-Modell (Cole & Maxwell, 2003), das Multi- Occasion-CT-CM-Modell (Burns, Walsh, & Gomez, 2003, Burns & Haynes, 2006) und das Multimethod-Latent-State-Trait-Modell (Courvoisier, 2006; Courvoisier, Nussbeck, Eid, Geiser, & Cole, 2007). Es wird gezeigt, dass ein allgemeines längsschnittliches MTMM-Messmodell für multiple Indikatoren und für die Analyse latenter Veränderung über die Zeit bislang noch fehlt. In einem weiteren Einleitungskapitel werden die für die Entwicklung der neuen Modelle benötigten messtheoretischen Grundlagen der Klassischen Testtheorie (Steyer, 1989, Steyer & Eid, 2001) und der Latent-State-Theorie (Steyer, 1988; Steyer, Ferring, & Schmitt, 1992) besprochen. Anschließend werden zwei Versionen des Correlated State-Correlated (Method Minus One)- [CS-C(M–1)] Modells eingeführt, welche Kombinationen aus dem CT-C(M–1)-Modell für multiple Indikatoren (Eid et al., 2003) und dem Correlated-State-Modell (Steyer et al., 1992) darstellen. Nach einer messtheoretischen Analyse der CS-C(M–1)-Modelle wird die Erweiterung zu einem Modell mit latenten Differenzvariablen zur Untersuchung von interindividuellen Unterschieden in intraindividuellen Veränderungen über die Zeit vorgestellt. Dieses sogenannte CS-C(M–1)-Change- Modell stellt eine multimethodale Erweiterung des True-Change-Ansatzes von Steyer, Eid und Schwenkmezger (1997; Steyer, Partchev, & Shanahan, 2000) dar. Mit Hilfe des CS-C(M–1)-Change-Modells kann latente Veränderung simultan für mehrere Methoden untersucht werden. Zudem können die konvergente Validität und Methodenspezifität von beobachteten und latenten Differenzenscores bestimmt werden. Nach der theoretischen Analyse der CS-C(M–1)-State- und Change-Modelle wird die Anwendbarkeit der Modelle auf reale Daten anhand einer umfangreichen Reanalyse eines längsschnittlichen MTMM-Datensatzes und einer anwendungsbezogenen Simulationsstudie überprüft. In der Anwendung wird ein 3-stufiger Ansatz zur Analyse, Testung und Selektion von Modellvarianten vorgeschlagen. Die Ergebnisse beider Studien zeigen, dass sich die Modelle gewinnbringend zur Analyse von MTMM-MO-Daten einsetzen lassen. Im letzten Teil der Arbeit werden Vorteile und Einschränkungen der Modelle diskutiert, detaillierte Hinweise und Tipps für potentielle Anwender gegeben, Vergleiche zu anderen Ansätzen zur Analyse von längsschnittlichen MTMM-Daten gezogen sowie Aufgaben und Ziele für die zukünftige Forschung aufgezeigt.