Multilevel Structural Equation Modeling of Multitrait-Multimethod- Multioccasion Data

Abstract

In der vorliegenden Arbeit werden insgesamt vier Mehrebenen- Strukturgleichungsmodelle für multimethodale Längsschnittsuntersuchungen (multitrait-multimethod-multioccasion, MTMM-MO-Designs) vorgestellt. Insbesondere werden in dieser Arbeit folgende Modelle vorgestellt: • Multimethod-Latent-State-Modelle (LS-COM-Modelle), • Multimethod-Latent- Change-Modelle (LC-COM-Modelle), • Multimethod-Latent-State-Trait-Modelle (LST-COM-Modelle) und • Multimethod-Latent-Growth-Curve-Modelle (LGC-COM- Modelle). Ein wesentlicher Vorteil der neu definierten Modelle ist, dass sie für die Analyse von MTMM-MO-Forschungsdesigns mit einer Kombination von strukturell unterschiedlichen und austauschbaren Methoden eingesetzt werden können. Gemäß Eid et al. (2008) sind austauschbare Methoden (z.B. Peer- Berichte) Methoden, die zufällig aus einer Population gleichartiger Methoden gezogen werden können. Im Gegensatz dazu, können strukturell unterschiedliche Methoden (z.B. Eltern- und Schülerberichte) nicht zufällig aus einer Population von gleichartigen Methoden gezogen werden, sondern liegen a priori für den zu Beurteilenden (Target) fest (Eid et al., 2008). So liegt der Elternbericht beispielsweise für jeden Schüler und jede Schülerin fest. Ferner werden die in dieser Arbeit vorgestellten Modelle für unterschiedliche Längsschnittanalysen definiert. Das bedeutet, dass Forscher die neuen Modelle für Latent-State-, Latent-Change-, Latent-State-Trait-, oder Latent-Growth- Curve-Modellierungen verwenden können. Die Definitionen der Modelle erfolgen dabei auf der Basis der stochastischen Messtheorie (Steyer, 1989; Steyer & Eid, 2001; Suppes & Zinnes,1963; Zimmermann, 1975). Das heisst, es wurden in dieser Arbeit die wesentlichen psychometrischen Eigenschaften der Modelle (Fragen bzgl. der Existenz, Eindeutigkeit, Bedeutsamkeit, Identizierbarkeit) im Detail geklärt. Darüber hinaus, wurden alle Modelle mittels aufwendigen Monte-Carlo-Simulationsstudien in Hinblick auf ihre statistische Performanz untersucht. Im Rahmen der Simulationsstudien zeigte sich, dass die neu definierten Modelle generell für komplexe MTMMModellierungen geeignet sind und zu zuverlässigen Parameter- sowie Standardfehlerschätzungen führen. Ebenso war die Anzahl von wahren unzulässigen Parameterschätzungen (sog. Heywood cases) gering. Außerdem zeigte sich, dass mit zunehmender Anzahl von Level-1 Einheiten (d.h. Anzahl der austauschbaren Rater pro Target) der Standfehlerbias sowie die Anzahl von wahren unzulässigen Parameterschätzungen deutlich reduziert werden kann. Eine Erhöhung der Anzahl der Level-2 Einheiten (d.h. Anzahl von Targets) zeigte ähnliche, aber weniger stark ausgeprägte Ergebnisse in Bezug auf die Reduktion von Standardfehlerverzerrungen. Die beiliegende Arbeit ist wie folgt gegliedert: Im ersten Teil der Arbeit wird eine generelle Einführung zum Thema MTMM-Analysen gegeben, wobei die zentralen Vorteile von Strukturgleichungsmodellen für die Analyse von MTMM-Daten hervorgehoben werden. Ferner werden die längschnittlichen MTMM-Modelle von Geiser (2008) sowie von (Courvoisier, 2006) vorgestellt, da diese als Spezialfälle aus den vorgestellten Modellen hervorgehen. Im zweiten Teil der Arbeit werden die neu vorgestellten Modelle in einzelnen Kapiteln formal definiert und deren psychometrischen Eigenschaften mathematisch bewiesen. Im dritten Teil der Arbeit werden die Ergebnisse der Monte-Carlo- Simulationsstudien vorgestellt. Abschließend werden die Ergebnisse dieser Arbeit im vierten Teil nochmals zusammengefasst und diskutiert.

Many psychologists agree with the statement that the multitrait-multimethod (MTMM) analysis developed by Campbell and Fiske (1959) is one of the most important methodological developments in the social and behavioral sciences (see e.g., Kenny, 1995). MTMM measurement designs allow researchers to scrutinize the convergent and discriminant validity of their measures. The numerous advantages of multimethod research (Eid, 2006) as well as the increasing interest in longitudinal research have led many statisticians to develop new models for analyzing multitrait-multimethod-multioccasion (MTMM- MO) data (e.g., Burns, Walsh, & Gomez, 2003; Burns & Haynes, 2006; Cole & Maxwell, 2003; Courvoisier, 2006; Courvoisier, Nussbeck, Eid, Geiser, & Cole, 2008; Crayen, Geiser, Scheithauer, & Eid, 2011; Geiser, 2008, 2009; Geiser, Eid, Nussbeck, Courvoisier, & Cole, 2010; Grimm, Pianta, & Konold, 2009). Currently, the most common way to analyze MTMM data is via structural equation models (SEMs; Eid, 2000). Using structural equation models for analyzing longitudinal MTMM data bears many advantages such as (a) separating different sources of variance (e.g., due to trait, occasion-specific, method, and measurement error influences), (b) testing theoretical assumptions via model test indices, (c) relating latent method variables to external variables. However, researchers often struggle with choosing the appropriate structural equation model for their particular MTMM-MO measurement design. According to Eid et al. (2008) the model selection process should be guided by the types of methods used in the MTMM measurement design. For example, measurement designs with interchangeable methods imply that methods are randomly chosen from a common set of equivalent methods (e.g., multiple student ratings for teaching quality). As a consequence, measurement designs using interchangeable methods result out of a multistage sampling procedure and thus imply a hierarchical (multilevel) data structure (e.g., raters nested in targets). In contrast, measurement designs with structurally different methods result whenever methods are fixed. Structurally different methods are methods which cannot be easily replaced by one another (e.g., physiological measures, self-ratings, teacher ratings). In this thesis four different multilevel structural equation models (ML-SEMs) are proposed for analyzing longitudinal MTMM data combining structurally different and interchangeable methods. Specifically, a latent state (LS-COM) model (see chapter 2), a latent change (LC-COM) model (see chapter 3), a latent state-trait (LST-COM) model (see chapter 4) and a latent growth curve (LGC-COM) model (see chapter 5) is formally defined. The abbreviation COM stands for the combination of structurally different and interchangeable methods. In addition, the statistical performance of each model is investigated via four simulation studies (see Part III). According to the results of the simulation studies, the models perform well in general. Across all simulation studies the amount of improper solutions (Heywood cases) as well as parameter estimate bias (peb) was below 5%. No convergence problems with respect to the H0 model were found. The average standard error bias (seb) was also below the critical cutoff value of .1 for most parameters. However, with increasing model complexity (number of parameters) larger sample sizes on both levels are needed. The results of the simulation studies are discussed and practical guidelines for empirical applications are given (see Section 11.1). Finally, the advantages and limitations of the models are discussed and an outlook on future research topics is provided.