Investigating and understanding the stability, variability and change of psychological constructs is a major goal in longitudinal psychological assessment. It has been suggested that for a complete understanding of a longitudinal process under investigation, it is crucial to apply multimethod research designs (Eid, Lischetzke, Nussbeck, & Trierweiler, 2003). Since Campbell and Fiske (1959) it is widely acknowledged that psychological constructs are always assessed using a specific method of observations, and an observation does not only reflect the psychological construct under consideration but does also contain systematic method-specific influences. Multitrait-multimethod (MTMM) designs allow researchers to explicitly model method effects and analyze convergent and discriminant validity of a construct. Despite the growing interest in longitudinal and MTMM data analysis, only few attempts have been made to combine sophisticated longitudinal latent variable models and MTMM data analysis. To successfully apply longitudinal CFA-MTMM models in practice, it is important to consider specific aspects of the measurement design. First, an increasing number of MTMM measurement designs include a combination of different methods (e.g., different types of raters). Eid et al. (2008) provided a typology of CFA-MTMM models for interchangeable methods, structurally different methods, and a combination of both types of methods. Interchangeable methods are methods that are randomly selected from the same set of methods (e.g., raters). As interchangeable raters are drawn in a multi-stage sampling procedure, the resulting multilevel structure has to be modeled adequately. In contrast, structurally different methods are not selected from the same set of methods and can therefore not be easily replaced by one another (e.g., self-ratings). Until now, only few CFA-MTMM models have been presented allowing researchers to analyze longitudinal MTMM data with structurally different and interchangeable methods (Koch, 2013; Koch, Schultze, Eid, & Geiser, 2014; Koch, Schultze, Holtmann, Geiser, & Eid, 2017). Second, in longitudinal research, an increasing number of psychological constructs are assessed using short-scales in large-scale panel studies, with an associated increase in the need for models that allow analyses on the item-level. As items are commonly measured on a categorical response scale, measurement models of item response theory (IRT) have to be considered to properly model the response format. Thus far, only few models have been presented allowing researchers to analyze complex MTMM data with ordered response variables (Crayen, Geiser, Scheithauer, & Eid, 2011; Eid, 1996; Jeon & Rijmen, 2014; Nussbeck, Eid, & Lischetzke, 2006), but none of these models can be used for longitudinal MTMM measurement designs combining structurally different and interchangeable methods. The present work fills this gap by introducing several longitudinal multilevel CFA-MTMM models for ordered response variables: a latent state (LS- Com), a latent change (LC-Com), a latent state-trait (LST-Com), and a latent growth curve (LGC-Com) graded response model (GRM). These longitudinal latent variable models belong to the most widely applied CFA approaches to longitudinal data modeling and serve to answer different research questions. The presented models combine the advantages of multilevel MTMM measurement designs and longitudinal CFA models for categorical observed variables. The complexity of these models with several latent variables and ordinal indicators exceed computational and practical limitations of numerical integration. Presently, only Bayesian estimation methods allow for the estimation of the models proposed in this work. The statistical performance of the models is investigated via three simulation studies using Bayesian estimation techniques. As the results of the simulation studies show, the LS- Com GRM and LST-Com GRM can be accurately estimated under realistic sample sizes if low degrees of convergent validity are present. These results are encouraging and suggest that even complex multilevel longitudinal CFA-MTMM models can be applied in a wide range of situations using Bayesian methods. However, estimation of the models reaches its limits in cases of high convergent validity and for the LGC-Com GRM with small slope variances. The results of the simulation studies are discussed and practical guidelines for empirical applications are given. An application of the models to multi-rater data on life satisfaction and subjective happiness illustrates the applicability and advantages of the models in applied research as well as the advantages of sampling the model coefficients by Bayesian MCMC methods. Finally, the advantages and limitations of the models are discussed and an outlook on future research topics is provided.
Die Untersuchung und Erklärung der Stabilität, Variabilität und Veränderung psychologischer Konstrukte ist ein wichtiges Ziel längsschnitlicher psychologischer Forschung. Für ein umfassendes Verständnis des zu untersuchenden längsschnittlichen Prozesses wurde dem Einsatz multimethodaler Forschungsdesigns äußerste Wichtigkeit zugesprochen (Eid, Lis- chetzke, Nussbeck, & Trierweiler, 2003). Seit Campbell and Fiske (1959) ist die Idee allgemein anerkannt, dass psychologische Konstrukte immer mit einer spezifischen Beobachtungsmethode gemessen werden und somit Beobachtungen neben dem relevanten, zu messenden psychologischen Konstrukt auch systematische methodenspezifische Einflüsse erfassen. Multitrait-multimethod (MTMM) Designs ermöglichen es, solche Methodeneffekte explizit zu modellieren und die konvergente und diskriminante Validität eines Konstruktes zu analysieren. Trotz des steigenden Interesses an längsschnittlichen sowie an MTMM Datenanalysen wurden nur wenige Versuche unternommen, anspruchsvolle längsschnittliche Modelle für latente Variablen und MTMM Analysen miteinander zu kombinieren. Für die erfolgreiche Anwendung längsschnittlicher CFA-MTMM Modelle in der Praxis ist es von zentraler Bedeutung, Aspekte des Messdesigns zu berücksichtigen. Zum einen umfasst eine steigende Anzahl von MTMM Messdesigns eine Kombination verschiedener Methoden (z.B. verschiedene Rater- Typen). Eid et al. (2008) erstellten eine Typologie von CFA- MTMM Modellen für austauschbare, strukturell verschiedene, sowie die Kombination beider Typen von Methoden. Austauschbare Methoden sind Methoden (z.B. Rater), welche zufällig aus der gleichen Menge von Methoden gezogen werden. Da austauschbare Rater in einem mehrstufigen Prozess der Stichprobenziehung gewonnen werden, muss die entstehende Multilevel-Struktur der Daten adäquat modelliert werden. Strukturell verschiedene Methoden hingegen werden nicht aus einer Menge gleicher Methoden gezogen und könenn daher nicht einfach durch einander ersetzt werden (z.B. Selbstberichte). Bisher gibt es nur wenige CFA-MTMM Modelle, welche es ermöglichen längsschnittliche MTMM Daten mit einer Kombination von strukturell verschiedenen und austauschbaren Methoden zu analysieren (Koch, 2013; Koch, Schultze, Eid, & Geiser, 2014; Koch, Schultze, Holtmann, Geiser, & Eid, 2017). Zweitens wird eine steigende Zahl von psychologischen Konstrukten in Panel-Studien anhand von Kurzskalen erhoben, womit der Bedarf an Modellen, welche Analysen auf der Item-Ebene erlauben, wächst. Da Items häufig mit kategorialen Antwortformaten erfasst werden ist es entscheidend dieses kategoriale Antwortformat durch die Verwendung von Messmodellen der Item-Response-Theorie angemessen zu berücksichtigen. Bisher wurden nur wenige Modelle für die Analyse komplexer MTMM Daten mit geordnet kategorialen Antwortvariablen eingeführt (Crayen, Geiser, Scheithauer, & Eid, 2011; Eid, 1996; Jeon & Rijmen, 2014; Nussbeck, Eid, & Lischetzke, 2006). Keines dieser Modelle kann jedoch für länggschnittliche MTMM Messmodelle mit einer Kombination von austauschbaren und strukturell verschiedenen Methoden angewendet werden. Die vorgelegte Arbeit schließt diese Lücke und präsentiert mehrere längsschnittliche multilevel CFA-MTMM Modelle für geordnet kategoriale Antwortvariablen: ein Latent State (LS-Com), ein Latent Change (LC- Com), ein Latent State-Trait (LST-Com), und ein Latent Growth Curve (LGC-Com) Graded Response Modell (GRM). Diese längsschnittlichen latenten-Variablen-Modelle gehören zu den weit verbreitesten CFA Ansätzen längsschnittlicher Datenanalyse und können zur Beantwortung verschiedener Forschungsfragen herangezogen werden. Die eingeführten Modelle kombinieren die Vorteile von multilevel MTMM Messdesigns und längsschnittlichen CFA Modellen für kategoriale beobachtete Variablen. Die Komplexität der eingeführten Modelle mit mehreren latenten Variablen und ordinalen Indikatoren überschreitet die Grenzen der Anwendbarkeit und Rechenkapazitäten von Verfahren der numerischen Integration. Folglich können die präsentierten Modelle bisher nur mit Bayesianischen Methoden geschätzt werden. Die statistische Performanz der Modelle wurde in drei Simulationsstudien mithilfe Bayesianischer Schätzverfahren untersucht. Die Ergebnisse der Simulationsstudien zeigen, dass das LS-Com GRM und das LST- Com GRM unter realistischen Stichprobengrößen akkurat geschätzt werden können, wenn ein moderates Level konvergenter Validität vorliegt. Die Ergebnisse zeigen, dass solch komplexe längsschnittliche multilevel CFA-MTMM Modelle in einer breiten Zahl von Situationen mithilfe Bayesianischer Schätzmethoden angewendet werden können. Die Schätzbarkeit der Modelle stößt jedoch an ihre Grenzen wenn niedrige Level konvergenter Validität vorliegen oder wenn die Slope Varianzen im LGC-Com GRM gering sind. Die Ergebnisse der Simulationsstudien werden diskutiert und praktische Anwendungsrichtlinien werden vorgestellt. Eine Anwendung der Modelle auf Multi-Rater Daten von subjektiver Happiness und Lebenszufriedenheit illustriert die Anwendbarkeit und die Vorteile der Modelle in angewandter Forschung sowie die Vorteile der Modellschätzung mittels Bayesianischer MCMC Verfahren. Vorteile und Grenzen der Modelle werden diskutiert und ein Ausblick auf zukünftige Forschungsfragen wird gegeben.
