Latent rater agreement models: analyzing the convergent and discriminant validity of categorical ratings

Abstract

The multitrait-multimethod (MTMM) analysis has become the via regia for analyzing the convergent and discriminant validity of psychological judgments. However, most of the MTMM models have been defined relying on correlations or factor-analytic approaches. MTMM models for the analysis of categorical data have not been developed yet. In this dissertation, MTMM models for the analysis of convergent and discriminant validity of categorical ratings are defined, the meaning of the model parameters is explained , and the models are applied to empirical data. To this end, the concepts of convergent and discriminant validity as analyzed by the MTMM matrix are defined and explained in a first step. In a further step, rater agreement models which can be perceived as Monotrait-Heteromethod models are revised. Based on the existing rater agreement models and on log-linear models with one latent variable / Latent Class Models i) latent rater agreement models as special log-linear models with two latent variables are defined; these models are extended to ii) Multitrait-Multirater models by integrating additional trait variables. The latent rater agreement models allow for i) disentangling measurement error from a latent underlying score, ii) analyzing the convergence (agreement) as well as the disaccord between different methods measuring the same trait, and iii) determining rater specific influences (rater bias). Extending the latent rater agreement model to a Multitrait-Multirater model additionally allows for the analysis of iv) discriminant valdity and v) for identifying covariates which may explain higher rates of convergence or disaccord between different methods. All models are defined for the case of structurally different or interchangeable raters, the meaning of their model parameters are explained in detail with respect to their interpretation for the analysis of convergent and discriminant validity, and the newly proposed models are illustrated analyzing multiple ratings of neuroticism and conscientiousness provided by two raters (N = 478 pairs of raters). Finally, limitations as computational problems and possible extensions to more than two raters are discussed.

Die Multitrait-Multimethod (MTMM) Analyse hat sich als Königsweg für die Analyse der konvergenten und diskriminanten Validität psychologischer Messungen etabliert. Die Mehrzahl der vorgeschlagenen Multitrait-Multimethod Modelle bedient sich jedoch korrelativer oder faktorenanalytischer Ansätze. MTMM Modelle zur Analyse der konvergenten und diskriminanten Validität bei kategorialen Daten sind bislang noch nicht entwickelt worden. In der vorliegenden Dissertationsschrift wird diese Lücke geschlossen, indem MTMM Modelle zur Analyse der konvergenten und diskriminanten Validität kategorialer Ratings definiert werden, die Bedeutung der Modellparameter expliziert wird und die Modelle exemplarisch an einem empirischen Datensatz illustriert werden. Dazu werden zunächst die Konzepte der konvergenten und diskriminanten Validität, wie sie in der MTMM Modellierung verstanden werden, definiert und expliziert. Daraufhin wird ein Überblick über Beurteilerübereinstimmungsmodelle, die auch als Monotrait-Heteromethod Modelle verstanden werden können, gegeben. Aufbauend auf diesen Modellen und des Ansatzes der log-linearen Modelle mit latenten Variablen / der Analyse latenter Klassen werden i) latente Beurteilerübereinstimmungsmodelle als Spezialfälle der log-linearen Modelle mit latenten Variablen definiert. Diese Modelle werden zu ii) Multitrait-Multirater Modellen erweitert, indem weitere Traitvariablen aufgenommen werden. Die latenten Beurteilerübreinstimmungsmodelle ermöglichen i) die Trennung von messfehlerspezifischen Einflüssen und latenten den beobachteten Werten zugrundeliegenden latenten Werten, ii) die Konvergenz (Übereinstimmung) und die Abweichungen zwischen verschiedenen Methoden, die den gleichen Trait messen sollen, zu analysieren und iii) die Untersuchung von beurteilerspezifischen Einflüssen (Raterbias). Die Erweiterung zum Multitrait- Multirater Modell erlaubt darüber hinaus iv) die Analyse der diskriminanten Validität und v) die Identifikation von Kovariaten, die höhere Raten der Konvergenz oder abweichender Urteile zwischen den verschiedenen Methoden erklären können. Die Modelle werden für strukturell unterschiedliche und austauschbare Beurteiler definiert. Die Bedeutung und Interpretation der Modellparameter wird detailliert im Hinblick auf die konvergente und diskriminante Validität erläutert. Die Modelle werden anhand eines empirischen Datensatzes (N = 478 Beurteilerpaare) zur Einschätzung von Neurotizismus und Gewissenhaftigkeit illustriert. Abschliessend werden Beschränkungen der Modelle (Schwierigkeiten der Modellschätzung durch Softwarepakete) und mögliche Erweiterungen (Integration von mehr als zwei Ratern) diskutiert.