Is the Charité Alarm Fatigue Questionnaire Construct Valid? An Examination Using Confirmatory Factor Analysis

Abstract

Background: When exposed to medical device alarms, nurses and physicians may develop alarm fatigue (AF) and become desensitized to alarms. AF is a long-recognized problem, but researchers have not yet agreed on a standardized method of measuring it. In previous work, my colleagues and I developed a nine-item questionnaire called Charité Alarm Fatigue Questionnaire (CAFQa). Based on exploratory analyses, we postulated that the CAFQa measures AF on two associated scales: the ‘alarm stress’ and the ‘alarm coping’ scale. Aim: This work investigates whether the previously postulated two-scale structure can be confirmed in a new sample using confirmatory factor analysis (CFA). If so, this would indicate the CAFQa’s construct validity. Methods: CAFQa data were collected as an online questionnaire in five large German hospitals between October 2021 and July 2022. The CFA was based on the unweighted least squares algorithm and polychoric correlations. Participants self-assessed their AF, as well as the proportion of false-positive alarms on their ward. These data were used as indicators of convergent validity by correlating them with participants' average alarm fatigue scores (AFCs). Cronbach's alpha and McDonald's omega served as measures of internal consistency. Results: The sample included N = 265 subjects (of whom 56.6% were nurses and 35.8% were physicians). The chi-square test indicated poor model fit (𝜒2(26) = 44.932, p = 0.012). However, the alternative fit indices showed good fit (SRMR = 0.052, RMSEA = 0.03, TLI = 0.985, CFI = 0.989, and RNI = 0.989). The loadings of each question were statistically significant (ranging from 0.35 to 0.73) and the factors were correlated with each other (r = 0.4). Participants' self-ratings correlated moderately with mean AFCs (r = 0.45) and their estimates of the proportion of false-positive alarms correlated weakly with mean AFCs (r = 0.3). Internal consistency is indicated with Cronbach's alpha = 0.67 and McDonald's omega = 0.8. Conclusions: The two-factor model was confirmed. An exploratory model modification would be theoretically plausible but would negatively affect the generalisability of the model. These results suggest good construct validity of the CAFQa. However, it is possible that the alarm coping scale measures a construct that is related to but not congruent with AF. The CAFQa allows alarm researchers and clinicians to quantify AF in nurses and physicians. The CAFQa should be routinely collected when developing data-based alarm management measures for an ICU.

Hintergrund Pflegefachkräfte und Ärzt:innen können „Alarmmüdigkeit“ (“Alarm Fatigue”; AF) entwickeln und so gegenüber Alarmen desensibilisiert sein. AF ist ein lange bekanntes Problem, jedoch konnte man sich bislang nicht auf eine einheitliche Methode zur Quantifizierung einigen. In einer vorangegangenen Arbeit entwickelten meine Kolleg:innen und ich einen Fragebogen mit neun Items: den Charité Alarm Fatigue Questionnaire (CAFQa). Wir postulierten, dass der CAFQa AF auf zwei assoziierten Skalen misst: der “Alarm-Stress-Skala” und der “Alarm-Bewältungs-Skala”. Ziel Diese Arbeit untersucht, ob sich die in der vorangegangenen Arbeit postulierte Zwei- Skalen-Struktur mittels einer konfirmatorischen Faktorenanalyse (CFA) in einer neuen Stichprobe bestätigen lässt. Dies würde auf die Konstruktvalidität des CAFQa hinweisen. Methoden Der CAFQa wurde als Online-Fragebogen an fünf großen deutschen Kliniken zwischen Oktober 2021 und Juli 2022 erhoben. Die CFA basierte auf dem “unweighted least squares”-Algorithmus und polychorischen Korrelationen. Teilnehmer:innen gaben auch eine Selbsteinschätzung ihrer AF sowie des Anteils falsch-positiver Alarme auf ihrer Station ab. Diese Daten dienten als Indikatoren konvergenter Validität, indem sie mit den durchschnittlichen Alarm-Fatigue-Scores (AFCs) der Teilnehmenden korreliert wurden. Cronbach’s Alpha und McDonald’s Omega dienten als Maß der internen Konsistenz. Ergebnisse Die Stichprobe umfasste N = 265 Personen (davon 56,6% Pflegefachkräfte und 35,8% Ärzt:innen). Der Chi-Quadrat-Test deutete auf eine schlechte Modellpassung hin (𝜒2(26) = 44.932, p = 0.012). Jedoch zeigten die alternativen Fit-Indizes eine gute Passung (SRMR = 0.052, RMSEA = 0.03, TLI = 0.985, CFI = 0.989, and RNI = 0.989). Die Ladungen der einzelnen Fragen waren statistisch signifikant (zwischen 0,35 und 0,73) und die Faktoren korrelierten untereinander (r = 0,4). Die Selbsteinschätzungen der Teilnehmenden korrelierten moderat mit den durchschnittlichen AFCs (r = 0,45); die Schätzungen des Anteils falsch-positiver Alarme schwach (r = 0,3). Die interne Konsistenz ist mit Cronbach’s alpha = 0,67 und McDonald’s omega = 0,8 angezeigt. Schlussfolgerungen Das Zwei-Faktor-Modell konnte bestätigt werden. Eine explorative Modellmodifikation wäre theoretisch plausibel, würde aber die Generalisierbarkeit des Modells beeinträchtigen. Diese Ergebnisse deuten auf eine gute Konstruktvalidität des CAFQa hin. Eventuell misst die Alarm-Bewältungs-Skala jedoch ein Konstrukt, das zwar verwandt, aber nicht deckungsgleich mit AF ist. Mit dem CAFQa haben Alarmforscher:innen und Kliniker:innen eine Möglichkeit zur Quantifizierung der AF von Pflegefachkräften und Ärzt:innen. Bei der Entwicklung datengestützter Maßnahmen für das Alarmmanagement einer Station sollte der CAFQa routinemäßig erhoben werden.