Assessment, training and debriefing of team performance in medical ad hoc teams: a simulation-based approach

Abstract

In healthcare, teamwork is required in many situations, for example when treating a critically ill patient in the emergency room. In these situations, the quality of teamwork and team members’ non-technical skills are crucial. This doctoral thesis is an investigation of training, debriefing and assessment of teamwork in medical ad hoc teams. All studies of this thesis aim at improving the process of training and evaluating teamwork – through the study of different debriefing approaches (study 1), through the validation of measurement instruments (study 2) and through examining teams’ ability to monitor their teamwork (study 3). The first study compared two debriefing approaches, which can be used to analyse and discuss teamwork after simulation-based trainings or real-life emergencies. One of the approaches included the use of TeamTAG (Teamwork Techniques Analysis Grid), a cognitive aid developed to support the debriefing process. TeamTAG was described as a feasible tool by facilitators and ensured that certain learning objectives were discussed. No differences in teamwork quality could be found after debriefing with versus debriefing without a cognitive aid. The second study focused on the assessment of non-technical skills using the Team Emergency Assessment Measure, TEAM. This widely used tool was translated into German and validated for use by expert and novice raters. The results showed good psychometric properties for TEAM for both rater groups and a moderate interrater agreement, with a tendency to more lenient ratings from novice raters. Both experts in teamwork and emergency medicine as well as novices can therefore serve as raters for non-technical skills. The third study examined the ability of physicians and nurses to monitor their teams’ teamwork. For this, team-monitoring judgements were compared to TEAM ratings by external observers and to objective measures. It was shown that TEAM ratings correlated significantly with team members’ evaluations of their teamwork but not with team leaders’ evaluations. Furthermore, results showed that the quality of teamwork was associated with objective measures such as the amount of time until the first request for defibrillation. This doctoral thesis extends the possibilities of training and assessing teamwork by providing a new cognitive aid, useful for debriefings with clear learning objectives, and a German version of the TEAM instrument, which can be used by both novice and expert raters. Apart from this, it provides further insights into the connection of teams’ monitoring skills of their teamwork with external assessments of teamwork and objective performance measures.

Im Gesundheitswesen ist Teamarbeit häufig erforderlich, zum Beispiel bei der Behandlung von schwerverletzten Patient*innen. In solchen Situationen sind die Qualität der Teamarbeit und die nicht-technischen Fertigkeiten der Teammitglieder zentral. Diese Promotionsarbeit untersucht das Training, die Nachbesprechung („debriefing“) und die Bewertung der Teamarbeit von ad hoc-Teams. Alle Studien im Rahmen dieser Arbeit haben zum Ziel, den Trainings- und Evaluationsprozess von Teamarbeit zu verbessern – durch die Untersuchung verschiedener Debriefing-Methoden (Studie 1), die Validierung eines Messinstruments (Studie 2) und die Untersuchung der Fähigkeit von Teams, ihre Teamarbeit einzuschätzen (Studie 3). In der ersten Studie wurden zwei Debriefing-Methoden verglichen, um Teamarbeit nach simulierten oder echten Notfallszenarien zu besprechen. Der erste Ansatz beinhaltet die Anwendung des TeamTAG (Teamwork Techniques Analysis Grid), eines Leitfadens zur Unterstützung des Debriefingprozesses. TeamTAG wurde von den Instruktor*innen als praktikables Hilfsmittel beschrieben und seine Anwendung stellte sicher, dass bestimmte Lernziele besprochen wurden. In der Qualität der Teamarbeit traten keine Unterschiede auf zwischen den Teams deren Debriefings mit bzw. ohne Leitfaden durchgeführt wurden. Die zweite Studie fokussierte auf die Bewertung nicht-technischer Fertigkeiten mittels des Team Emergency Assessment Measure, TEAM. Dieses weitverbreitete Messinstrument wurde übersetzt und validiert zur Anwendung durch Personen mit hoher und geringer Expertise im Bereich Notfallmedizin bzw. Simulationstrainings. Es zeigten sich gute psychometrische Eigenschaften für beide Anwendergruppen und eine moderate Übereinstimmung zwischen den Gruppen, wobei die Anwender*innen mit geringer Expertise zu milderen Bewertungen neigten. Demnach können sowohl Personen mit hoher als auch mit geringer Expertise zur Bewertung nicht-technischer Fertigkeiten mittels TEAM eingesetzt werden. In der dritten Studie wurde die Fähigkeit von Ärzt*innen und Pflegekräften untersucht, die Qualität der Teamarbeit ihrer Teams einzuschätzen. Dafür wurden ihre Einschätzungen mit Beurteilungen von externen Beobachter*innen, die den TEAM nutzten, sowie mit objektiven Leistungsindikatoren verglichen. Es zeigte sich, dass die Bewertungen mittels TEAM signifikant mit der Einschätzung durch die Teammitglieder korrelierten, nicht jedoch mit der Einschätzung durch die Teamleitungen. Darüberhinaus zeigten die Ergebnisse, dass die Qualität der Teamarbeit auch mit objektiven Kriterien korreliert, wie mit der Zeit, bis die erste Defibrillation angefordert wurde. Diese Promotionsarbeit erweitert die Möglichkeiten, Teamarbeit zu trainieren und zu bewerten, durch die Bereitstellung eines Debriefing-Leitfadens, der besonders für Debriefings mit klaren Lernzielen nützlich ist, und einer deutschen Version des TEAM, welcher von Personen mit hoher als auch niedriger Expertise angewendet werden kann. Weiterhin bietet diese Arbeit Einblicke in die Fähigkeit von Teams, ihre Teamarbeit einzuschätzen, und darin, wie diese Fähigkeit mit externen Bewertungen und mit objektiven Leistungsindikatoren verbunden ist.