Validierung eines empirisch basierten Beobachtungsinstruments für Unterrichtsqualität in der medizinischen Lehre

Abstract

Die zuverlässige Beurteilung von Unterrichtsqualität ist notwendige Voraussetzung für die Evaluation und Weiterentwicklung medizinischer Ausbildung und damit letztendlich für eine hochqualitative Patientenversorgung. Entsprechende Qualitätsindikatoren können zudem Feedback für Dozierende auf eine nachvollziehbare Grundlage stellen. Ein vollständig empirisch basiertes Instrument zur Beurteilung von Unterrichtsqualität in der Medizin ist bisher nicht beschrieben. Daher wurden mit Hilfe empirisch basierter Kriterien für guten Unterricht aus dem Fachgebiet der Allgemeinen Pädagogik folgende zehn Kriterien entwickelt: Klare Strukturierung, Hoher Anteil echter Lernzeit, Lernförderliches Klima, Inhaltliche Klarheit, Sinnstiftende Kommunikation, Methodenvielfalt, Individuelles Fördern, Effektives Üben, Transparente Leistungserwartungen und Vorbereitete Unterrichtsumgebung. Die vorliegende Arbeit untersucht erstens die Frage, ob die extrahierten Kriterien Unterrichtsqualität in der universitären medizinischen Ausbildung valide erfassen können. Zweitens untersucht sie, da akademische Lehrevaluationen großteilig auf studentischen Beurteilungen beruhen, wie groß der Einfluss der einzelnen zehn Kriterien auf studentische Bewertungen von Unterrichtsqualität ist und drittens ob sich der Einfluss der Kriterien in verschiedenen Unterrichtsformaten oder zu verschiedenen Zeitpunkten im Studienverlauf unterscheidet. Zur Untersuchung dieser Fragestellungen wurde ein spezifischer Fragenbogen konzipiert, der Berlin Teaching Quality Questionnaire 10 (BTQ-10), mit dem eine Bewertung jedes der zehn Kriterien auf Basis einer inhaltlichen Kurzbeschreibung und eine Gesamteinschätzung der Unterrichtsqualität stattfand. Damit wurden 28 Unterrichtsveranstaltungen durch die jeweils teilnehmenden Studierenden in zwei verschiedenen klinischen Semestern (7. vs. 9. Fachsemester) sowie in zwei verschiedenen Unterrichtsformaten („Unterricht am Krankenbett“ vs. „Seminar“) an der Charité - Universitätsmedizin Berlin bewertet. Der Einfluss der zehn einzelnen Kriterien auf die Globalbewertung von Unterrichtsqualität wurde im Rahmen eines formativen Messmodells mit Hilfe einer ordinalen Regressionsanalyse bestimmt. Mittels Heterogeneous-Choice-Modellen wurde untersucht, ob zwischen den beiden Unterrichtsformaten und Zeitpunkten im Studienverlauf signifikante Unterschiede in den Einflussstärken der zehn Kriterien vorlagen. Sieben Kriterien stellten signifikant positive Einflussfaktoren für die Globalbewertung von Unterrichtsqualität dar. Am stärksten war der Einfluss für das Kriterium „Sinnstiftende Kommunikation“. Dahingegen stellten die Kriterien „Lernförderliches Klima“, „Methodenvielfalt“ sowie „Vorbereitete Unterrichtsumgebung“ keine signifikanten Einflussfaktoren dar. Es zeigten sich keine Unterschiede zwischen den beiden Zeitpunkten im Studienverlauf. Zwischen den beiden untersuchten Unterrichtsformaten war ein signifikanter Unterschied in den Einflussstärken der Kriterien „Individuelles Fördern“ und „Inhaltliche Klarheit“ nachweisbar. Im Unterrichtsformat „Seminar“ wurde dem Kriterium „Individuelles Fördern“ ein signifikant höherer Stellenwert beigemessen als im Unterrichtsformat „Unterricht am Krankenbett“. Demgegenüber wies das Kriterium „Inhaltliche Klarheit“ im „Unterricht am Krankenbett“ einen signifikant stärkeren Einfluss auf. Mit dem BTQ-10 steht erstmals ein auf die Anforderungen des deutschen Medizinstudiums zugeschnittenes valides Beobachtungsinstrument zur Beurteilung von Unterrichtsqualität aus studentischer Sichtweise zur Verfügung.

Measuring the quality of teaching is a necessary prerequisite for the evaluation and development of medical education and thus for high-quality patient care. Corresponding quality indicators can make the feedback for teachers comprehensible. A completely empirically based instrument for the assessment of the quality of teaching in medicine has not yet been described. Ten empirically based criteria from the field of general pedagogy were developed: clear structure, amount of true learning time, climate facilitating learning, clarity of content, meaningful communication, diversity of methods, individual promotion, effective practice, transparent expectations and prepared setting. This study first assesses the question whether the extracted criteria validly capture the quality of teaching in medical education. Second, since academic teaching evaluation relies mostly on student assessment, it assesses the extent to which the ten criteria may have an impact on the students’ ratings, and third, whether the impact of the criteria differs with various teaching formats or different semesters. The Berlin Teaching Quality Questionnaire 10 (BTQ-10), in which each criterion can be rated based on a brief description of content and an overall rating of the quality of teaching, was developed to assess these questions. Participating students rated 28 courses in two different clinical semesters (7th vs. 9th semester) and two teaching formats (“bedside teaching” vs. “seminar”) at the Charité - Universitätsmedizin Berlin. The impact of the ten criteria on the global rating of the quality of teaching was measured by a formative measurement model with an ordinal regression. By employing heterogeneous choice models, we assessed whether both teaching formats and semesters revealed significant differences in the impact of the ten criteria. Seven criteria were revealed to be significant positive influence factors for the global assessment of the quality of teaching. The strongest impact was found for the criterion “meaningful communication.” By contrast, “climate facilitating learning,” “diversity of methods,” and “prepared setting” were not found to be significant influence factors. There was no difference between both semesters. A significant difference in effect was found between the assessed teaching formats concerning the criteria “individual promotion” and “clarity of content.” “Individual promotion” was considered significantly more important in “seminar” than in “bedside teaching.” In contrast, “clarity of content” was considered significantly more important in “bedside teaching.” The BTQ-10 provides a valid observational instrument to assess the quality of teaching from the student's perspective, tailored to the requirements of German medical education.