Comparability of outcome frameworks in medical education: Implications for framework development

Abstract

Introduction The demand for an international harmonization in medical education increases with the growing mobility of students and health professionals as well as with the rising demands for medical care. Since the 1990s numerous societies and governmental offices have issued outcome frameworks OF, that describe aims and contents of medical education (undergraduate as well as postgraduate) based on competencies. These national standards affect the development of curricula as well as assessment and licensing procedures. Comparing OF and identifying factors that limit their comparability are thus prerequisites for the necessary international harmonization of medical education. Methods We conducted a systematic search for national OF in MedLine and EmBase as well as in the internet. We included all OF published in German and English in the analyses that referred to medical studies or residency, resulted from a national consensus process and were published or endorsed by a national society or governmental body. OF of single medical disciplines were excluded along with interdisciplinary OF. Two of us each extracted information in five predetermined categories with a 95% agreement from the included OF: history of origin, audience, formal structure, medical schooling system and key terms. Additionally we conducted a specific internet search for each of these OF since not all information required was available from the included publications. Results The literature search yielded 1816 results of which 13 were included into further analyses based on in- and exclusion criteria. We noted that OF reference each other, often without addressing the partly considerable differences (e.g. in target audiences). The two most cited OF are „CanMEDs“ and „Scottish Doctors“. The formal structure of the analyzed OF also differs considerably. While some OF are structured along roles or attributes of graduates, others are divided into domains or chapters. The number of sections varies between 3 and twelve. Furthermore identical key terms are used with different meanings while some similar concepts are referred to different key terms. OF differ especially in the level of detail among the competencies described as well as in the underlying educational system. Discussion Many differences in the comparison of OF may be explained by the identified factors. Based on our results we developed a tow-step model as a blueprint for OF, that establishes comparability for key elements while at the same time it allows the necessary regional adaptations. This model differentiates between internationally similar “core competencies” and nationally specific “secondary competencies”.

Einleitung Der Bedarf an internationaler Harmonisierung der medizinischen Ausbildung nimmt mit steigender Mobilität Studierender und des medizinischen Personals zu, ebenso wie mit steigenden Ansprüchen an die Qualität medizinischer Behandlungen. Seit den 1990er Jahren haben zahlreiche Gesellschaften und Regierungsstellen Rahmenlehrpläne (sogenannte outcome frameworks, OF) herausgegeben, die Ziele und Inhalte medizinischer Ausbildungsabschnitte (Studium sowie postgraduale Weiterbildung) an Hand von Kompetenzen beschreiben. Diese nationalen Standards beeinflussen die Entwicklung von Curricula ebenso wie Prüfungen und Lizensierungspraxis. Ihr Vergleich und die Identifikation von Faktoren, welche die Vergleichbarkeit verschiedener OF limitieren, sind deshalb Voraussetzung für die notwendige internationale Harmonisierung medizinischer Ausbildung. Methoden Wir führten eine systematische Suche nach nationalen OF in MedLine und EmBase, sowie im Internet durch. Wir schlossen alle diejenigen auf Deutsch oder Englisch publizierten OF in die Analyse ein, die sich auf Studium oder Weiterbildung bezogen, Ergebnis eines nationalen Konsensus-Prozesses waren und von einer nationalen Gesellschaft oder staatlichen Stelle publiziert beziehungsweise bestätigt waren. OF einzelner medizinischer Disziplinen schlossen wir ebenso aus wie interprofessionelle Rahmenlehrpläne. Aus den eingeschlossenen OF extrahierten zwei von uns jeweils alle Informationen zu fünf vorab definierten Kriterien mit einer 95% Übereinstimmung: Historie der Entstehung, Zielgruppe, formale Struktur, medizinischem Ausbildungssystem und zentrale Begrifflichkeiten. Zusätzlich führten wir zu diesen OF eine spezifische Internetrecherche durch, da nicht alle gesuchten Informationen über die eingeschlossenen Publikationen verfügbar waren. Ergebnisse Die Literaturrecherche ergab 1816 Ergebnisse, von denen 13 an Hand der definierten Ein- und Ausschlusskriterien in die weitere Analyse eingeschlossen wurden. In der Analyse fiel auf, dass OF einander referenzieren, oft ohne auf teils erhebliche Unterschiede einzugehen (z.B. in den Zielgruppen). Die beiden am häufigsten referenzierten OF sind „CanMEDs“ und „Scottish Doctors“. Auch die formale Struktur der analysierten OF unterscheidet sich erheblich: Während einige OF als Gliederung Rollen oder Attribute des Absolventen verwenden, sind andere in Kapitel oder Domänen unterteilt. Die Anzahl dieser Gliederungsabschnitte variiert zwischen drei und zwölf. Zudem werden zahlreiche zentrale Begrifflichkeiten entweder bei gleichem Wortlaut mit unterschiedlicher Bedeutung oder bei unterschiedlichem Wortlaut mit identischer Bedeutung verwendet. Besonders im Detailniveau ihrer Kompetenzbeschreibungen sowie dem zu Grunde liegenden Ausbildungssystem unterscheiden sich die analysierten OF erheblich. Diskussion Viele Schwierigkeiten, die sich bei bisherigen Vergleichen von OF ergaben, lassen sich an Hand der identifizierten Faktoren erklären. Basierend auf unseren Ergebnissen entwickelten wir ein zweistufiges Modell als Blaupause für OF, das Vergleichbarkeit für zentrale Elemente herstellt und gleichzeitig regional notwendige Adaptionen ermöglicht. Dieses Modell unterscheidet zwischen „Kernkompetenzen“, die international einheitlich sind, sowie national spezifischen „sekundären Kompetenzen“.