Validierung des „Berliner Global Rating“ (BGR): ein Instrument zur Prüfung kommunikativer Kompetenzen Medizinstudierender im Rahmen klinisch-praktischer Prüfungen (OSCE)

Abstract

Das Gespräch mit Patienten ist eine häufige ärztliche Tätigkeit und ein wichtiges diagnostisches und therapeutisches Instrument. Eine patientenorientierte Gesprächsführung trägt nachweislich zu positiven Behandlungsergebnissen bei. Kommunikative und soziale Kompetenzen sind trainierbar, daher ist die Vermittlung im Rahmen des Medizinstudiums internationaler Standard. Zunehmend werden diese Kompetenzen auch geprüft. Für die Prüfung praktischer Fertigkeiten hat sich die Prüfungsmethode OSCE (objective structured clinical examination) etabliert: Alle Studierenden müssen identische Aufgaben in einem Prüfungsparcours bewältigen und werden von verschiedenen Prüfern dabei beurteilt. In einer OSCE-Prüfung kann in einer quasi-realen Situation ein großes Aufgabenspektrum geprüft werden. Dabei kommen häufig Simulations-patienten zum Einsatz, die Patientenfälle wiederholt standardisiert darstellen können. Im Reformstudiengang Medizin der Charité werden die klinisch-praktischen Fertigkeiten der Studierenden nach fast jedem Semester mittels OSCE geprüft. Ärztliche Gesprächsführung in verschiedenen Kontexten wird über zehn Semester als Pflichtveranstaltung unterrichtet, bisher allerdings nicht (mit)geprüft. Für die Prüfung kommunikativer Kompetenzen ist die Integration in die OSCE-Prüfung state of the art. Die Bewertung findet anhand detaillierter Checklisten oder globalerer Ratingskalen statt. Für den Bereich kommunikativer Kompetenzen wird der Einsatz globaler Instrumente empfohlen, die sich als mindestens gleichwertig hinsichtlich der psychometrischen Qualität erwiesen haben. Bislang stand jedoch kein adäquates deutschsprachiges Instrument zur Verfügung. Gegenstand dieser Arbeit ist die Validierung einer kanadischen globalen Beurteilungsskala, die zuvor übersetzt und modifiziert wurde („Berliner Global Rating“). Dabei wurden verschiedene Strategien verfolgt: Zur Konstruktvalidierung (konkurrente Validität) wurde untersucht, inwie-weit geschulte Prüfer bzw. Simulationspatienten mit Experten, deren Urteil als Referenzkriterium definiert wurde, in ihrem Urteil übereinstimmen. Um Aussagen zur Kriteriumsvalidität treffen zu können, wurden zwei Ansätze verfolgt: Eine weitere Gruppe von Experten beurteilte die Prüflinge auf einem anderen Instrument zur Prüfung ärztlicher Gesprächsführung, einer detaillierten Checkliste. Übereinstimmende Testergebnisse wären ein Beleg für die konvergente Validität. Weiterhin wurde anhand der OSCE-Prüfungsergebnisse untersucht, ob die kommunikativen Kompetenzen mit dem „Berliner Global Rating“ (BGR) ausreichend unab-hängig von den klinisch-praktischen Fertigkeiten der Studierenden erfasst werden; dies diente zur Abschätzung der diskriminanten Validität. Im Rahmen der Studie wurde ein zweistündiges Rater-Training entwickelt, um die Rater in der Beurteilung mit dem BGR zu schulen. Insgesamt wurden sechs Trainings durchgeführt. Die Studie fand im Rahmen der OSCE-Prüfungen des 3. und 5. Semesters Reformstudiengang im Februar 2004 statt. Insgesamt 113 Studierende wurden von 20 Prüfern, 22 Experten sowie 20 Simulationspatienten in acht verschiedenen OSCE-Stationen beurteilt. Zwischen den Urteilen der Experten und der Prüfer zeigten sich hohe exakte Überein-stimmungen. Bei den 25% leistungsstärksten und –schwächsten Studierenden war die Übereinstimmung sogar sehr hoch. Die Übereinstimmungen zwischen Experten und Simulationspatienten waren etwas schwächer ausgeprägt, aber immer noch auf hohem Niveau. Diese Ergebnisse belegen die Kriteriumsvalidität des Berliner Global Rating. Die Analyse der konvergenten Validität zeigte hohe Korrelationen mit dem weiteren Instrument, welches das gleiche Konstrukt - kommunikative Kompetenzen - messen soll. Beim Vergleich der Studiendaten mit den Ergebnissen der Studierenden in der OSCE-Prüfung (diskriminante Validität) zeigten sich überwiegend keine bis mäßige Zusammenhänge zwischen kommunikativen Kompetenzen und den klinisch- praktischen Fertigkeiten. Beide Ergebnisse sind solide Belege für die Konstruktvalidität des Berliner Global Rating. Die Ergebnisse zeigen, dass die kommunikativen Kompetenzen von Medizinstudierenden mit dem „Berliner Global Rating“ im Rahmen von OSCE-Prüfungen valide erfaßt werden können. Damit steht ein deutschsprachiges Instrument zur Verfügung, über dessen Qualität gesicherte Daten vorliegen und das in den zunehmend häufiger durchgeführten klinisch-praktischen Prüfungen in Deutschland eingesetzt werden kann. Im Rahmen der Studie hat sich das Instrument als praktikabel erwiesen. Die Implementation in OSCE-Prüfungen ließe sich damit annähernd kostenneutral umsetzen. Die bestehensrelevante Prüfung kommunikativer Kompetenzen hätte eine lernsteuernde Wirkung sowie eine Feedback-Funktion für die Studierenden; gleichzeitig würde sichergestellt, dass die Studierenden über ausreichende Kompetenzen in diesem Bereich verfügen. Um die Fairness der Beur¬teilung zu gewährleisten und Urteilsfehler zu minimieren, ist ein Rater-Training für die Beurteiler essentiell. Mit dem im Rahmen der Studie konzipierten Rater- Training wurden gute Erfahrungen gemacht. Im Weiteren sollten die Stabilität der Urteile zur Abschätzung der notwendigen Frequenz des Rater-Trainings sowie die Reliabilität mittels Generalisierbarkeitsanalysen genauer untersucht werden.

Doctor-patient communication is an ongoing professional requirement and an essential diagnostic and therapeutic tool. Research has shown many positive effects of patient-centered communication. Programs focussing on communication skills (CS) are nowadays an integral part of undergraduate medical education as it is accepted that communicative and social competencies can be enhanced by training. Increasingly, these competencies are also being assessed. For the assessment of practical skills, objective structured clinical examination (OSCE) is an established examination format: all students circulate and have to complete identical tasks, while being observed by different examiners. In an OSCE a wide range of tasks can be assessed in a simulated setting. Standardized patients are frequently used, to portray patient roles in a standardized fashion. In the reformed medical track at the Charité- Universitaetsmedizin Berlin, students’ clinical skills are assessed in OSCEs at the end of almost every semester. CS are taught during five years of study in a compulsory course, which deals with various aspects of doctor-patient- communication. To date, CS were not assessed. The integration of CS evaluation into OSCEs is state-of-the-art. Detailed checklists or global rating scales are used for this purpose. For the assessment of CS, research has shown advantages in using global instruments which have shown equal results to psychometric testing. So far, no such German instruments have been published. This study deals with the validation of a Canadian global rating scale which has been translated and slightly modified (“Berlin Global Rating”, BGR). Several strategies were pursued: with regard to criterion validation (concurrent validity), the ratings of trained examiners as well as standardized patients were compared with those of experts whose ratings were defined as the reference criteria. Regarding construct validity, two different approaches were taken: another group of experts assessed the examinees using a different instrument for the evaluation of CS, namely a detailed checklist. The two sets of results were compared to see if there was evidence of convergent validity. Furthermore, it was examined if students’ CS, measured by the BGR, were assessed sufficiently independent of the students’ clinical skills, represented by their OSCE results. This analysis was used to estimate the discriminant validity. A two-hour rater training was developed to train raters using the BGR. Six training sessions were held. The study took place during the OSCEs of the 3rd and 5th semester of the reformed medical track in February 2004. 113 students were assessed in eight different stations by 20 examiners, 22 experts and 20 standardized patients. The results show high exact agreements between experts and examiners. For the first and fourth quartiles, the correlation was very high. Agreement between experts and standardized patients was slightly lower, but still at a high level. These results are indicators of the criterion validity of the BGR. Analysis of convergent validity revealed high correlations between the BGR and the second instrument which was intended to measure the same construct (CS). Analysis of the study data and students’ OSCE results yielded correlations from zero to moderate between CS and clinical skills. Both results can be interpreted as providing evidence for the construct validity of the BGR. The results show that communication skills can be validly assessed in OSCE examinations with the BGR in undergraduate medical education. The BGR is an instrument in German language of tested psychometric quality. It can be used in OSCEs that are increasingly being performed in Germany. The fesaibilty of using such an instrument has been proven. Its implementation in OSCEs incurs negligible cost. Summative assessment of communication skills would drive students’ learning and provide a feedback function. At the same time it would ensure that students are sufficiently competent in this area. To guarantee fairness in assessment und minimize rater error, the training of examiners is fundamental. The experience gained from the training sessions for raters, developed as part of this study, was encouraging. Two areas do however need further research: the stability of the judgement of the raters over time to estimate the necessary frequency of rater-training and the reliability of ratings, using generalizability theory.