gms | German Medical Science

Der Medizinische Fakultätentag hat 2008 eine Umfrage zu Art und Qualität der fakultären Prüfungen bei der Medizinischen Fakultät Heidelberg in Auftrag gegeben [1]. Dabei hat sich gezeigt, dass noch erhebliche Defizite bzgl. Art und Qualität der fakultären Prüfungen bestehen. Bereits seit 2004 wird in Heidelberg im Rahmen des Kompetenznetzes Lehre Baden-Württemberg in der Medizin dem Bereich Prüfungen und deren Qualitätsverbesserung besondere Aufmerksamkeit gewidmet [2]. In Anlehnung an dieses Modell wurden im April 2008 auch in Bayern an den fünf medizinischen Fakultäten Kompetenzzentren Lehre mit thematischer Zuordnung in Würdigung besonderer Aktivitäten und Vorerfahrungen eingerichtet. Das Kompetenzzentrum Prüfungen wurde in diesem Rahmen an der Medizinischen Fakultät der Ludwig-Maximilians-Fakultät (LMU) München angesiedelt. Folgende Ziele sollen im Rahmen des Kompetenzzentrums Prüfungen verwirklicht werden:

• Förderung von praxisbezogenen Prüfungen
• Förderung der Überprüfung kommunikativer Kompetenz
• Förderung der Überprüfung ärztlicher Entscheidungskompetenzen
• Förderung von kontinuierlichem und formativem Prüfen
• Förderung der Vergleichbarkeit von Prüfungsergebnissen
• Förderung ressourcenoptimierter Prüfungen
• Förderung fakultätsübergreifenden Austausches

Die Gesellschaft für Medizinische Ausbildung (GMA) hat im Jahr 2008 Leitlinien zur Durchführung von universitären Prüfungen [3] veröffentlicht, die zur Qualitätssicherung im Sinne reliabler, qualitativ hochwertiger Prüfungen berücksichtigt werden sollten. Alle fünf Fakultäten in Bayern wurden im Rahmen einer Bestandsaufnahme zur Organisation ihrer fakultären Prüfungen nach § 27 der ÄAppO [4] dahingehend befragt, inwieweit diese Leitlinien der GMA Anwendung finden. Methoden und Ergebnisse der Befragung sollen im Folgenden kurz dargestellt werden.

Im Mai 2008 wurde ein auf den GMA-Leitlinien basierender Fragebogen an die für Prüfungen koordinierend verantwortlichen Mitarbeiter der Studiendekanate in Bayern per E-Mail geschickt. Ggf. wurden Erinnerungsmails versandt und telefonisch an das Ausfüllen des Fragebogens erinnert. Die Daten der schriftlichen Umfrage lagen vollständig im Oktober 2008 vor. Die anschließenden strukturierten Interviews wurden mit denselben verantwortlichen Personen in den Studiendekanaten durchgeführt, die die Fragebögen ausgefüllt hatten.

Verwendet wurde ein nicht-standardisierter Fragebogen, der von den Leitlinien der GMA zur Gestaltung einer qualitativ guten Prüfung abgeleitet wurde [3]. Dieser bezog sich sowohl auf den klinischen als auch auf den vorklinischen Bereich. Der Fragebogen enthält 50 Items, die folgenden übergeordneten Themenbereichen zuzuordnen sind:

• allgemeine strukturelle Vorbedingungen (20 Items)
• Prüfungskonzeption und –bewertung (13 Items)
• organisatorische Vorbereitung (5 Items)
• Durchführung der Prüfung (3 Items)
• Auswertung und Dokumentation (5 Items)
• Rückmeldung an die Studierenden (2 Items)
• Prüfungsnachbereitung (2 Items)

Das Antwortformat ist binär auf die zwei Kategorien ja oder nein ausgelegt. Zu jedem Item können zusätzlich in einer separaten Spalte Anmerkungen in Freitextform gemacht werden.

Nach der ersten quantitativen Auswertung der Ergebnisse wurde an Hand von Inkonsistenzen beschlossen, nochmals die Verantwortlichen mittels eines an den GMA-Leitlinien orientierten strukturierten Interviews zu befragen. Außerdem konnten somit nochmals Informationen darüber gewonnen werden, ob die Umsetzung der Leitlinien bisher nur für einzelne Fachbereiche oder schon für die Gesamtfakultät erfolgt ist.

Für das Interview wurde der Fragebogen durch zwei Fragen ergänzt, die aus Sicht des Kompetenzzentrums Prüfungen für einen qualitativ hochwertigen Ablauf einer Prüfung von Relevanz sind. Diese Fragen wurden den Themenbereichen allgemeine strukturelle Vorbedingungen und organisatorische Vorbereitung zugeordnet. Inhaltlich beziehen sie sich auf die Veröffentlichung von Aufgaben und deren Umgang damit und die Festlegung eines Zeitplans zur Prüfungsplanung, -durchführung und -auswertung. Alle Interviews wurden aufgenommen und anschließend transkribiert. Bei der Auswertung konnte nun ergänzt werden, ob die Umsetzung der Prüfungsleitlinien bereits an der Gesamtfakultät erfolgte oder nur in einzelnen Fachbereichen. Somit konnte eine neue Kategorie „teilweise“ erstellt werden.

Eine strukturelle Gliederung aller Prüfungen, worin deren Aufgabenformate, Anzahl, Umfang, Inhalt und Ablauf bekannt gegeben sind, stellt einen ersten Qualitätsstandard dar. Dadurch ist sowohl Studierenden als auch Dozenten ein Anhaltspunkt gegeben, wie sich das Prüfungsgeschehen an der jeweiligen Fakultät gestaltet. Solch ein Gesamtprüfungsprogramm wurde bereits an drei Fakultäten verwirklicht und ist an zwei weiteren in Arbeit (siehe Tabelle 1 [Tab. 1]).

Neben dieser formellen Gliederung des Prüfungsgeschehens der Fakultät ist es empfehlenswert, auch eine inhaltliche Strukturierung der notwendigen Wissensinhalte für ein Fachgebiet vorzunehmen. Eine Möglichkeit dies zu verwirklichen, ist die Erstellung eines nationalen Lernzielkatalogs, der z.B. nach dem Vorbild des Swiss Catalogue of Learning Objectives for Undergraduate Medical Education [5] die gewünschten Ausbildungsziele in unterschiedlichen Kompetenzstufen abbildet und den Rahmen für das abprüfbare Kerncurriculum absteckt. Für die Abstimmung der Veranstaltungsinhalte mit den Prüfungsanforderungen ist eine Verfeinerung der Lernziele auf fakultärer Ebene erforderlich. Ein kompletter Lernzielkatalog ist bisher nach eigener Auskunft nur an einer bayerischen medizinischen Fakultät vorhanden und wird dort derzeit auch ins Englische übersetzt. An den anderen vier Fakultäten existiert ein Lernzielkatalog für Teilbereiche des Curriculums. Die Information über die bestehenden Lernzielkataloge für die Studierenden zur Prüfungsvorbereitung ist an allen Fakultäten gewährleistet.

Die Prüfungsformate angemessen auf die vorgegebenen Lernziele abzustimmen, wird von allen Fakultäten umgesetzt. So werden an vier der fünf Fakultäten klinisch-praktische Prüfungen im OSCE-Format (Objektive Structured Clinical Examination) [6], [7] eingesetzt, die allerdings bisher nur einen sehr geringen Anteil der Fächer abdecken. Der Vorteil dieser Prüfungsform wird damit begründet, dass die Prüfung von klinisch-praktischen Fähigkeiten eine validere Einschätzung bzgl. der zukünftig erforderlichen praktischen Fertigkeiten als Arzt ermöglicht. So stellt auch Resch 2008 auf der MFT-Tagung fest, „wenn praxisorientierte Lerninhalte … vermittelt werden sollen, so müssen sie auch praxisorientiert geprüft werden.“ [1]. Kritisch wird dennoch die zeitaufwendige Erstellung und Durchführung derartiger Prüfungen angemerkt.

Die Rahmenbedingungen als Voraussetzung für hochwertige Prüfungen sind weitestgehend erfüllt. Ausnahmen bilden dabei die Einsichtnahme in die Prüfungsergebnisse und die Bewertung bei fehlerhaft gestellten Aufgaben, die an allen fünf Standorten fächerintern geregelt werden.

Altfragen kursieren an allen Fakultäten. Dies ist in der Regel nicht erwünscht, dennoch wird es an manchen Fakultäten nicht als genereller Nachteil erlebt, sondern als eine weitere Gelegenheit für die Studierenden sich auf die Prüfung vorzubereiten. Um den Wiedererkennungswert der Fragen zu senken, werden diese häufig umformuliert.

An vier Fakultäten wurde für jedes Fach ein Prüfungsverantwortlicher benannt und an einer auch jeweils ein Stellvertreter. Die Prüfungsverantwortlichen sind größtenteils zum Thema Prüfungen fortgebildet, was für die Mehrzahl der Fragenautoren bisher nicht zutrifft (siehe Tabelle 1 [Tab. 1]). Strukturierte Fortbildungen im Rahmen eines zweitägigen Prüfungsworkshops bietet erst eine Fakultät an.

Für eine angemessene Planung der Prüfung hilft ein Zeitplan, dem die Termine zur Fertigstellung der Prüfung entnommen werden können. An einer Fakultät ist für die gesamte Fakultät in eigens dafür angefertigten Prüfungsstandards festgelegt, dass spätestens zwei Wochen vor dem Prüfungstermin die Prüfung fertig erstellt sein muss. An den anderen Fakultäten ist dies fächerspezifisch geregelt.

An allen fünf Fakultäten sind bei der Zusammenstellung der Fragen Vertreter aus allen beteiligten Fachgebieten involviert. Teilweise werden auch Lehrkoordinatoren eingesetzt, die für die Zusammenstellung der Aufgaben verantwortlich sind. Nachdem die Aufgaben zusammengestellt wurden, ist es ratsam, diese nochmals in einem Reviewprozess zu begutachten und deren Qualität sowohl inhaltlich als auch formal zu diskutieren. Dieser Reviewprozess findet an allen Fakultäten statt, ist aber meist unsystematisch organisiert und bezieht sich hauptsächlich auf inhaltliche Punkte einer Frage. Selten werden, wie von der GMA vorgeschlagen, fachfremde Reviewer eingeladen, um nochmals eine externe Sichtweise bzgl. der Relevanz der Aufgaben einzubringen. Protokolliert wird der Review bisher nur vereinzelt innerhalb der Fächer (siehe Tabelle 2 [Tab. 2]).

Die richtigen Antworten, der Erwartungshorizont, die Korrekturrichtlinien und der Bewertungsmodus sind vor der Durchführung der Prüfung schriftlich an allen Fakultäten festgelegt. Die Bestehensgrenze ist an vier von fünf Fakultäten in der Studienordnung in Anlehnung an die ÄAppO [4] durch ein formales Kriterium, nämlich der 60%-Regel fixiert. Eine Fakultät legt die Bestehensgrenze durch ein interdisziplinäres Expertengremium nach inhaltlichen Kriterien vor der Prüfung schriftlich fest, wobei dies zwischen den Fächern nochmals unterschiedlich gehandhabt wird. Eine Gleitklausel, die sich im Spektrum zwischen 15% und 22% bewegt, ist bei allen Fakultäten in der Studienordnung schriftlich fixiert. Die Gleitklausel wird allerdings selten angewandt.

Eine für summative Prüfungen angestrebte Reliabilität von mindestens 0,8 wird bei zwei Fakultäten nach eigenen Angaben für alle Einzelprüfungen gewährleistet. Kritisch anzumerken ist, dass diese bei einigen Prüfungen aufgrund der geringen Itemzahl technisch kaum erreicht werden kann. Bei zwei weiteren Fakultäten ist dies bei einem Teil der Fächer gegeben.

Zu der organisatorischen Vorbereitung einer Prüfung gehört die rechtzeitige Information über die Prüfungstermine und Formate zu Beginn einer Lehrveranstaltung, was an allen Fakultäten gewährleistet werden kann. Die Anmeldung zu einer Prüfung wird an den Fakultäten unterschiedlich gehandhabt. An zwei Fakultäten ist eine eigenständige Anmeldung der Erstprüflinge nicht notwendig, da diese schon durch die Belegung der Lehrveranstaltungen im Semester erfolgt. An einer Fakultät ist in der Regel gar keine Anmeldung erforderlich. Das wird damit begründet, dass hier kleine Kohorten sind. In anderen Fällen wie z.B. der Nachholklausur erfolgt die Prüfungsanmeldung dagegen an jeder Fakultät per E-Mail oder auf einer Website.

Die Raumsituation zur Durchführung der Prüfungen ist bis auf eine Fakultät sehr gut. Zudem steht ausreichend geschultes Personal zur Prüfungsaufsicht an allen Fakultäten zur Verfügung. An drei Fakultäten wird das Personal dafür bereits nach einheitlichen Kriterien instruiert.

Bei der Durchführung der Prüfung ist es zu empfehlen, eine Checkliste zum formalen Prüfungsablauf schon in der organisatorischen Vorbereitung zu erstellen. Zwei Fakultäten verwenden solch eine Checkliste durchgehend und an den weiteren Fakultäten wird diese in einzelnen Fächern benutzt. Um auch nach der Prüfung eine schriftliche Fixierung von aufgetretenen Problemen wie z.B. Täuschungsmanöver oder Computerausfall bei computerbasierten Prüfungen zu haben, wird bereits an drei Fakultäten die Prüfung mitprotokolliert. Die abschließende Kontrolle der Prüfungsunterlagen ist an allen Fakultäten gewährleistet (siehe Tabelle 3 [Tab. 3]).

Bei der Auswertung der Prüfungsfragen ist eine wichtige qualitätssichernde Maßnahme die Durchführung einer test-statistischen Analyse zur Aufgabenschwierigkeit, Trennschärfe und Reliabilität; bei Multiple-Choice-Aufgaben sollte zusätzlich eine Distraktorenanalyse durchgeführt werden, die eine frühzeitige Identifikation fehlerhafter oder unklarer Antwortalternativen ermöglicht. Nach einer evtl. notwendigen Korrektur der Aufgaben- oder Prüfungsbewertung sollte eine Endauswertung der Prüfung (einschl. einer weiteren teststatistischen Analyse) durchgeführt werden. Eine vollständige Umsetzung dieser Empfehlungen erfolgt an zwei Fakultäten, die ihre Prüfungen auch mit einer spezifischen Prüfungssoftware erstellen [8]. An einer weiteren Fakultät ist dies fächerabhängig und an den anderen Fakultäten noch in Planung. Eine stichprobenartige Überprüfung der Korrektur erfolgt an allen Fakultäten. An einer Fakultät können die Studierenden auch selbst die Prüfung elektronisch einsehen und die Bewertung nochmals kontrollieren.

Die Rückmeldung der Prüfungsergebnisse erfolgt an allen Fakultäten innerhalb eines angemessenen Zeitraums von max. zwei Wochen. Auch die Möglichkeit zur Einsicht ist dabei entweder durch konkrete Termine oder innerhalb einer angemessenen Frist von vier Wochen gegeben (siehe Tabelle 4 [Tab. 4]).

Eine abschließende Diskussion über die Prüfung in Form eines Post-Reviews findet derzeit an drei Fakultäten statt, allerdings nicht in allen Fachbereichen. Die Basis dafür bietet meist die teststatistische Analyse der Prüfung und die Diskussion darüber. Teilweise werden die Prüfungsergebnisse, deren Auswertung sowie die Ergebnisse des Post-Review-Prozesses einmal im Semester an die Fragenautoren, die Curriculumsentwickler und Fachvertreter weitergegeben (siehe Tabelle 4 [Tab. 4]).

Die vorgestellten Ergebnisse geben einen Überblick über das Prüfungsgeschehen an den fünf bayrischen medizinischen Fakultäten. In Bezug auf die strukturellen Vorbedingungen ist der Großteil an Empfehlungen aus den GMA-Richtlinien bereits umgesetzt worden. Ein Gesamtprüfungsprogramm und umfassende fakultäre Lernzielkataloge existieren oder befinden sich im Aufbau. Ebenfalls positiv ist die Existenz eines Prüfungsgesamtverantwortlichen an allen Fakultäten. Kritisch ist dagegen, dass bei einer Fakultät, die keine Prüfungsverantwortlichen für jedes Fach hat, auch die Prüfungsersteller nicht geschult sind und relevante Dinge wie Review, Reliabilitätsanalyse und Post-Review bisher nur in einem Fach durchgeführt werden.

Bei der Erstellung der Prüfungen ist positiv anzumerken, dass alle Fakultäten anstreben, einen Reviewprozess durchzuführen, auch wenn dieser oft noch unstrukturiert abläuft. Qualitativ könnte dies durch ein strukturierteres Vorgehen verbessert werden, indem alle Frageautoren zusammenkommen und die Fragen nochmals diskutieren. Zudem birgt die Hinzunahme eines Experten bzgl. formeller Kriterien für Prüfungsfragen ein weiteres Entwicklungspotenzial für den Reviewprozess.

Die Auswertung der MC-Klausuren erfolgt nur an zwei Fakultäten für alle Fächer kombiniert mit einer teststatistischen Analyse. Der Vorteil dieser Auswertung liegt in der Identifikation schlechter Items und hilft somit bei der Reduzierung qualitativ problematischer Fragen für die folgenden Prüfungen, sowie bei der Erkennung potentieller Probleme und wirkt damit präventiv auf die Vorwegnahme studentischer Einsprüche. Da die Auswertung gekoppelt an ein elektronisches Programm zur Fragenerstellung läuft, können dieser Pool immer wieder durch neue Fragen erweitert und alte Fragen revidiert werden. Fehlerhafte Fragen werden somit gar nicht mehr in Prüfungen aufgenommen. Zur Ökonomisierung des Prüfungserstellungs- und Reviewprozesses wäre eine Fakultäts-übergreifende Itemdatenbank wie das IMSm [8] wünschenswert.

Außerdem wäre es wünschenswert, wenn sich die Prüfungsersteller noch mehr zum Thema Prüfungen fortbilden, um einen reibungslosen Ablauf der Prüfung gewährleisten zu können. Hierfür bietet u.a. das Kompetenzzentrum Prüfungen der LMU zweimal jährlich einen Prüfungsworkshop an. Die Relevanz dieser Fortbildungen zeigt sich deutlich in der folgenden Aussage eines Prüfungsgesamtverantwortlichen:

„Seitdem die Prüfungsersteller an den Workshops teilnehmen, haben die Einsprüche der Studierenden sehr stark abgenommen.“

Kritisch anzumerken bzgl. der interfakultären Vergleichbarkeit ist, dass sich Curriculum, Größe der Fakultäten und Art der Prüfungsformate stark unterscheiden. So werden an vier der fünf Fakultäten überwiegend MC-Klausuren als Format genutzt. Die anderen verwendeten Prüfungsformate sind offene. An einer Fakultät wird eine deutlich geringere Anzahl an MC-Prüfungen genutzt und dafür ein größerer Anteil an klinisch-praktischen Prüfungsformaten wie OSCEs. Diese Differenzen bergen somit auch unterschiedliche Handlungspotenziale. Auch der Stand der Entwicklung ist teilweise sehr unterschiedlich, da manche Gesamt- und Fachprüfungsverantwortliche noch nicht lange in Ihrer Aufgabe tätig sind und die Entwicklung gemäß der GMA-Richtlinien erst am Anfang steht. Weitere Erhebungen im Längsschnitt sind notwendig, um die zukünftigen Entwicklungen innerhalb Bayerns abschätzen zu können. Die Legitimation der Kompetenzzentren in Bayern und insbesondere des Kompetenzzentrums Prüfungen ergibt sich einerseits in der Analyse bestehender Strukturen und des Weiteren in der Unterstützung des kontinuierlichen Prozesses der Qualitätsverbesserung im Sinne der GMA-Richtlinien.