gms | German Medical Science

Fragestellung/Einleitung: In den letzten 10 Jahren haben sich Multiple Mini-Interviews zur Erfassung psychosozialer Kompetenzen im Rahmen der Auswahl von Medizinstudierenden weltweit immer stärker etabliert. Dabei unterscheiden sich die MMIs in Aufbau und Inhalt deutlich zwischen den Fakultäten. Unter anderem betrifft dies auch die Komplexität der Bewertungsbögen, mit denen die Leistung eines Bewerbers eingeschätzt werden soll. Am einfachsten ist es, nur die Gesamtleistung eines Bewerbers auf einer Station bewerten zu lassen. Daneben gibt es aber auch sehr viel umfangreichere Bewertungsbögen mit inhaltlich unterschiedlichen Einzelskalen und Bewertungsankern, von denen man sich eine Verbesserung der Juror-Übereinstimmung verspricht. Auf der anderen Seite ist die Entwicklung dieser komplexeren Bewertungsbögen sehr viel zeit- und somit auch kostenintensiver. In unserer Studie haben wir untersucht, ob ein sehr einfaches Bewertungsformat tatsächlich mit einer geringeren Juror-Übereinstimmung einhergeht und welche Entwicklungskosten durch den Einsatz eines vereinfachten Formats eingespart werden könnten.

Methoden: Im Rahmen des Hamburger MMIs (HAM-Int) 2014 wurden in zwei Stationen in zwei parallelen Parcours (vier Räume) neben den beiden regulären Juroren (komplexer Bewertungsbogen mit drei Inhaltsskalen und Bewertungsankern) zwei zusätzliche Juroren eingesetzt, denen lediglich eine Gesamtbewertungsskala zur Verfügung stand (einfacher Bewertungsbogen). Anschließend wurden für alle Juror-Paarungen in den vier Räumen Intraklassenkorrelationen (ICC) als Maß der Juror-Übereinstimmung berechnet und verglichen. Zudem wurde die Entwicklungszeit einer neuen HAM-Int Station protokolliert, um den prozentualen zeitlichen Anteil, den die Entwicklung eines komplexen Bewertungsbogens im Vergleich zu einem vereinfachten Bewertungsbogens in Anspruch nimmt, zu bestimmen.

Ergebnisse: Die ICCs für die verschiedenen Juror-Paarungen liegen zwischen .20 und .88. Das Muster der ICCs lässt nicht auf eine bessere Juror-Übereinstimmung zugunsten des komplexen Bewertungsbogens schließen. Die Arbeitszeit zur Entwicklung eines komplexen Bewertungsbogens macht etwa 15% der gesamten Stationsentwicklungszeit aus. Demgegenüber sind dies bei einem vereinfachten Bewertungsbogen nur etwa 2% der gesamten Entwicklungszeit.

Diskussion/Schlussfolgerung: Der Einsatz eines wesentlich vereinfachten Bewertungsbogens zur Leistungsbeurteilung in einer Interviewstation könnte die Entwicklungskosten deutlich verringern und würde die Juror-Übereinstimmung nicht verschlechtern. Allerdings müssen andere Gründe, die dennoch für ein aufwändigeres Bewertungsformat sprechen, diskutiert werden.