Article
OSCE Checklisten – mit welchem Gewicht sollen Items zum Gesamtscore beitragen
Search Medline for
Authors
Published: | November 24, 2017 |
---|
Outline
Text
Fragestellung/Zielsetzung: Eines der Hauptgütekriterien bei der Auswertung von Prüfungen betrifft die Skalierung der darin gemessenen Kompetenzen [1], [2]. Große Schulleistungsstudien in Deutschland verwenden das Raschmodell [3], welches auch Eingang in die Auswertung medizinischer Prüfungen gefunden hat [4]. Ziel der Studie war es, dieses Verfahren bei einer Objective Structured Clinical Examination (OSCE) einzusetzen, um eine gültige und nachvollziehbare Verrechnungsvorschrift für Testitems nach internationalen Standards zu konstruieren.
Material/Methoden: Im Rahmen der Prüfungen im OSCE-Format (WS 2016/2017) wurde die Skalierung der aus 20-30 Items bestehenden Checklisten für acht unterschiedliche Stationen (NR=60-154) zur Prüfung klinisch-praktischer Fertigkeiten vorgenommen. Die quantitativ generierten Ergebnisse wurden auf inhaltlicher Ebene mit Fachärzten und Tutoren hinsichtlich ihrer qualitativen Validität diskutiert.
Ergebnis: Für alle Stationen konnte eine Skalierung der Testwerte vorgenommen werden. Das über die loglineare Transformation hergestellte Intervallskalenniveau ermöglichte die Berechnung einer Gesamtpunktzahl sowie die Ausgabe eines Prozentwertes. Die Skalierung durch das Raschmodell kann schwierige Items identifizieren, die eine hohe Kompetenzausprägung indizieren.
Ausblick: Statistische Modelle der probabilistischen Testtheorie können zur Qualitätssicherung der OSCE beitragen. Der Grad der Prüfungsfairness wird durch die Integration von Gewichtungen erhöht. Die inhaltliche Schwerpunktsetzung durch Prüfungsverantwortliche soll zukünftig im Rahmen von differenzierteren Modellen wie dem Partial-Credit-Modell stärkere Berücksichtigung finden.
Literatur
- 1.
- Bühner M. Einführung in die Test-und Fragebogenkonstruktion. Hallbrergmoos: Pearson Deutschland GmbH; 2011.
- 2.
- Klieme E, Baumert J, Köller O, Bos W. Mathematische und naturwissenschaftliche Grundbildung: Konzeptuelle Grundlagen und die Erfassung und Skalierung von Kompetenzen. In: TIMSS/III (Hrsg). Dritte Internationale Mathematik-und Naturwissenschaftsstudie - Mathematische und naturwissenschaftliche Bildung am Ende der Schullaufbahn. Heidelberg: VS Verlag für Sozialwissenschaften; 2000. S.85-133.
- 3.
- Sälzer C. Bilanz: Schulleistungsstudien und Kompetenzmessung. In: Sälzer C (Hrsg). Studienbuch Schulleistungsstudien. Berlin, Heidelberg: Springer; 2016. S.77-80. https://doi.org/10.1007/978-3-662-45765-8_6
- 4.
- Iramaneerat C, Yudkowsky R, Myford CM, Downing SM. Quality control of an OSCE using generalizability theory and many-faceted Rasch measurement. Adv Health Sci Educ Theory Pract. 2008;13(4):479. DOI: 10.1007/s10459-007-9060-8