Paradoxien in quantitativen Modellen der Individualdiagnostik

Abstract

Die vorliegende Arbeit unternimmt den Versuch einer Verallgemeinerung eines von Hooker, Finkelman und Schwartzman (2009) erstmals für eine spezielle Klasse von (mehrdimensionalen) Item-Response-Modellen beschriebenen Paradoxons, welches im Kern darauf beruht, dass eine Person durch das Geben von ein oder mehreren Falschantworten eine vorteilhafte Diagnose hinsichtlich einer zu diagnostizierenden (latenten) Fähigkeit erlangen kann. Mittels des Begriffs einer "reverse-rule-Funktion" kann - wie in dieser Arbeit gezeigt wird - das Konstruktionsprinzip von Hooker u.a. (2009) sowohl für ordinale Item-Response-Modelle als auch für Modelle, die gegen Regularitätsbedingungen (Logkonkonkavität; zweimal stetig differenzierbare Item-Response-Funktionen) verstoßen, übernommen werden. Als Nebenprodukt erlaubt dieses Konzept zudem eine vereinheitlichende Darstellung des paradoxen Effekts für diskrete und stetige Fähigkeitsdimensionen. Die Betrachtung des Effekts in speziellen Modellklassen zeigt ferner seine Omnipräsenz sowie seine vielfältigen Erscheinungsformen auf: (1) Im faktorenanalytischen Modell impliziert jede nichtnegative Ladungsmatrix, die von Einfachstruktur abweicht, einen paradoxen Effekt bezüglich (mindestens) einer latenten Dimension. (2) In Item-Response-Modellen mit zusätzlicher Schnelligkeitskomponente kann unter bestimmten Bedingungen jede beliebig schlechte Testperformance durch eine zügige Antwort auf ein Item kompensiert werden. (3) In longitudinalen Item-Response-Modellen kann eine bessere Performance in einem später administrierten Test - je nach Abhängigkeitsmodellierung - eine Zu- oder Abnahme in der geschätzten Fähigkeitsdifferenz bezüglich früherer Zeitpunkte induzieren. Vor dem Hintergrund, dass keine zufriedenstellende Behebungsmöglichkeit des paradoxen Effekts zu existieren scheint, erhält die Erörterung seiner testtheoretischen Relevanz zusätzliche Bedeutung. Als Kerneigenschaft mehrdimensionaler IRT-Modelle stellt der paradoxe Effekt einen omnipräsenten Antagonismus zwischen statistischer Effizienz und individualdiagnostischer Fairness dar, der sich - wie in der abschließenden Diskussion argumentiert wird - nahtlos in eine Reihe bereits bekannter Kritikpunkte des Latenten-Variablen-Ansatzes (Rotationsproblem, Mehrdeutigkeit der latenten Variable, ...) einfügen lässt.