gms | German Medical Science

In der üblichen Praxis klinischer Studien entsteht nicht selten die Notwendigkeit, Mittelwerte zu vergleichen. Ausgehend von der Datenlage bedient man sich in der Regel folgender statistischer Verfahren: ANOVA oder t-Test oder nichtparametrische Methoden wie z.B. Mann-Whitney U-Test, Kruskal-Wallis-Test u.a. Die Anwendung dieser Methoden ist an relativ strenge Voraussetzungen (wie z.B. Normalverteilung, gleiche Varianzen) gebunden. Als Minimum wird in den klassischen Versionen dieser Methoden verlangt, dass die Werte der interessierenden Variablen einer Normalverteilung folgen, bzw. gleiche Verteilungsformen in einzelnen Gruppen aufweisen. In der Arbeit [1] wurde die Robustheit des t-Tests auf einer breiten Verteilungsklasse (Fleishman [2]) gezeigt. Die Arbeit [3] zeigt dasselbe auch für Welch- und U-Test sowohl mit als auch ohne Pretesting. In der Realität entstehen dennoch Verteilungen aus einer relativ breiten Klasse (z.B. Mischverteilungen, andere Verteilungen, die den sogenannten medium-tailed Verteilungen ähnlich sind usw.), auf denen die Robustheit der oben erwähnten Methoden, wie es weiter gezeigt wird, verschwindet.

Bei den parametrischen Verfahren ist dies damit zu erklären, dass die empirische Verteilung der Teststatistik in solchen Fällen nicht die theoretische als ihren Grenzwert hat. Weiter unten wird gezeigt, dass dieses Problem sich durch eine Modellierung der empirischen Verteilung der Teststatistik lösen lässt.

Ein weiterer Ansatz, der sich bei dieser Problematik anbieten würde, sind die Permutationstests. In dieser Arbeit wird der studentisierte Zweistichproben-Permutationstest [4] betrachtet.

Die oben genannten nichtparametrischen Methoden, die für die Ausgangsfragestellung auch herangezogen werden können, hängen von den Annahmen über die Verteilungsklasse zwar weniger stark ab, aber auch sie haben ihre Anwendungsgrenzen (wie z.B. gleiche Verteilungsfamilien in den einzelnen zu vergleichenden Gruppen).

In dieser Arbeit wird eine spezielle Variante von smoothed bootstrap [5] vorgeschlagen, die es erlaubt, die Verteilung der empirischen Teststatistik entsprechend der Verteilung vorliegender Daten zu konstruieren und in den statistischen Test einzubeziehen.

In dem Programmpaket SPSS gibt es auch die Möglichkeit Mittelwerte mittels bootstrap-Konfidenzintervalle zu vergleichen. Es ist aber zu bemerken, dass dort die so genannte klassische Variante von bootstrap verwendet wird, die nur mit vorliegenden Stichprobenwerten operiert und, wie in [5] gezeigt wird, in einigen Fällen (besonders bei kleinen Stichproben) im Gegensatz zu der smoothed Variante einen größeren Standardfehler hat.

Die Konstruktion eines Tests zielt auf eine Teststatistik mit bestimmten Eigenschaften. Eine davon ist, dass die Teststatistik unter der Nullhypothese eine bekannte Verteilung besitzt, aus der sich ein kritischer Wert als Quantil dieser Verteilung bestimmen lässt. Um das zu gewährleisten, müssen einige Bedingungen an die Verteilung der zu analysierenden Variablen gestellt werden. Weicht die Verteilungsform der Stichprobe von der in einem Verfahren unterstellten ab, so hat die Teststatistik nicht die gewünschte Verteilung und der kritische Wert kann sehr oft nicht bestimmt werden. Die in dieser Arbeit vorgeschlagene Test-Methodik beruht auf der Monte Carlo Methode, in der das Resampling nach der Inversionsmethode durchgeführt wird. Die empirische Verteilungsfunktion wird hier mit einer stückweise linearen Funktion approximiert.

Es werden nun die Einzelheiten dieses Ansatzes am Beispiel einer einfaktoriellen ANOVA für 2 Gruppen betrachtet und das so modifizierte Verfahren wird MC-ANOVA (Monte Carlo ANOVA) genannt.

Seien Y₁ und Y₂ stetige Zufallsvariablen, deren Realisierungen 2 Gruppen und innerhalb einer Stichprobe definieren. Die Gruppenerwartungswerte werden mit µ₁ und µ₂ bezeichnet. Zu klären ist, ob sich die Gruppen bezüglich dieser signifikant voneinander unterscheiden.

Zu prüfen ist die Nullhypothese

H₀ : µ₁= µ₂

gegen die Alternativhypothese

H₁ : µ₁ ≠ µ₂.

Tatsächlich wird bei der Hypothesenprüfung der beobachtete Wert der Teststatistik mit dem (1–α)-Quantil ihrer Verteilung unter H₀ (bei einem vorgegebenen α) verglichen. Sind Y₁ und Y₂ normalverteilt, dann ist dieses Quantil aus theoretischen Überlegungen bekannt. Interessant ist aber der Fall, wo die Verteilungsannahmen der Varianzanalyse (Normalverteilung, Varianzhomogenität) grob verletzt sind. In dieser Situation ist die Verteilung der Teststatistik und in Folge das im Allgemeinen nicht bekannt. Das Ziel ist also, die Verteilung der Teststatistik unter H₀ zu approximieren. Dazu sind einige Vorbereitungen notwendig. An dieser Stelle ist es wichtig, zu bemerken, dass sich die Nullhypothese H₀ nur auf die Gleichheit der Mittelwerte konzentriert und keine zusätzlichen Bedingungen (Normalverteilung, Varianzhomogenität usw.) an die Verteilung der Daten gestellt werden.

In einem ersten Schritt wird die Teststatistik T_obs zum F-Test der Varianzanalyse auf der Basis der beobachteten Daten berechnet. Es wird auch im Weiteren für die Teststatistik eine allgemeine Bezeichnung T bzw. T_n verwendet, um zum Einen das Lesen zu erleichtern und zum Anderen zu betonen, dass die weiter unten beschriebene MC-Modifikation ihre Anwendung nicht nur in der ANOVA, sondern auch in anderen Testverfahren finden kann.

Danach werden die Daten in den einzelnen Gruppen um ihren Mittelwert zentriert, so dass sie der Nullhypothese H₀ entsprechen

, mit k=1,2 und i_k=1,…,n_k.

In jeder zentrierten Gruppe wird die empirische Verteilungsfunktion berechnet, bezeichnet mit und . Seien und die mit Hilfe von stückweise linearen Funktionen approximierten und .

Nun können aus den geglätteten Funktionen mit Hilfe der Inversionsmethode N neue Stichproben erzeugt werden, deren Elemente wie die Elemente der zentrierten Stichprobe verteilt sind und der Nullhypothese entsprechen.

Im nächsten Schritt wird für jede der N neuen Stichproben die Teststatistik der Varianzanalyse berechnet, wodurch eine Folge entsteht. Diese Folge beschreibt die Verteilung der Teststatistik T_n unter der Nullhypothese H₀ und liefert das empirische (1–α)-Quantil . Das war der letzte Baustein und jetzt kann der Test der Varianzanalyse wie folgt modifiziert werden:

H₀ wird zum Niveau α abgelehnt, wenn T_obs > .

Nach der obigen Beschreibung werden im folgenden Abschnitt einige für die Testverfahren üblichen Charakterisierungen angegeben.

Zunächst liege der so genannte reguläre Fall vor, wo alle für ein gewähltes Testverfahren notwendigen Verteilungsannahmen gelten.

In diesem Fall hält das modifizierte Verfahren das vorgegebene Signifikanzniveau ein. In einer Simulationsstudie mit 10.000 Stichproben und einem nominellen α=5% betrug die Wahrscheinlichkeit für den Fehler 1. Art 4,29%.

Ein weiteres Beurteilungskriterium für einen Test ist die Operationscharakteristik (OC). Abbildung 1 [Abb. 1] und Abbildung 2 [Abb. 2] (mit schwächerer, Delta=4 bzw. stärkerer, Delta=2, Überlappung der Gruppen) zeigen die OC-Kurve der MC-ANOVA. Hier wurden Stichproben aus einer normalverteilten Grundgesamtheit zugrunde gelegt, um die theoretischen Werte der OC-Kurve der klassischen ANOVA als Referenz verwenden zu können. Diesen Abbildungen ist z.B. zu entnehmen, dass die Trennschärfe des MC-Tests mit wachsendem Stichprobenumfang größer wird.

Um zu veranschaulichen, dass die MC- und die klassische Variante eines Tests in einem regulären Fall (alle Verteilungsvoraussetzungen für das Testverfahren sind erfüllt) zu gleichen Resultaten führen, wird ein Datenbeispiel betrachtet.

Im Rahmen des Teilprojektes B2 „Verteilungsbasierte Simulation“ des SFB 747 „Mikrokaltumformen“ sollten Komponenten des Spannungstensors für ein RVE (repräsentatives Volumenelement) mit Kornstruktur für Stahl DC01 bezüglich ihrer Mittelwerte verglichen werden. Da die Hypothese einer Normalverteilung der Daten in beiden Gruppen (Abbildung 3 [Abb. 3]) nach dem KS-Test nicht abgelehnt werden kann und die Gruppenumfänge groß sind, kann hier die Methode der klassischen ANOVA zur Beantwortung der Frage herangezogen werden.

Um die Varianzheterogenität zu berücksichtigen, wird eine Welch-ANOVA verwendet. Wie aus der Abbildung 4 [Abb. 4] ersichtlich wird, kann die Hypothese gleicher Mittelwerte nicht beibehalten werden. Außerdem zeigt diese Grafik, dass die beiden Methoden (Welch und MC-ANOVA) nicht nur in den p-Werten, sondern auch in den kompletten Verteilungsfunktionen der Teststatistik (p-Wert des KS-Tests ist gleich 0,89) identisch sind.

Dieses Beispiel unterstreicht, dass die beiden Testmethoden in einem regulären Fall zur gleichen Testentscheidung führen.

Nun ist zu dem Fall überzugehen, wo die Verteilungsannahmen für einen Test grob verletzt sind. Als Beispiel für solche Verteilungen dienen die Daten aus der folgenden präklinischen Laboruntersuchung.

Im Bereich der Thorax-Chirurgie wurden zwei Typen der Laserversiegelung von Lungengewebe am ex-vivo ventilierten Schweinelungenmodell: mit und ohne Wasserkühlung [6] untersucht. Es sollte überprüft werden, ob dadurch Unterschiede im Versiegelungsprozess entstehen.

Hier wird das Verhalten der Wahrscheinlichkeit für den Fehler 1. Art verschiedener Testverfahren von Interesse sein. Dazu werden die Daten in den beiden Gruppen zentriert, so dass sie der Nullhypothese gleicher Erwartungswerte entsprechen.

Die Abbildung 5 [Abb. 5] gibt einen Überblick über die zentrierten Werte.

Danach werden 10.000 neue Stichproben erzeugt, deren Elemente dem Verteilungsgesetz der zentrierten Werte folgen. In jeder dieser Stichproben werden ANOVA, t-Test, studentisierter Zweistichproben-Permutationstest, MC-ANOVA und der MC-t-Test für den Gruppenvergleich herangezogen. Die beiden Gruppen wurden auch mit Hilfe von 95%-Konfidenzintervalle für Mittelwertdifferenz verglichen. Für die Konstruktion der Konfidenzintervalle wurden zwei Varianten von Bootstrap (smoothed und klassisch) verwendet. Die Abbildung 6 [Abb. 6] zeigt die Verläufe der dabei entstandenen Wahrscheinlichkeiten für den Fehler 1. Art. Die X-Achse zeigt die Anzahl der unter H₀ erzeugten Datensätze, auf deren Basis diese Wahrscheinlichkeit berechnet wurde.

Hier ist leicht zu sehen, dass Permutationstest, t-Test und das Verfahren der Varianzanalyse unter den Bedingungen der vorliegenden Daten zum Signifikanzniveau 5% nicht mehr robust sind. Unterschiedliche Verteilungsformen in einzelnen Gruppen sowie große Varianz der Daten sind die Ursache. Die beiden MC-Varianten der Tests halten jedoch das Signifikanzniveau ein, und die Verläufe ihrer Werte der Wahrscheinlichkeit für den Fehler 1. Art sind kaum voneinander zu unterscheiden.

Die in dieser Arbeit betrachteten MC-Testvarianten sind zwar rechenaufwändiger als die klassischen Versionen der Testmethoden (ANOVA, t-Test), können aber für eine breitere Verteilungsklasse von zufälligen Fehlern angewendet werden. Die MC-modifizierten Verfahren verlangen keine Kenntnisse über die Form oder die Parameter der zugrundeliegenden Verteilung und benötigen auch kein Pretesting.

Im Fall gültiger Verteilungsannahmen zeigen die MC-Tests ein Resultat, welches mit dem der klassischen Testversionen vergleichbar ist. In der Verteilungsklasse, in der klassische Methoden ihre Robustheit verlieren, halten die MC-Verfahren das vorgegebene Signifikanzniveau (5%) ein.

Die vorgeschlagene MC-Modifikation eines Verfahrens kann ohne grundsätzliche Änderungen auf die Vergleiche von mehr als zwei Gruppen verallgemeinert werden. Auch der weitergehende Einsatz bei der Fallzahlberechnung zur Planung einer Studie ist unmittelbar möglich.

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.

Die Autoren bedanken sich bei der Deutschen Forschungsgemeinschaft (DFG) für eine teilweise finanzielle Unterstützung dieser Arbeit im Rahmen des SFB 747 „Mikrokaltumformen: Prozesse, Charakterisierung, Optimierung“. Ein weiterer Dank geht an das Team der Klinik für Thoraxchirurgie Klinikum Bremen Ost für die zur Verfügung gestellten Daten [6] und an Dr. W. Wosniok für eine aktive nützliche Unterstützung.