gms | German Medical Science

Einleitung: Leitlinien von Fachgesellschaften stellen den wissenschaftlichen Konsens in einer Teildisziplin der Medizin dar. Sie gelten als Standard und sind die Handlungsgrundlage für praktizierende Mediziner in hunderten Kliniken und ambulanten Einrichtungen [1]. Auch Patienten oder deren Angehörige informieren sich mit der Hilfe von Patientenleitlinien über Erkrankungen [2]. Medizinische Fachtermini oder Zusammenhänge zu verstehen, kann hierbei jedoch schwierig sein [3]. Daher ist es besonders wichtig, die Textqualität einer Leitlinie hinsichtlich einer zielgruppengerechten Sprache in mittel- bzw. langfristiger Perspektive zu verbessern.

In diesem Zusammenhang kann die Messung der Textqualität durch Methoden aus dem Forschungsgebiet „Machine Learning“ ermöglicht werden. Dieser Beitrag stellt ein Anwendungssystem auf Basis einer spezifisch trainierten Support Vector Machine (SVM) vor. Zu Zwecken der Qualitätssicherung ist es damit möglich, den Expertengrad sämtlicher Abschnitte von Leitlinien automatisiert zu berechnen.

Material und Methoden: Das Konzept der SVMs stammt aus dem Bereich des maschinellen Lernens und hat sich im Bereich der Textklassifikation bewährt [4].

Um Text mit Hilfe einer SVM klassifizieren zu können, sind vorverarbeitende Schritte notwendig. Danach transformiert das System die zu klassifizierenden Texte in Dokumentenvektoren. Die sogenannte „Feature-Selection“ bestimmt hierfür diejenigen Terme (Features), die ein Textdokument innerhalb einer Trainingskollektion als Laien- oder Experten-bezogen auszeichnen (vergleiche [5]). Auf Basis einer großen Dokumentenkollektion wird das Modell einer SVM trainiert, zwischen laien-bezogenen und experten-bezogenen Dokumentenvektoren zu unterscheiden. Nach dieser Trainingsphase berechnet der resultierende Klassifikator den medizinischen Expertengrad von unbekanntem Textmaterial mit hoher Genauigkeit.

Der Expertengrad reicht hierbei von 1 bis 10. Ein niedriger Grad deutet an, dass ein Text für (fast) alle Leser geeignet ist. Ein Grad von 10 wird vergeben, wenn es sich um ein Dokument für Gesundheitsexperten handelt, da diese bevorzugt Fachvokabular verwenden und gewohnt sind. Diese Skala wurde von den Autoren als initiale Näherung für eine feingliedrige Einstufung von „Textverständnis“ gewählt.

Für die vorliegende Untersuchung wurden Patientenleitlinien sowie S3-Leitlinien aus dem Leitlinienprogramm Onkologie der AWMF, der Deutschen Krebsgesellschaft e.V. (DKG, http://www.krebsgesellschaft.de/) und der Deutschen Krebshilfe e.V. automatisiert zum Stand Januar 2015 erfasst. Sämtliche Leitliniendokumente sind frei zugänglich und im Internet öffentlich abrufbar (http://leitlinienprogramm-onkologie.de/Leitlinien.7.0.html). Für jeden Abschnitt dieser Leitlinien wurde der Expertengrad durch das SVM-basierte System berechnet.

Hierfür wurden Leitlinien aus den folgenden Themengebieten untersucht; Angaben in Klammern beschreiben, ob es sich um eine patienten-zentrierte Leitlinie (P) oder eine experten-zentrierte Leitlinie (S3) handelt: Hodgkin Lymphom (P,S3), Magenkarzinom (P,S3), Melanom (P,S3), Hepatozelluläres Karzinom (P,S3), Kolorektales Karzinom (2xP,S3), Prostatakarzinom (S3), Pankreaskarzinom (P), Mundhöhlenkrebs (P).

Die Rohtexte aller 14 Leitlinien wurden vollautomatisiert aus den jeweiligen PDF/Word-Dokumenten extrahiert. Eine Prüfung der erfassten Inhalte erfolgte lediglich stichprobenhaft, da die durchschnittliche Textlänge hierbei für Patientenleitlinien 22611 Wörter und für S3-Leitlinien 69974 Wörter beträgt. Aus diesem Grund können Störartefakte (z.B. XML) nicht mit absoluter Sicherheit ausgeschlossen werden. Jedoch ist das Textmaterial an sich bereits durch die DKG und das ÄZQ qualitätsgesichert. Von der Berechnung des Expertengrads ausgeschlossen wurden Kapitel wie Inhaltsverzeichnis, Abbildungsverzeichnis sowie Hinweise zu den Autoren der Leitlinien.

Ergebnisse: Zur Untersuchung der Leitlinien wurde ein Anwendungssystem zur automatischen Vorverarbeitung und zur Expertengrad-Analyse von PDF/Word-Dokumenten implementiert. Auf Basis der vorgestellten Methodik und des implementierten Systems wurde jede erfasste Leitlinie abschnittsweise hinsichtlich ihres Expertengrads analysiert.

Die nachfolgende Beschreibung der Ergebnisse erfolgt in verkürzter Form unter Angabe des Leitlinienthemas, der Leitlinienart und des durch das System berechneten Expertengrads (als Mittelwert der einzelnen Abschnitte): Hodgkin Lymphom (P: 5.3, S3: 8.8), Magenkarzinom (P: 4.6, S3: 9.7 ), Melanom (P: 5.3, S3: 9.3), Hepatozelluläres Karzinom (P: 4.1 ,S3: 8.5), Kolorektales Karzinom (P: 4,8, P: 4,7 S3: 9.1), Prostatakarzinom (S3: 9.1), Pankreaskarzinom (P: 4.0), Mundhöhlenkrebs (P: 3.9).

Die Patientenleitlinien wiesen im Mittel einen Expertengrad von 4.6 auf. Dieser Wert deutet darauf hin, dass die Schreibweise und das verwendete Vokabular des Textmaterials einen vorbelesenen Laien als Zielgruppe voraussetzen. Die experten-zentrierten S3-Leitlinien erhalten hingegen im Mittel einen Expertengrad von 9.1 zugewiesen. Wie a-priori angenommen, richten sie sich folglich an den überdurchschnittlich in diesem Fachgebiet qualifizierten Leser. Die jeweils berechneten Expertengrade decken sich somit überwiegend mit der Einschätzung der Zielgruppe durch die jeweiligen Fachgesellschaften.

Bei der Untersuchung zeigte sich, dass insbesondere bei Patientenleitlinien einzelne Kapitel Ausreißer nach oben aufwiesen (d.h. Expertengrad 7+). Diese sind in dem untersuchten Zusammenhang von besonderer Bedeutung, da sie es dem Laien erschweren, die komplexen Zusammenhänge einer Krankheit umfassend zu verstehen. Gehäuft traten derartige Ausreißer in Patientenleitlinien bei Beschreibungen von Symptomatik und therapeutischen Maßnahmen auf. Dies ist auf das dort verwendete Fachvokabular zurückzuführen.

Diskussion: Die Fachgesellschaften definieren klare Zielgruppen für die durch sie herausgegeben Leitlinien. S3-Leitlinien adressieren als Zielpublikum praktizierende Ärzte und enthalten demnach primär Fachvokabular. Patientenleitlinien sprechen direkt Betroffene oder deren Angehörige als Zielgruppe an. Die durch das vorgestellte System berechneten Expertengrade entsprechen im Mittel dem Kompetenzniveau der jeweils durch von DKG respektive ÄZQ angenommenen Zielgruppen.

Der Umfang der untersuchten Stichprobe ist mit derzeit 14 Leitlinien (P: 8, S3: 6) vergleichsweise gering. Die große Menge an Rohtext, welcher Gegenstand der Untersuchung war, sollte allerdings diesen Umstand unter linguistischer Betrachtung ausgleichen.

Die Ergebnisse zeigen, dass die vollautomatische Bestimmung des Expertengrads von Leitlinien mittels SVMs für qualitätssichernde Analysen geeignet ist. Die anhand dieser Methodik bestimmten Werte können von Leitlinienautoren genutzt werden, um mittel- bzw. langfristig die Leitlinientexte hinsichtlich ihrer Zielgruppe linguistisch zu verfeinern.

Zur Absicherung der Aussagekraft des vorgestellten Verfahrens ist in einem nächsten Schritt geplant, die vorläufigen Ergebnisse gegen eine Studienkohorte bestehend aus medizinischen Laien und Gesundheitsexperten zu evaluieren.