gms | German Medical Science

Einleitung: Datenintegration und -aufbereitung zur Sekundärnutzung in der medizinischen Forschung gewinnt aufgrund steigendender Patientenzahlen zunehmend an Bedeutung. Das vom Bundesministerium für Bildung und Forschung im Rahmen der Medizininformatik-Initiative geförderte Konsortium MIRACUM [1] einigte sich daher unter anderem auf die einheitliche Repräsentation von medizinischen Forschungsdaten im OMOP Common Data Model (OMOP CDM). Im Zuge dessen entstand eine initiale ETL-Strecke, um einen Teil des Kerndatensatzes in das OMOP CDM zu überführen [2]. Die Zuverlässigkeit der im OMOP CDM repräsentierten Daten ist direkt abhängig von der Validität der ETL-Strecke. Um diese Validität systematisch zu überprüfen, wird ein Tool zur automatisierten Datenqualitätsanalyse (DQA-Tool) vorgestellt.

Methode: Das in MIRACUM für das i2b2-Forschungsdatenrepository mit GNU R [3] entwickelte Datenqualitäts-Framework [4] wurde auf das OMOP CDM angepasst und erweitert. Damit wird der in [2] beschriebene ETL-Prozess in den folgenden Schritten [5] automatisiert getestet:

• „Data Completeness”: alle Quelldaten sind vollständig im Zielsystem. Die Überprüfung erfolgt durch einen Vergleich der Anzahl der vorkommenden Datenelemente.
• „Data Validation“: alle Datenwerte des Quellsystems entsprechen denen im Zielsystem. Die Überprüfung erfolgt durch einen Vergleich der Ausprägungen der Datenelemente.
• „Data Correctness“: alle Quelldaten sind (semantisch) richtig im Zielsystem. Die Überprüfung erfolgt durch einen Vergleich der assoziierten Datenelemente zwischen Quell- und Zielsystem.
• „Metadata Testing“: alle Metadaten bleiben bei der Transformation erhalten. Die Überprüfung erfolgt durch einen Vergleich der Metadaten der Datenelemente im Quell- und Zielsystem.
• „Syntax Testing“: alle Daten des Zielsystems enthalten keine ungültigen Zeichen. Die Überprüfung erfolgt durch eine automatisierte Analyse aller Datenwerte im Zielsystem.

Die Umsetzung der Schritte 1. und 2. ist bereits unter Verwendung der SCRUM Methode [6] erfolgt. Die Korrektheit der automatischen Tests wurde durch einen manuellen Vergleich validiert. Dazu wurden automatisch ermittelte Abweichungen zwischen Quell- und Zieldaten händisch überprüft und innerhalb der Autorengruppe diskutiert. Die Schritte 3. bis 5. befinden sich in der Umsetzung. Dafür erfolgt die Definition einer semantischen Analyse sowie die Nutzung der OHDSI-Tools Achilles und Achilles Heel [7]. Die automatisch ermittelten Resultate werden manuell unter Einbezug medizinischer Expertise überprüft.

Ergebnisse: Mittels automatisierter Testverfahren wurden bereits 21 Einzelwertprüfungen und acht Plausibilitätsprüfungen durchgeführt. Dabei waren acht Vergleichswerte der Einzelprüfungen signifikant unterschiedlich zwischen den Quelldateien und OMOP CDM.

Die Prüfungen wurden um eine semantische Analyse zur Überprüfung der korrekten Assoziation von Patienten und Fällen zwischen Quell- und Zielsystem angereichert. Es konnte ermittelt werden, dass in einigen Fällen die Zahl der mit einem Patienten assoziierten Fälle im Quellsystem deutlich höher ist als im OMOP CDM.

Diskussion und Ausblick: Durch die automatisierte Analyse wurden Unregelmäßigkeiten in der ETL-Strecke ermittelt. Die Implementierung des DQA-Tools erfolgte unabhängig von der Umsetzung der ETL-Strecke, um eine objektive Betrachtung zu ermöglichen. Die Validierung des DQA-Tools erfolgt derzeit händisch. Dies soll durch die Bereitstellung automatisierter Funktionstests behoben werden. Für die aktuell laufenden Umsetzungen (Schritte 3.-5.) wird das DQA-Tool bis zur GMDS um Achilles und Achilles Heel [7] sowie um weitere semantische Tests ergänzt.

Das betrachtete Verfahren ist bisher eine erste, nicht vollumfängliche Umsetzung. Um die Korrektheit eines ETL-Prozesses validieren zu können, sollten weitere Testverfahren (Migrationsprüfung, Änderungsprüfung) implementiert werden [8].

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass kein Ethikvotum erforderlich ist.