Schließen der semantischen Lücke in der medizinischen Bildanalyse : kontextabhängige Objektextraktion aus hierarchisch partitionierten Bildern

Thies, Christian; Deserno, Thomas

doi:28114

Schließen der semantischen Lücke in der medizinischen Bildanalyse : kontextabhängige Objektextraktion aus hierarchisch partitionierten Bildern = Closing the semantic gap in medical image analysis : context-dependent extraction of objects from hierarchically decomposed images

Thies, Christian (Author)

2007

Verantwortlichkeitsangabevorgelegt von Christian Thies

AusgabeStand: 30 Oktober 2007

ImpressumAachen : Publikationsserver der RWTH Aachen University 2007

Umfang169 S. : Ill., graph. Darst.

Aachen, Techn. Hochsch., Diss., 2007

Genehmigende Fakultät
Fak10

Hauptberichter/Gutachter
Deserno, Thomas (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2007-10-25

Online
URN: urn:nbn:de:hbz:82-opus-20762
URL: https://publications.rwth-aachen.de/record/62494/files/Thies_Christian.pdf

Einrichtungen

Lehrstuhl für Medizinische Informatik (526500-2)

Inhaltliche Beschreibung (Schlagwörter)
Wissensrepräsentation (Genormte SW) ; Bildanalyse (Genormte SW) ; Objekterkennung (Genormte SW) ; Data Mining (Genormte SW) ; Informatik (frei) ; Multiskalenanalyse (frei) ; inhaltsbasierte Bildsuche (frei) ; biomedizinische Objekte (frei) ; Object recognition (frei) ; image analysis (frei) ; data mining (frei) ; content based image retrieval (frei) ; multiscale analysis (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
In allen biologischen und medizinischen Domänen existieren grundlegende Anwendungen, in denen Objekte in Bildern identifiziert, vermessen und gezählt werden. Beispiele sind die Tumoridentifikation in radiologischen Aufnahmen oder die mikroskopbasierte Zellzählung bei zytologischen Untersuchungen. Es stellt sich zunehmend heraus, dass die wachsende Zahl der generierten Bilder nur noch durch rechnerbasierte Unterstützung auswertbar ist. Entgegen der oft formulierten Ansprüche wird eine automatisierte Unterstützung bisher nicht umfassend in der klinischen Routine eingesetzt. In dieser Arbeit werden Gründe für diese Problematik untersucht, ein geschlossenes Framework als ein möglicher Lösungsansatz vorgestellt und dessen Prinzip anhand von Anwendungsfällen demonstriert. Zur Objektextraktion wird Anwenderwissen mit Methoden der Bildanalyse ausgedrückt. Die dazu notwendige Transformation aus dem Anwendungskontext in die formale Repräsentation erfordert technisches Fachwissen zur Bildanalyse sowie Anwenderwissen zur Kontextbeschreibung. In fast 40 Jahren Forschung an Methoden zur Objekterkennung konnte hierzu keine generalisierte Lösung gefunden werden. Vielmehr wurden zahlreiche Segmentierungsalgorithmen und Paradigmen der Objektmodellierung vorgestellt. Da zwischen kontextabhängiger und technischer Repräsentation von Objekten die semantische Lücke klafft, wird es einen geschlossenen Ansatz vermutlich auch nicht geben, obwohl er angesichts der wachsenden Menge akquirierter Bilder heute dringender denn je benötigt würde. Vielmehr existieren Teil- beziehungsweise Speziallösungen für einzelne Anwendungen, die Wissen auf den verschiedenen Abstraktionsebenen der Bildanalyse modellieren. Hauptproblem dabei ist der heuristische Charakter der Wissensmodellierung selbst, der einen anwendungsabhängigen Trade-off zwischen Genauigkeit, Generalisierbarkeit, Parametrierungsaufwand und Auswertezeit erfordert. Das in dieser Arbeit vorgestellte Framework bietet eine konzeptionelle Trennung von low-level Bildverarbeitung und high-level Objektbeschreibung bei gleichzeitiger Integration von Anwender- und Entwicklerwissen. Low-level Bildverarbeitung findet als automatisierbare Multiskalenzerlegung statt, die alle visuell plausiblen Regionen eines Bildes in Form einer Baumstruktur extrahiert. Die Regionen werden mittels numerischer Merkmale wie dem mittleren Grauwert oder den Fourierdeskriptoren der Kontur beschrieben und bilden so einen multidimensionalen Merkmalsraum. High-level Objektbeschreibungen entsprechen in diesem neuartigen Ansatz einer Klassifikationsaufgabe, die mit Methoden der Mustererkennung und des Maschinenlernens automatisierbar ist. Anwendungswissen fließt hierbei in Form von Trainingsdaten und Parametrierung von Klassifikatoren ein. Ebenfalls neu ist die systematische Integration der Ergebnisbewertung in die Entwicklungs- und Anwendersicht. In der Entwicklersicht lassen sich alle Komponenten austauschen und so neue Methoden kombinieren, ohne den vollständigen Ablauf neu zu implementieren. Sowohl zur Multiskalenzerlegung als auch zur Klassifikation stehen bereits zahlreiche Operationen zur Verfügung. In der Anwendersicht lernen Klassifikationsmethoden die anwendungsspezifischen Objektbeschreibungen. Die trainierten Methoden werden auf ausgewählte Bildserien angewandt und die damit erzielten Extraktionsergebnisse bewertet, ohne alle Details der Implementierung zu kennen. Dabei bildet das Abstraktionsniveau der gewählten Lernmethode den weiterhin unüberbrückbaren Teil der semantischen Lücke, dessen Überwindung immer ein Mindestmaß an technischen Kenntnissen erfordert. Dazu wird neben den aus der Literatur bekannten Klassifikatoren ein neuer Intervallklassifikator für die Multiskalenzerlegung eingesetzt. Der Einsatz des Frameworks wird exemplarisch in fünf Anwendungsfällen demonstriert. Die systematische Organisation der notwendigen Operationen wird zunächst in vier Fällen anhand der Extraktion von Metakarpalknochen aus klinischen Radiographien der Hand illustriert. Es werden die Parametrierung der Multiskalenzerlegung, die Merkmalsauswahl, das Klassifikatortraining und ein Anwendungsszenario beschrieben. Der fünfte Anwendungsfall demonstriert wie die Objektextraktion in zwei komplexeren Applikationen genutzt wird. Dies sind die Identifikation von Zellkernen in einer Serie von Fluoreszenzaufnahmen und die Extraktion von Zungenregionen aus einer Serie medialer sagittaler Magnetresonanztomografien des Kopfes. Das Framework stellt ein Werkzeug dar, das durch Abbildung von Kontextinformation die semantische Lücke berücksichtigt, aber trotzdem die Möglichkeit zur standardisierten und reproduzierbaren Reihenauswertung von Bildern für unterschiedliche Anwendungen und Modalitäten bietet. Dieser Zugang ist zwar heuristisch, bietet jedoch eine geschlossene Vorgehensweise bei der Lösung eines dringenden Problems.

In any biomedical domain there are applications in which objects are identified, measured and counted. Examples are the identification and staging of tumors or counting of cells in micrographs for cytological screenings. In the long run the constantly increasing number of acquired images in biomedical applications will only be evaluable by computerized aid. In contrast to the claims of medical image processing such a computerized object extraction is not fully integrated in clinical routine. This work examines the reasons for this observations and proposes an integrated framework as a pragmatic solution. Its application principle is demonstrated by use-cases. Object extraction is based on formal representation of user knowledge by means of image processing. This requires technical knowledge of methods on the one hand while on the other hand contextual knowledge of the application is needed. For this task no general solution has been found within the last 40 years of research in image analysis. Moreover there exist many sophisticated segmentation algorithms and paradigms for object modeling. Presumably there is no such general solution since the semantic gap opens between formal and contextual representation of knowledge. However the increasing number of images requires automated approaches and there exist many application specific solutions modeling knowledge on different levels of abstraction. But at any time the imaging modality or object under investigation is modified, methods need to be re-parameterized and even re-implemented by an image processing expert. The challenge lies within the heuristics of knowledge representation itself which is based on the trade-off between accuracy, generalization and the effort needed for parameterization and evaluation of results. The framework proposed in this work provides a conceptual separation of low-level image processing and high-level object description. At the same time the expression of knowledge of the user and the developer is considered by appropriate views. Low-level image processing is done by multi scale image decomposition into all visually plausible image regions. These are organized in a tree structure and for each region a set of descriptive features such as the mean grey value or the Fourier descriptors of its contour is computed. Thus a multidimensional feature space of region descriptions is formed. Within this new approach high-level object description becomes a classification task to be solved by classical means of pattern recognition and machine learning. Here application specific knowledge is provided by training data and selection and parameterization of the respective classifier. In addition, the framework fully integrates result evaluation in the development and application view. All components of the framework are exchangeable in the development view and thus new methods are designed and integrated without re-implementation of the flow of operations, interfaces and already developed object descriptions. For both multi scale decomposition and classification there are several operations available. Additionally a domain specific language is provided for feature description and a virtual machine is integrated for online computation. Thus no recompilation of the software is required during application. Specific descriptions of objects are learned in the application view. Here a trained method is applied to a given image repository and its extraction result is rated without deeper knowledge of the actual method and its implementation. The level of actual abstraction of the learning algorithm remains the uncloseable opening of the semantic gap. Thus a minimum of technical knowledge will always be required. For this purpose a new interval classifier on the multi scale decomposition is used besides well established classifiers from the literature. The application of the framework is demonstrated by five sample use-cases: At first four cases demonstrate the systematic organization of operations by extraction of metacarpal bones from clinical hand radiographs. Parameterization of multi scale decomposition, feature extraction, training of classifiers and an application scenario are tested. In the fifth use-case the integration of the framework into two complex applications of image analysis is demonstrated. Firstly cells are identified in fluoroscopic micrographs and then extraction of tongue regions from a series of medial sagittal NMR images of the head is performed. In this work it is demonstrated that the framework provides a tool to bridge the semantic gap by mapping contextual knowledge of the user onto complex image processing with a minimum of technical knowledge. It becomes automatically and reproducible applicable to series of images from various modalities and applications. Even although this approach is heuristic it yields a closed and systematic approach to an urgent problem.

Fulltext:
PDF