Local feature description with invariance against affine projection

Bulla, Christopher; Ohm, Jens-Rainer; Merhof, Dorit

doi:10.18154/RWTH-2017-09341

Local feature description with invariance against affine projection = Lokale Merkmalsbeschreibung mit Invarianz gegenüber affinen Projektionen

Bulla, Christopher^RWTH*

2017

Verantwortlichkeitsangabevorgelegt von Diplom-Ingenieur Christopher Bulla

ImpressumAachen 2017

Umfang1 Online-Ressource (xvi, 147 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2017

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Ohm, Jens-Rainer (Thesis advisor) ; Merhof, Dorit (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2017-07-26

Online
DOI: 10.18154/RWTH-2017-09341
URL: http://publications.rwth-aachen.de/record/707642/files/707642.pdf
URL: http://publications.rwth-aachen.de/record/707642/files/707642.pdf?subformat=pdfa

Einrichtungen

Lehrstuhl und Institut für Nachrichtentechnik (613210)

Inhaltliche Beschreibung (Schlagwörter)
SIFT (frei) ; affine Invariance (frei) ; image description (frei) ; local features (frei)

Thematische Einordnung (Klassifikation)
DDC: 621.3

Kurzfassung
Während der Inhalt eines Bildes von einem menschlichen Betrachter relativ einfach verstanden werden kann, stellt dies für die automatische Analyse durch ein Bildverarbeitungssystem eine große Herausforderung dar. Eine Möglichkeit Bilder automatisch zu beschreiben, besteht in der Verwendung lokaler Merkmale, welche als mathematische Beschreibung einzelner Bildregionen aufgefasst werden können. Die Beschreibung sollte dabei weitestgehend invariant gegenüber foto- und geometrischen Störungen sein, welche beispielsweise durch eine Änderung der Beleuchtung oder des Blickwinkels bei der Bildaufnahme entstehen können. Diese Arbeit befasst sich mit der Verbesserung der Invarianz lokaler Merkmale hinsichtlich geometrischer Bildstörungen und zeigt, inwiefern Merkmalskorrespondenzen zwischen zwei Bildern dazu genutzt werden können, identische Objekte innerhalb der Bilder zu detektieren. Zur Steigerung der Invarianz lokaler Merkmale hinsichtlich geometrischer Bildstörungen wird ein iteratives Verfahren entwickelt, welches lokale Eigenschaften der zu beschreibenden Bildregionen nutzt, um diese in einem Vorverarbeitungsschritt so zu normalisieren, dass zwei Bildregionen mit gleichem Bildinhalt, welche aus verschiedenen Blickwinkeln aufgenommen wurden, nach der Normalisierung keine oder zumindest weniger geometrische Störungen als vor der Normalisierung aufweisen. Das entwickelte Verfahren kann mit verschiedenen lokalen Merkmalen kombiniert werden. Da jede Bildregion individuell normalisiert wird, ist es zudem robust hinsichtlich lokaler geometrischer Verzerrungen. Die Detektion identischer Objekte innerhalb eines Bildpaares erfolgt durch eine Analyse der korrespondierenden Merkmale beider Bilder. Hierzu wird ein weiteres Verfahren präsentiert, welches die Normalisierungsmatrizen korrespondierender Merkmale zur Schätzung einer affinen Projektionsmatrix nutzt. Basierend auf der Annahme, dass Merkmalskorrespondenzen, welche zu einem semantischen Objekt gehören, identische Projektionsmatrizen besitzen, erfolgt die Detektion identischer Objekte durch eine Gruppierung der geschätzten Projektionsmatrix. Neben der Detektion von Objekten kann das entwickelte Verfahren zur Unterscheidung zwischen korrekten und falschen Merkmalskorrespondenzen genutzt werden. Zur Evaluierung werden die entwickelten Algorithmen mit Algorithmen die dem derzeitigen Stand der Technik entsprechen verglichen. Es wird gezeigt, dass insbesondere im Falle lokaler geometrischer Bildstörungen das präsentierte Verfahren zur Steigerung der Invarianz lokaler Merkmale hinsichtlich geometrischer Bildstörungen dem Stand der Technik überlegen ist. Ferner wird gezeigt, dass mit dem vorgestellten Verfahren zur Gruppierung von Merkmalskorrespondenzen eine zuverlässige Detektion identischer Objekte erreicht wird.

While the understanding of the image content is relatively easy for most humans, an automatic analysis is challenging for a computer vision system. To describe the content of an image, local features, which can be understood as mathematical representations of image regions, are used frequently. The image description should be invariant against photo- and geometric image distortions which typically occur when the illumination or the viewing angle during image acquisition changes.This thesis focuses on increasing the robustness of local features under geometric, or more specific, affine image projection, in the context of object detection.To increase robustness of local features against geometric image distortions, the affine invariant coordinate transformation is developed. The affine invariant coordinate transformation is an iterative normalization algorithm which exploits local properties of an image region to normalize it, such that two image regions captured from different viewpoints are identical, up to a rotational transformation after normalization. It can be combined with various feature detection and feature extraction algorithms and used for both globally and locally distorted images.For the detection of objects with various affine projections in different image recordings, the correspondence consensus merging is developed. The correspondence consensus merging uses the normalization matrices of two corresponding features to estimate the projection between the objects. Based on the assumption that features belonging to one semantic object are projected similarly across the images, the correspondence consensus merging groups correspondences whose projection estimates are similar. The algorithm provides reliable object detection results even when the established correspondences between the two images contain plenty false correspondences and can also be used to distinguish between correct and false feature correspondences.The developed algorithms are evaluated on synthetically warped as well as on camera captured image pairs with global and local geometric projection and compared against state of the art methods for affine invariant feature extraction, respectively for feature grouping. It is shown, that especially for images with local geometric projections, the presented algorithm is superior to the state of the art. Furthermore, it is shown that the presented grouping of feature correspondences allows for reliable object detection.

OpenAccess:
PDF PDF (PDFA)
(additional files)