Interactive image-based 3D reconstruction techniques for application scenarios at different scales

Habbecke, Martin; Kobbelt, Leif

doi:999910270174

Interactive image-based 3D reconstruction techniques for application scenarios at different scales = Interaktive Bild-basierte 3D-Rekonstruktionstechniken für Anwendungsszenarien unterschiedlicher Größe

Habbecke, Martin (Author)

2012

VerantwortlichkeitsangabeMartin Habbecke

ImpressumAachen : Shaker 2012

UmfangVII, 188 S. : Ill., graph. Darst.

ReiheSelected topics in computer graphics ; 7

Zugl.: Aachen, Techn. Hochsch., Diss., 2012

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Kobbelt, Leif (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2012-04-18

Online
URN: urn:nbn:de:hbz:82-opus-42415
URL: https://publications.rwth-aachen.de/record/82841/files/4241.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Maschinelles Sehen (Genormte SW) ; Dreidimensionale Computergraphik (Genormte SW) ; Dreidimensionale Rekonstruktion (Genormte SW) ; Tiefenerkennung (Genormte SW) ; Dreidimensionale geometrische Modellierung (Genormte SW) ; Informatik (frei) ; image-based 3D reconstruction (frei) ; interactive modeling (frei) ; constrained geometric modeling (frei)

Thematische Einordnung (Klassifikation)
DDC: 004
ccs: I.3.5 * I.3.8 * I.4.5 * I.4.8

Kurzfassung
Die Bild-basierte 3D-Rekonstruktion von realen Objekten und Szenen hat in den vergangenen Jahren bemerkenswerte Fortschritte gemacht und bisherige Arbeiten haben einige sehr leistungsstarke Systeme hervorgebracht. Da die meisten dieser Systeme aber auf die vollautomatische Verarbeitung der Eingabebilder ausgerichtet sind, ist das wesentlichen Problem aktueller Ansätze der Umgang mit Rekonstruktionsfehlern. Als Konsequenz führen in der Praxis schon geringe Fehlerraten eines vollautomatischen Systems zu einem erheblichen manuellen Nachbearbeitungsaufwand. Zur Lösung dieses Problems werden in der vorliegenden Arbeit Bild-basierte 3D Rekonstruktionstechniken vorgestellt, die mit dem Ziel entwickelt wurden, dem Nutzer eine stärkere Interaktion mit dem System zu ermöglichen. Für unterschiedliche Rekonstruktionsszenarien werden effektive, problemspezifische Benutzerschnittstellen vorgestellt und an diversen Beispielen demonstriert. Unterschiedliche 3D Rekonstruktionsszenarien stellen unterschiedliche Anforderungen an den Bildaufnahmeprozess, die Geometrierepräsentation und die verwendete Rekonstruktionstechnik. Um diesen Anforderungen gerecht zu werden, werden drei Szenarien nach der Größe der zu rekonstruierenden Szene unterschieden und passende Geometrierepräsentationen sowie Rekonstruktionsalgorithmen vorgestellt. Bei den Szenarien handelt es sich um die Rekonstruktion von individuellen Objekten, von Innenräumen und von ganzen Städten. Der erste Teil dieser Dissertation stellt zwei neue Techniken zur Rekonstruktion von Objekten vor. Die erste Technik basiert auf der Expansion bekannter Oberflächenteile in unbekannte Regionen und stellt vergleichsweise geringe Anforderungen an die Eingabedaten. Die zweite Technik erweitert diese Idee zu einem interaktiven System. Alleinstellungsmerkmal ist eine Benutzerschnittstelle mit einer kleinen Menge sehr einfacher 2D Zeichenoperationen zur Steuerung und Kontrolle des Rekonstruktionsprozesses. Das resultierende System reduziert nicht nur deutlich die Gesamtbearbeitungszeit, sondern erzeugt in vielen Fällen qualitativ hochwertigere Ausgabemodelle. Der zweite Teil betrachtet die Rekonstruktion von Innenräumen. Um mit komplexen Formen und oft vollständig texturlosen Oberflächen umgehen zu können, wird ein Laser-basiertes Verfahren zur Rekonstruktion von Tiefenbildern vorgestellt. Im Gegensatz zu bestehenden Ansätzen, die eine präzise Kalibrierung von Kamera und Laser erfordern, basiert dieser Ansatz auf einer freihändig geführten Anordnung mehrerer Laser. Die Berechnung der Pose der Laseranordnung für jedes Bild der Eingabesequenz ermöglicht einen sehr flexiblen Rekonstruktionsprozess. Abschließend wird im dritten Teil der Arbeit die Rekonstruktion von Städten auf Grundlage schräg aufgenommener Luftbilder behandelt. Dabei wird zunächst ein neuer Ansatz zur präzisen Registrierung dieser Bildart auf digitale Stadtpläne vorgestellt. Anschließend werden zwei interaktive Ansätze zur Stadtmodellierung vorgestellt, die den Fokus auf kompakte Geometrierepräsentationen und einfache, aber effektive Benutzerschnittstellen legen.

The image-based 3D reconstruction of real-world objects or scenes has attracted considerable attention in recent years, and several approaches capable of generating high quality results have been proposed. However, since most of these systems aim at being fully automatic without the ability to take user input into account, the key problem of existing image-based 3D reconstruction approaches is the insufficient handling of errors and failure cases. As a consequence, in practice even low error rates of an automatic reconstruction algorithm result in considerable and tedious manual post-processing efforts. To address this issue, in this thesis, we are developing image-based 3D reconstruction techniques with a focus on interactive systems. For different reconstruction scenarios, we present effective, problem-specific user-interfaces and demonstrate their practical applicability at various examples. Clearly, different 3D reconstruction scenarios have very different requirements with respect to the image capturing process, the representation of the model's geometry, and the actual reconstruction techniques. In order to meet these requirements, we distinguish three different scenarios by the actual size of the object or scene to be reconstructed, and present suitable geometry representations and reconstruction algorithms. Specifically, we discuss approaches for the reconstruction of individual objects, indoor environments, and complete cities, respectively. In the first part of the thesis, we present two novel techniques for the reconstruction of individual objects. The first is a surface growing approach that employs a greedy expansion of already recovered surface information into unknown regions, with particularly low requirements on the input data. The second then extends the idea of 3D reconstruction by surface expansion to an interactive system. Here, the main distinguishing feature is a user interface which is based on a small set of intuitive 2D painting metaphors to guide and control the reconstruction process. We demonstrate at various examples that the interactive approach not only considerably reduces the overall processing time, but is capable of strongly improving the quality of the resulting models. The second part of the thesis focuses on the reconstruction of indoor environments. To be able to cope with complex surface shapes and varying, often completely textureless surface materials, we propose a novel active laser-based depth map reconstruction approach. In contrast to standard laser-based reconstruction techniques that require the relation between camera and laser to be precisely calibrated, our system is based on a hand-held laser rig. By recovering the rig's pose for each frame of the input image sequence, we enable a flexible reconstruction approach. Finally, in the third part we consider the reconstruction of entire city regions based on oblique aerial images. Since standard extrinsic calibration approaches are not applicable to this image type, we first discuss an approach to precisely register a set of oblique aerial images with a cadastral map. Based on this input data, we then present two different interactive city modeling approaches with a major focus on compact geometry representations and simple, yet effective user interfaces.

Fulltext:
PDF