Shape representations for image based applications

Hornung, Alexander; Kobbelt, Leif

doi:1861-2660

Shape representations for image based applications = Formrepräsentationen für bildbasierte Anwendungen

Hornung, Alexander (Author)

2009

Verantwortlichkeitsangabevorgelegt von Alexander Hornung

ImpressumAachen : Shaker 2009

UmfangVII, 166 S. : Ill., graph. Darst.

ISBN978-3-8322-8166-3

ReiheSelected topics in computer graphics ; 5

Zugl.: Aachen, Techn. Hochsch., Diss., 2008

Zsfassung in engl. und dt. Sprache

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Kobbelt, Leif (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2008-12-23

Online
URN: urn:nbn:de:hbz:82-opus-27992
URL: https://publications.rwth-aachen.de/record/50157/files/Hornung_Alexander.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Maschinelles Sehen (Genormte SW) ; Dreidimensionale Computergraphik (Genormte SW) ; Informatik (frei) ; 3D Model Reconstruction (frei) ; Image-based Rendering (frei)

Thematische Einordnung (Klassifikation)
DDC: 004
ccs: I.2.10 * I.3.3 * I.4.8 * I.3.7 * I.3.5

Kurzfassung
Eine fundamentale Frage bei bildbasierten Anwendungen ist die mathematische Darstellung der Form und der Erscheinung von Objekten. Während Methoden zur 3D-Objektrekonstruktion eine möglichst hohe geometrische Genauigkeit der rekonstruierten Oberfläche verlangen, erfordern Echtzeitmethoden im Bereich des bildbasierten Rendering effiziente Algorithmen zur Berechnung plausibler, jedoch nicht notwendigerweise physikalisch korrekter Bilder. Aufgrund der unterschiedlichen Zielsetzungen ergeben sich ganz verschiedene Anforderungen an die jeweiligen Darstellungsmethoden. In dieser Dissertation werden drei grundlegende Probleme aus dem Bereich bildbasierter Anwendungen untersucht. Wir stellen dabei neue Darstellungsmethoden und Algorithmen vor, die sowohl bestehende Verfahren verbessern, als auch ganzheitliche Lösungen für Probleme darstellen, die bisher nur getrennt betrachtet wurden. Der erste Teil dieser Arbeit befasst sich mit der Erzeugung animierter Charaktermodelle aus Bildern oder Videomaterial. Es wird ein verformbares Template-Modell vorgeschlagen, mit dem wir neue Methoden zur Lösung von Problemen wie Kamerakalibrierung, Gestaltsdeformation und visueller Verfolgung, so wie auch zur Charakterrekonstruktion entwickelt haben. Mit unserer Methode können sowohl animierte Charaktere aus einzelnen Bildern, als auch vollständige Rekonstruktionen und Animationen aus Videomaterial erzeugt werden. Der zweite Teil dieser Arbeit beschäftigt sich mit der Berechnung neuer Perspektiven allgemeiner statischer Szenen. Die zentrale Komponente ist eine generische, partikelbasierte Geometrierepräsentation, die eine präzise Berücksichtigung der Objektsilhouetten und eine pixel-akkurate Darstellung beliebiger Szenen ermöglicht. Um eine uneingeschränkte Navigation durch eine photorealistische, virtuelle Reproduktion der originalen Szene in Echtzeit zu ermöglichen, werden alle Verarbeitungsschritte vollständig auf der GPU implementiert. Schließlich werden im dritten Teil präzise 3D-Rekonstruktionen von Oberflächen behandelt. Es wird ein neuer volumetrischer Ansatz zur Multi-View Stereo- und Punktwolkenrekonstruktion vorgestellt, mit dem sowohl 3D-Modelle mit hoher Genauigkeit als auch mit besonderer Robustheit gegenüber degenerierten Eingabedaten erzeugt werden können. Außerdem wird gezeigt, dass die Wahl der Eingabebilder ein wichtiger Faktor bei der Qualitäts- und Geschwindigkeitsoptimierung bildbasierter Rekonstruktionsmethoden ist.

The mathematical representation of shape and appearance is a key issue in image-based applications. While the primary aim of 3D reconstruction is to reconstruct a geometrically accurate surface, real-time view synthesis requires efficient algorithms for computing plausible but not necessarily physically accurate images. These different objectives impose specific requirements with respect to the underlying shape representations. In this thesis three central problems from the spectrum of image-based techniques are investigated. We developed novel methods of representations and algorithms which on the one hand lead to substantial improvements of existing approaches and on the other hand offer a unified solution to problems that have previously been considered separately. The first part of this thesis deals with creating animated character models from a set of input images. We propose a deformable, template-based shape representation which enables us to develop new solutions for problems such as camera estimation, shape deformation and tracking, and character reconstruction. We will present a variety of character animations created from single images to full body reconstructions and animations from video. The second part of this thesis focuses on the difficulty of rendering novel views of general, static scenes instead of dynamic characters. Here, the key component is a generic, particle-based geometry representation which supports an accurate handling of object silhouettes and pixel-accurate rendering of arbitrary scenes. Every step of the process is completely implemented on the GPU in order to allow real-time, unconstrained user navigation through a photorealistic virtual reproduction of the original scene. Finally, the third part concentrates on accurate 3D surface reconstruction. We will present a new volumetric solution to the problems of multi-view stereo and point cloud reconstruction which allows computing 3D models with a high accuracy as well as being robust to input degeneracies. Additionally, it is shown that the choice of input images is an important factor for optimizing the quality as well as the performance of image-based reconstruction techniques.

Fulltext:
PDF