The lgf3 (lumigraph framework version 3) Project: A Versatile Implementation Framework for Image-Based Modeling and Rendering
Language
Document Type
Issue Date
Issue Year
Authors
Editor
Abstract
A short time ago, image-based techniques were introduced in computer graphics. In contrast to the well-known geometric approaches, they can extract photo-realistic and three-dimensional models directly from a set of recorded images of a real scene and then efficiently reconstruct novel and freely chosen views. For view reconstruction, the image or movie recordings are embedded in a model that needs to be placed into a geometric context. The required camera calibration techniques are a central topic of research in computer vision and therefore, an interesting symbiosis results with computer graphics in the common research on image-based modeling. For both parties, research and development in this area was driven by the development of prototypic systems that were mostly based on proprietary, task-specific libraries. This led to high implementation costs on both sides and limited the efficient progress in a project. In this work, a new implementation framework will be presented that for the first time allows to combine the requirements of image-based reasearch and development in both fields, computer vision and computer graphics, in a single system. First fundamental techniques for image-based modeling are described and supplemented by an introduction to image-based rendering techniques. The requirements for computer graphics and computer vision are presented. These differences lead to difficulties when code of both parties is combined in a single system. That is the reason why a model conversion stage was introduced and became an essential tie between the camera calibration and the rendering techniques. Here, working solutions for the creation of complex image-based structures, like light fields, are presented. For rendering light fields, new approaches are introduced that in contrast to known techniques are better suited to process the input data available in our system. Besides the novel free-form parameterization model, also new techniques for point- or texture-based rendering were developed. Additionally various existing methods were extended to work in a more generic environment. This includes the two-plane light field, the surface light field and the unstructured lumigraph. In the design of the framework, new common components and data structures were derived through abstraction from both, the existing and newly developed, techniques. A main feature of the lgf3 project is its ability to manage very different approaches of image-based modeling and rendering in a single system. A new structure, the scene database, is described that combines all essential components of an image-based model and provides them for experiments. The lgf3 project focuses especially on solution of problems occurring with the implementation of modeling and rendering approaches: because image-based techniques have to work with a lot of images simultaneously, a resource efficient handling strategy is indispensable. Here new approaches are introduced that remove the management burden from the user. Additionally a development environment is created and provides a rich set of basic components that facilitates implementation and can be reused in many applications. Despite the complexity of the system, the clear structure of the framework and its modules allows concise and purposive development. From the core modules the structure of the calibration part is summarized and the rendering module is described in-depth. Here a novel concept of abstraction for rendering techniques is presented and its usability is shown with the implementation of all presented rendering techniques. The performance and ability of the lgf3 framework is shown with the help of application examples. The sub-projects C2 and B6 of the SFB 603 are presented. There the development of the lgf3 system is taking place. The research work in both, computer vision and computer graphics, was greatly enhanced with the availability of this common software environment and for the first time, a tight cooperation on software level was established. The visualization of an archeological artefact shows how the system allows to use state-of-the-art research results directly for application support in other fields of science. Therefore, the lgf3 project presents and offers the potential of image-based modeling and rendering methods a wide range of users and helps to establish these techniques as a powerful tool in many disciplines.
Abstract
Bildbasierte Techniken haben erst seit kurzerer Zeit Einzug in der Computergraphik gehalten und zeichnen sich im Gegensatz zu den herkommlichen, rein geometrischen Ansatzen dadurch aus, dass sie photorealistische, dreidimensionale Modelle direkt aus Bildaufnahmen einer realen Szene gewinnnen konnen, um daraus neue, frei gewahlte Ansichten effizient zu rekonstruieren. Die zur Modellbildung notigen Bild- oder Filmaufnahmen mussen zur Ansichtenrekonstruktion in einen geometrischen Kontext gestellt werden. Die dazu notige Kamerakalibrierung ist ein Kernthema der Mustererkennung und daher ergibt sich eine enge Symbiose mit der Computergraphik bei der gemeinsamen Forschung an der bildbasierten Modellierung. Die bisherige Forschung und Entwicklung auf diesem Gebiet wurde von beiden Seiten mit eigenen prototypischen System vorangetrieben, die sich aber nur auf jeweils themenspezifische Grundbibliotheken stutzen. Das fuhrt zu hohem Implementierungsaufwand auf beiden Seiten und hemmt das effiziente Vorankommen. In dieser Arbeit wird eine Implementierungsmethodik vorgestellt, die es erstmals erlaubt, die Anforderungen zur bildbasierten Entwicklung sowohl aus der Computergraphik als auch aus der Mustererkennung in einem Gesamtsystem zu vereinigen. Zunachst werden die grundlegenden Techniken der bildbasierten Modellierung beschrieben und erganzt durch die Einfuhrung in bekannte Bildsyntheseansatze. Die Anforderungen der Computergraphik und Mustererkennung werden dabei herausgearbeitet. Dies fuhrt zu neuen Problemstellungen, die erst in der gemeinsamen Verarbeitungskette zu Tage treten. So wird in dieser Arbeit die Modellbildung als Bindeglied zwischen der Kamerakalibrierung und der Bildsynthese erkannt und praktikable Losungen speziell zur Erzeugung komplexer bildbasierter Strukturen, den Lichtfeldern, vorgestellt. Zur Darstellung der Lichtfelder wurden neue Ansatze entwickelt, die neben den bekannten Verfahren besser auf die, in diesem System vorhandenen Eingangsdaten abgestimmt sind. Neben dem neuen Modell des Frei-Form-Lichtfeldes sind auch Techniken zur punkt- oder texturbasierten Bildynthese entwickelt worden. Weiterhin wurden zahlreiche bekannte Verfahren erweitert, um in dieser generellen Systemumgebung zu arbeiten. Dazu zahlen das Zwei-Ebenen-Lichtfeld, das Oberflachenlichtfeld oder der unstrukturierte Lumigraph. Aus den vorhandenen und entwickelten Techniken wurde durch Abstraktion gemeinsamer Komponenten und Datenstrukturen ein Entwurf der Implementierungsmethodik erstellt. Das lgf3-Projekt zeichnet sich dadurch aus, dass es sehr unterschiedliche Techniken der bildbasierten Modellierung und Bildsynthese in einem Gesamtsystem verwalten kann. Es wird eine neuartige Szenendatenbank beschrieben, die alle wesentlichen Komponenten des bildbasierten Modells aufnimmt und fur Experimente zur Verfugung stellt. Das lgf3-Projekt fokusiert dabei auch speziell auf die gemeinsamen Probleme, die bei der Implementierung bekannter oder neuer Ansatze auftreten: Da bildbasierte Techniken mit sehr vielen Bildern gleichzeitig arbeiten, ist eine resourcen-effiziente Verwaltung unabdingbar. Hier werden neue Ansatze beschrieben, die diese Anforderung fur den Entwickler transparent erfullen. Weiterhin wird eine Entwicklungsumgebung konzipiert, die eine Vielzahl grundlegender Komponenten bereitstellt und in unterschiedlichsten Anwendungen wiederverwendet werden kann. Die klare Strukturierung des Systems in Module erlaubt trotz seiner Komplexitat eine ubersichtliche und zielgerichtete Entwicklung. Als Kernmodule wird das Modul zur Kamerakalibrierung kurz umrissen und das Model zur Bildsynthese intensiver beleuchtet. Hier wird ein neues Abstraktionskonzept zur generellen Beschreibung von bildbasierten Synthesetechniken prasentiert und die Anwendbarkeit an Hand der beschriebenen Verfahren aufgezeigt. Die Leistungsfahigkeit der Implementierungsmethodik lgf3 wird abschliesend mit Hilfe von praktischen Beispielen erlautert. Es werden die Teilprojekte C2 und B6 des SFB 603 vorgestellt, in dessen Rahmen dieses Projekt durchgefuhrt wird. Hier konnte bei der Forschung sowohl in der Kamerakalibrierung als auch der Bildsynthese durch Bereitstellen dieser grundlegenden Softwareumgebung deutlich effizienter und vor allem auch erstmals in enger Kooperation auf Software-Ebene gearbeitet werden. Ein Beispiel zur Visualisierung in der Archaologie zeigt auf, wie das System es auch erlaubt, aktuellste Forschungsergebnisse zur Anwendungsunterstutzung anderer Institute einzusetzen und damit die bildbasierte Modellierung generell einem sehr breitem Anwendungsfeld prasentiert und zur Verfugung gestellt.