Immersive Telepresence Systems and Technologies

  • Modern immersive telepresence systems enable people at different locations to meet in virtual environments using realistic three-dimensional representations of their bodies. For the realization of such a three-dimensional version of a video conferencing system, each user is continuously recorded in 3D. These 3D recordings are exchanged over the network between remote sites. At each site, theModern immersive telepresence systems enable people at different locations to meet in virtual environments using realistic three-dimensional representations of their bodies. For the realization of such a three-dimensional version of a video conferencing system, each user is continuously recorded in 3D. These 3D recordings are exchanged over the network between remote sites. At each site, the remote recordings of the users, referred to as 3D video avatars, are seamlessly integrated into a shared virtual scenery and displayed in stereoscopic 3D for each user from his or her perspective. This thesis reports on algorithmic and technical contributions to modern immersive telepresence systems and presents the design, implementation and evaluation of the first immersive group-to-group telepresence system in which each user is represented as realistic life-size 3D video avatar. The system enabled two remote user groups to meet and collaborate in a consistent shared virtual environment. The system relied on novel methods for the precise calibration and registration of color- and depth- sensors (RGBD) into the coordinate system of the application as well as an advanced distributed processing pipeline that reconstructs realistic 3D video avatars in real-time. During the course of this thesis, the calibration of 3D capturing systems was greatly improved. While the first development focused on precisely calibrating individual RGBD-sensors, the second stage presents a new method for calibrating and registering multiple color and depth sensors at a very high precision throughout a large 3D capturing volume. This method was further refined by a novel automatic optimization process that significantly speeds up the manual operation and yields similarly high accuracy. A core benefit of the new calibration method is its high runtime efficiency by directly mapping from raw depth sensor measurements into an application coordinate system and to the coordinates of its associated color sensor. As a result, the calibration method is an efficient solution in terms of precision and applicability in virtual reality and immersive telepresence applications. In addition to the core contributions, the results of two case studies which address 3D reconstruction and data streaming lead to the final conclusion of this thesis and to directions of future work in the rapidly advancing field of immersive telepresence research.show moreshow less
  • In modernen 3D-Telepresence-Systemen werden die Nutzer realistisch dreidimensional repräsentiert und können sich in einer gemeinsamen virtuellen Umgebung treffen. Da sich die Nutzer gegenseitig realistisch sehen können, werden Limitierungen von herkömmlichen zweidimensionalen Videokonferenzsystemen überwunden und neue Möglichkeiten für die Kollaboration geschaffen. Für die Realisierung einesIn modernen 3D-Telepresence-Systemen werden die Nutzer realistisch dreidimensional repräsentiert und können sich in einer gemeinsamen virtuellen Umgebung treffen. Da sich die Nutzer gegenseitig realistisch sehen können, werden Limitierungen von herkömmlichen zweidimensionalen Videokonferenzsystemen überwunden und neue Möglichkeiten für die Kollaboration geschaffen. Für die Realisierung eines immersiven Telepresence-Systems wird jeder Nutzer kontinuierlich in 3D aufgenommen und als sogenannter 3D-Video-Avatar rekonstruiert. Die 3D-Video-Avatare werden über eine Netzwerkverbindung zwischen den entfernten Orten ausgetauscht, auf jeder Seite in eine gemeinsame virtuelle Szene integriert und für jeden Nutzer perspektivisch korrekt dreidimensional angezeigt. Diese Arbeit trägt algorithmisch und technisch zur aktuellen Forschung im Bereich 3D-Telepresence bei und präsentiert das Design, die Implementierung und die Evaluation eines neuen immersiven Telepresence-Systems. Benutzergruppen können sich dadurch zum ersten Mal von unterschiedlichen Orten in einer konsistenten gemeinsamen virtuellen Umgebung treffen und als realistische lebensgroße 3D-Video-Avatare sehen. Das System basiert auf neu entwickelten Methoden, welche die präzise Kalibrierung und Registrierung von mehreren Farb- und Tiefenkameras in ein gemeinsames Koordinatensystem ermöglichen, sowie auf einer neu entwickelten verteilten Prozesskette, welche die realistische Rekonstruktion von 3D-Video-Avataren in Echtzeit ermöglicht. Im Rahmen dieser Arbeit wurde die Kalibrierung von 3D-Aufnahmesystemen, die auf mehreren Farb- und Tiefenkameras basieren, deutlich verbessert. Eine erste Entwicklung konzentrierte sich auf die präzise Kalibrierung und Registrierung ein- zelner Tiefenkameras. Eine wesentliche Neuentwicklung ermöglicht es, mehrere Farb- und Tiefenkameras mit sehr hoher Genauigkeit innerhalb eines großen 3D-Aufnahmebereichs volumetrisch zu kalibrieren und in ein übergeordnetes Koordinatensystem zu registrieren. Im Laufe der Arbeit wurde die notwendige Nutzerinteraktion durch ein automatisches Optimierungsverfahren deutlich verringert, was die Kalibrierung von 3D-Aufnahmesystemen innerhalb weniger Minuten mit hoher Genauigkeit ermöglicht. Ein wesentlicher Vorteil dieser neuen volumetrischen Kalibrierungsmethode besteht darin, dass gemessene Tiefenwerte direkt in das Koordinatensystem der Anwendung und in das Koordinatensystem der korrespondierenden Farbkamera abgebildet werden. Insbesondere sind während der Anwendungslaufzeit keine Berechnungen zur Linsenentzerrung nötig, da diese bereits implizit durch die volumetrische Kalibrierung ausgeglichen sind. Das in dieser Arbeit entwickelte immersive Telepresence-System hebt sich von verwandten Arbeiten ab. Der durch das System geschaffene virtuelle Begegnungsraum ermöglicht natürliche Interaktionsformen, wie zum Beispiel Gestik oder Mimik, und bietet gleichzeitig etablierte Interaktionstechniken der Virtuellen Realität, welche die gemeinsame Exploration und Analyse von 3D-Inhalten unterstützen. Die in dieser Arbeit neu entwickelte Kalibrierungsmethode stellt eine effiziente Lösung hinsichtlich Genauigkeit und Flexibilität für Virtual-Reality- und moderne 3D-Telepresence-Anwendungen dar. Zusätzlich zu den vorgestellten Entwicklungen tragen die Ergebnisse zweier Fallstudien im Bereich 3D-Rekonstruktion und Netzwerkübertragungzu dieser Arbeit bei und unterstützen Vorschläge und Ausblicke für zukünftige Entwicklungen im fortschreitenden Gebiet der 3D-Telepresence-Forschung.show moreshow less

Download full text files

Export metadata

Metadaten
Document Type:Doctoral Thesis
Author:Dipl.-Med.sys.wiss. Stephan Beck
DOI (Cite-Link):https://doi.org/10.25643/bauhaus-universitaet.3856Cite-Link
URN (Cite-Link):https://nbn-resolving.org/urn:nbn:de:gbv:wim2-20190218-38569Cite-Link
Referee:Prof. Dr. rer. nat. Bernd FröhlichORCiDGND, Prof. Dr. Oliver StaadtORCiDGND
Advisor:Prof. Dr. rer. nat. Bernd FröhlichORCiDGND
Language:English
Date of Publication (online):2019/02/13
Date of first Publication:2019/02/13
Date of final exam:2018/12/07
Release Date:2019/02/18
Publishing Institution:Bauhaus-Universität Weimar
Granting Institution:Bauhaus-Universität Weimar, Fakultät Medien
Institutes and partner institutions:Fakultät Medien / Professur Systeme der Virtuellen Realität
Pagenumber:149
Tag:Tiefensensor
3D Telepresence; Camera Calibration; Depth Camera; Virtual Reality
GND Keyword:Virtuelle Realität; Telepräsenz; Mensch-Maschine-Kommunikation
Dewey Decimal Classification:000 Informatik, Informationswissenschaft, allgemeine Werke
BKL-Classification:54 Informatik
Licence (German):License Logo Creative Commons 4.0 - Namensnennung-Keine kommerzielle Nutzung-Weitergabe unter gleichen Bedingungen (CC BY-NC-SA 4.0)