Sensor Fusion for Precise Mapping of Transparent and Specular Reflective Objects

Sensorfusion zur präzisen Kartierung von transparenten und reflektierender Objekten

Please always quote using this URN: urn:nbn:de:bvb:20-opus-163462
  • Almost once a week broadcasts about earthquakes, hurricanes, tsunamis, or forest fires are filling the news. While oneself feels it is hard to watch such news, it is even harder for rescue troops to enter such areas. They need some skills to get a quick overview of the devastated area and find victims. Time is ticking, since the chance for survival shrinks the longer it takes till help is available. To coordinate the teams efficiently, all information needs to be collected at the command center. Therefore, teams investigate the destroyed housesAlmost once a week broadcasts about earthquakes, hurricanes, tsunamis, or forest fires are filling the news. While oneself feels it is hard to watch such news, it is even harder for rescue troops to enter such areas. They need some skills to get a quick overview of the devastated area and find victims. Time is ticking, since the chance for survival shrinks the longer it takes till help is available. To coordinate the teams efficiently, all information needs to be collected at the command center. Therefore, teams investigate the destroyed houses and hollow spaces for victims. Doing so, they never can be sure that the building will not fully collapse while they are inside. Here, rescue robots are welcome helpers, as they are replaceable and make work more secure. Unfortunately, rescue robots are not usable off-the-shelf, yet. There is no doubt, that such a robot has to fulfil essential requirements to successfully accomplish a rescue mission. Apart from the mechanical requirements it has to be able to build a 3D map of the environment. This is essential to navigate through rough terrain and fulfil manipulation tasks (e.g. open doors). To build a map and gather environmental information, robots are equipped with multiple sensors. Since laser scanners produce precise measurements and support a wide scanning range, they are common visual sensors utilized for mapping. Unfortunately, they produce erroneous measurements when scanning transparent (e.g. glass, transparent plastic) or specular reflective objects (e.g. mirror, shiny metal). It is understood that such objects can be everywhere and a pre-manipulation to prevent their influences is impossible. Using additional sensors also bear risks. The problem is that these objects are occasionally visible, based on the incident angle of the laser beam, the surface, and the type of object. Hence, for transparent objects, measurements might result from the object surface or objects behind it. For specular reflective objects, measurements might result from the object surface or a mirrored object. These mirrored objects are illustrated behind the surface which is wrong. To obtain a precise map, the surfaces need to be recognised and mapped reliably. Otherwise, the robot navigates into it and crashes. Further, points behind the surface should be identified and treated based on the object type. Points behind a transparent surface should remain as they represent real objects. In contrast, Points behind a specular reflective surface should be erased. To do so, the object type needs to be classified. Unfortunately, none of the current approaches is capable to fulfil these requirements. Therefore, the following thesis addresses this problem to detect transparent and specular reflective objects and to identify their influences. To give the reader a start up, the first chapters describe: the theoretical background concerning propagation of light; sensor systems applied for range measurements; mapping approaches used in this work; and the state-of-the-art concerning detection and identification of transparent and specular reflective objects. Afterwards, the Reflection-Identification-Approach, which is the core of subject thesis is presented. It describes 2D and a 3D implementation to detect and classify such objects. Both are available as ROS-nodes. In the next chapter, various experiments demonstrate the applicability and reliability of these nodes. It proves that transparent and specular reflective objects can be detected and classified. Therefore, a Pre- and Post-Filter module is required in 2D. In 3D, classification is possible solely with the Pre-Filter. This is due to the higher amount of measurements. An example shows that an updatable mapping module allows the robot navigation to rely on refined maps. Otherwise, two individual maps are build which require a fusion afterwards. Finally, the last chapter summarizes the results and proposes suggestions for future work.show moreshow less
  • Fast schon wöchentlich füllen Meldungen über Erdbeben, Wirbelstürme, Tsunamis oder Wald-brände die Nachrichten. Es ist hart anzusehen, aber noch viel härter trifft es die Rettungskräfte, welche dort zum Einsatz gerufen werden. Diese müssen gut trainiert sein, um sich schnell einen Überblick verschaffen zu können und um den zerstörten Bereich nach Opfern zu durchsuchen. Zeit ist hier ein seltenes Gut, denn die Überlebenschancen sinken, je länger es dauert bis Hilfe eintrifft. Für eine effektive Teamkoordination werden alle Informationen in derFast schon wöchentlich füllen Meldungen über Erdbeben, Wirbelstürme, Tsunamis oder Wald-brände die Nachrichten. Es ist hart anzusehen, aber noch viel härter trifft es die Rettungskräfte, welche dort zum Einsatz gerufen werden. Diese müssen gut trainiert sein, um sich schnell einen Überblick verschaffen zu können und um den zerstörten Bereich nach Opfern zu durchsuchen. Zeit ist hier ein seltenes Gut, denn die Überlebenschancen sinken, je länger es dauert bis Hilfe eintrifft. Für eine effektive Teamkoordination werden alle Informationen in der Einsatzzentrale gesammelt. In Trupps wird nach Opfern gesucht. Hierfür werden die zerstörten Gebäude durchsucht und alle Hohlräume inspiziert. Dabei können die Helfer oft nicht darauf vertrauen, dass die Gebäude stabil sind und nicht noch vollständig kollabieren. Hier sind Rettungsroboter eine willkommene Hilfe. Sie sind ersetzbar und können für gefährliche Aufgaben verwendet werden. Dies macht die Arbeit der Rettungstrupps sicherer. Allerdings gibt es solche Roboter noch nicht von der Stange. Sie müssten gewisse Anforderungen erfüllen, dass sie in einem solchen Szenarien einsetztbar sind. Neben Ansprüchen an die Mechanik, müsste eine 3D-Karte des Einsatzgebietes erstellen werden. Diese ist Grundlage für eine erfolgreiche Navigation (durch unebenes Terrain), sowie zur Beeinflussung der Umgebung (z.B. Tür öffnen). Die Umgebungserfassung wird über Sen-soren am Roboter durchgeführt. Heutzutage werden bevorzugt Laserscanner dafür verwendet, da sie präzise Messdaten liefern und über einen großen Messbereich verfügen. Unglücklicherweise werden Messdaten durch transparente (z.B. Glas, transparenter Kunststoff) und reflektierende Objekte (z.B. Spiegel, glänzendes Metall) verfälscht. Eine Vorbehandlung der Umgebung (z.B. abdecken der Flächen), um diese Einflüsse zu verhindern, ist verständlicherweise nicht möglich. Zusätzliche Sensoren zu verwenden birgt ebenfalls Nachteile. Das Problem dieser Objekte liegt darin, dass sie nur teilweise sichtbar sind. Dies ist abhängig vom Einfallwinkel des Laserstrahls auf die Oberfläche und vom Typ des Objektes. Dementsprechend könnnen die Messwerte bei transparenten Flächen von der Oberfläche oder vom Objekten dahinter resultieren. Im Gegensatz dazu können die Messwerte bei reflektierenden Oberflächen von der Oberfläche selbst oder von einem gespiegelten Objekt resultieren. Gespiegelte Objekte werden dabei hinter der reflektierenden Objerfläche dargestellt, was falsch ist. Um eine präzise Kartierung zu erlangen, müssen die Oberflächen zuverlässig eingetragen werden. Andernfalls würde der Roboter in diese navigieren und kollidieren. Weiterhin sollten Punkte hinter der Oberfläche abhängig von der Oberfläche behandelt werden. Bei einer trans- parenten Oberfläche müssen die Punkte in die Karte eingetragen werden, weil sie ein reelles Objekt darstellen. Im Gegensatz dazu, müssen bei einer reflektierenden Oberfläche die Messdaten dahinter gelöscht werden. Dafür ist eine Unterscheidung der Objekte zwingend. Diese Anforderungen erfüllen die momentan verfügbaren Algorithmen jedoch nicht. Aus diesem Grund befasst sich folgende Doktorarbeit mit der Problematik der Erkennung und Identifizierung transparenter und spiegelnder Objekte, sowie deren Einflüsse. Um dem Leser einen Einstieg zu geben, beschreiben die ersten Kapitel: den theoretischen Hindergrund bezüglich des Verhaltens von Licht; Sensorsysteme für die Distanzmessung; Kartierungsalgorithmen, welche in dieser Arbeit verwendet wurden; und den Stand der Technik bezüglich der Erkennung von transparenten und spiegelndend Objekten. Danach wird der Reflection-Identification-Algorithmus, welcher Basis dieser Arbeit ist, präsentiert. Hier wird eine 2D und eine 3D Implementierung beschrieben. Beide sind als ROS-Knoten verfügbar. Das anschließende Kapitel diskutiert Experimente, welche die Anwendbarkeit und Zuverlässigkeit des Algorithmus verifizieren. Für den 2D-Fall ist ein Vor- und ein Nachfilter-Modul notwendig. Nur mittels der Nachfilterung ist eine Klassifizierung der Objekte möglich. Im Gegensatz kann im 3D-Fall die Klassifizierung bereits mit der Vorfilterung erlangt werden. Dies beruht auf der höheren Anzahl an Messdaten. Weiterhin zeigt dieses Kapitel beispielhaft eine Adaptierung des TSD-SLAM Algorithmus, so dass der Roboter auf einer aktualisierten Karte navigieren kann. Dies erspart die Erstellung von zwei unabhängigen Karten und eine anschließende Fusionierung. Im letzten Kapitel werden die Ergebnisse der Arbeit zusammengefasst und ein Ausblick mit Anregungen zur Weiterarbeit gegeben.show moreshow less

Download full text files

Export metadata

Metadaten
Author: Rainer KochORCiD
URN:urn:nbn:de:bvb:20-opus-163462
Document Type:Doctoral Thesis
Granting Institution:Universität Würzburg, Graduate Schools
Faculties:Fakultät für Mathematik und Informatik / Institut für Informatik
Graduate Schools / Graduate School of Science and Technology
Referee:Prof. Dr. Andreas NüchterORCiD, Prof. Dr. Stefan May, Prof. Dr. Sergio Montenegro
Date of final exam:2018/05/16
Language:English
Year of Completion:2018
Series (Serial Number):Forschungsberichte in der Robotik = Research Notes in Robotics (16)
ISBN:978-3-945459-25-6
DOI:https://doi.org/10.25972/OPUS-16346
Sonstige beteiligte Institutionen:Technische Hochschule Nürnberg Georg Simon Ohm
Dewey Decimal Classification:0 Informatik, Informationswissenschaft, allgemeine Werke / 00 Informatik, Wissen, Systeme / 000 Informatik, Informationswissenschaft, allgemeine Werke
GND Keyword:laserscanner; mapping
Tag:laser scanner; robotic; sensor fusion; specular reflective; transparent
CCS-Classification:D. Software
MSC-Classification:68-XX COMPUTER SCIENCE (For papers involving machine computations and programs in a specific mathematical area, see Section {04 in that areag 68-00 General reference works (handbooks, dictionaries, bibliographies, etc.)
Release Date:2018/07/16
Licence (German):License LogoCC BY-SA: Creative-Commons-Lizenz: Namensnennung, Weitergabe unter gleichen Bedingungen 4.0 International