Personen-Tracking in Umgebungen mit verdeckenden Objekten basierend auf 3D-Rekonstruktionsdaten

Titelangaben

Ober-Gecks, Antje:
Personen-Tracking in Umgebungen mit verdeckenden Objekten basierend auf 3D-Rekonstruktionsdaten.
Bayreuth , 2023 . - XIII, 292 S.
( Dissertation, 2022 , Universität Bayreuth, Fakultät für Mathematik, Physik und Informatik)

Volltext

	Format: PDF Name: Diss_Ober-Gecks_finalerDruck.pdf Version: Veröffentlichte Version Verfügbar mit der Lizenz Deutsches Urheberrechtsgesetz. Das Dokument darf zum eigenen Gebrauch kostenfrei genutzt werden. Darüber hinaus bedürfen die Vervielfältigung, Bearbeitung, Verbreitung und jede Art der Verwertung der schriftlichen Zustimmung des jeweiligen Rechteinhabers.
	Download (36MB)

Abstract

Das Verfolgen (Tracking) von Personen im Arbeitsraum von Robotern ermöglicht die Vorhersage menschlicher Bewegungen, die Abschätzung von Intentionen und kann die 3D-Lokalisierung der Personen und somit die Sicherheit der Mensch-Roboter-Kooperation verbessern. Deshalb ist das Tracking von großer Bedeutung für diesen Anwendungsbereich. Durch die Präsenz statischer Objekte im Arbeitsraum können Verdeckungsvolumina entstehen, die mit optischer Sensorik nicht einsehbar und zugleich leer sind. Begeben sich dynamische Objekte wie Personen in solche Volumina, so werden sie ganz oder teilweise verdeckt, was die Objektdetektion und -segmentierung in den Sensordaten einschränkt. Treten stärkere Verdeckungen über mehrere Frames auf, so führt dies häufig zu einem Tracking-Verlust der betroffenen Objekte. Diese Problematik ist Untersuchungsgegenstand der vorliegenden Dissertation, in welcher eine Möglichkeit aufgezeigt wird, erfolgreiches Tracking auch in solchen Situationen durchzuführen. Der gewählte Lösungsansatz besteht darin, zusätzliches Wissen zu den vorliegenden statischen Objekten und den durch sie erzeugten Verdeckungsvolumina in ein Verfahren des Personen-Trackings zu integrieren. Als Sensorik wird ein Multi-View-Kamerasystem verwendet, das Farbbilder des Arbeitsraums aus unterschiedlichen Perspektiven aufzeichnet. Basierend auf den Kamerabildern wird zur Objektdetektion ein Background Subtraction durchgeführt. Mit den daraus resultierenden Silhouettenbildern aller Kameras wird zu jedem betrachteten Zeitpunkt die Visuelle Hülle erkannter Personen rekonstruiert. Dabei wird Wissen zu den gegebenen statischen Objekten in den Rekonstruktionsprozess einbezogen, um Fehler, die durch Verdeckungen der Personen entstehen, zu vermeiden. Die Visuelle Hülle wird als Voxeldatenstruktur abgelegt und dient als Eingabe für ein Personen-Tracking mittels Partikelfilter im Zustandsraum. Als Objektmodell wurde ein Ellipsoid gewählt, was die Dimensionalität des Zustandsraums beschränkt und so vorteilhaft für die Anwendung des Partikelfilters ist. Jede Person wird mit einer eigenen Partikelfilterinstanz getrackt, wobei für den Umgang mit Datenassoziationsproblemen, die typischerweise beim Mehrpersonen-Tracking entstehen, eine Blocking-Methode eingesetzt wird. Der zentrale Beitrag dieser Dissertation ist der Entwurf einer Likelihood-Funktion für den Partikelfilter, in der verschiedene Voxelzustände berücksichtigt werden, welche Wissen zu den Belegungs- sowie Verdeckungsinformationen des Arbeitsraums kodieren. Die Voxelzustände werden innerhalb der Likelihood-Funktion des Partikelfilters unterschiedlich gewichtet, wobei verschiedene Varianten von Gewichtungsfunktionen anhand des resultierenden Filterverhaltens untersucht und gegenübergestellt werden. Es wird gezeigt, dass mit einer geeigneten Gewichtung der Voxelzustände das Tracking von Personen durch Verdeckungsvolumina ermöglicht wird, ohne eine Terminierung des Filters (Tracking-Abbruch) hervorzurufen. Dabei können partielle ebenso wie vollständige Verdeckungen der Personen vorliegen, deren Dauer prinzipiell uneingeschränkt sein darf. Zur Vermeidung unerwünschten Diffundierens der Filter durch statische Objekte hindurch wird ein spezieller Kollisionstest entworfen, der in verschiedenen Situationen einen Vorteil erbringen kann.

Abstract in weiterer Sprache

Person tracking in robot work spaces enables predicting humans’ movements, estimating or infering their intentions, and increases interaction safety through improved 3D person localization. This is of great importance for human-robot cooperation. However, the presence of static objects in the work space can lead to occluded volumes that are empty and not observable to optical sensor systems at all. Dynamic objects such as persons entering these volumes may become partially or completely occluded and thus, detection and segmention in the sensor data is affected. Stronger occlusions of the objects of interest that persist for several sensor frames usually result in tracking loss. This is the object of investigation in the presented dissertation, which proposes an approach to enable successful tracking in the described scenario. To achieve this, prior knowledge of the static objects and their occluded volumes is integrated into the tracking method. A multi-view camera system is used to capture color images from different perspectives. Based on these images a background subtraction is applied for object detection, which provides silhouette images for all cameras of the humans present. Those are then used to compute a visual hull at each time step. Knowledge of static objects is integrated in this process to avoid errors in the reconstruction results that arise due to occlusions of the persons. The visual hull is stored as voxel data and serves as input for person tracking, accomplished in state space via particle filters. An ellipsoid is used as the object model for tracking, limiting state space dimensionality, which is advantageous for the particle filter. Each person is tracked with a separate particle filter instance. Data association problems typically occuring in multiple-object tracking scenarios are solved with a blocking method. The main contribution of this dissertation is the design of a likelihood function for the particle filter that considers different voxel states encoding knowledge about occupation and occlusions of the working space. The voxel states are weighted differently in the likelihood function. Various weighting functions are investigated and compared by evaluating the resulting particle filter behaviors. It is shown that an appropriate weighting of the voxel states enables person tracking through occluded volumes without causing filter termination or tracking loss. Tracked persons may be partially or completely occluded, with occlusion duration being unlimited in principle. Furthermore, to avoid unwanted (physically impossible) particle filter diffusion through static objects, a special collision test is presented that may be helpful in specific situations.