Perception and observation with networked multi-agent systems for automated shipping and harbor applications

Lin, Jiaying; Abel, Dirk; Schön, Steffen

doi:HT021583164

Perception and observation with networked multi-agent systems for automated shipping and harbor applications = Umgebungswahrnehmung und -beobachtung mittels vernetzter Multi-Agent-Systeme für automatisierte Schifffahrts- und Hafenanwendungen

Lin, Jiaying^RWTH*

2022

Verantwortlichkeitsangabevorgelegt von Jiaying Lin

ImpressumAachen : RWTH Aachen University 2022

Umfang1 Online-Ressource : Illustrationen, Diagramme

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2022

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak04

Hauptberichter/Gutachter
Abel, Dirk (Thesis advisor)^RWTH* ; Schön, Steffen (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2022-08-30

Online
DOI: 10.18154/RWTH-2022-09930
URL: https://publications.rwth-aachen.de/record/855014/files/855014.pdf

Einrichtungen

Lehrstuhl und Institut für Regelungstechnik (416610)

Inhaltliche Beschreibung (Schlagwörter)
Automatic Identification Systems (AIS) (frei) ; Convolutional Neural Network (CNN) (frei) ; Kalman Filterbank (frei) ; LiDAR (frei) ; Light Detection and Ranging (LiDAR) (frei) ; Multi-Object Tracking (MOT) (frei)

Thematische Einordnung (Klassifikation)
DDC: 670

Kurzfassung
Die Umgebungswahrnehmung ist ein grundlegendes Element automatisierter Schiffe, vor allem in oft überfüllten Bereichen wie Häfen. Die intelligenten Schiffe sollten die aktuelle Situation erkennen, das heißt, die Objekte in der Umgebung wahrnehmen und beobachten, um bei den hochautomatisierten Aufgaben wie autonomes Anlegen und kooperatives Manövrieren, mögliche Kollisionen zu vermeiden. In einem intelligenten Hafen für die zukünftige automatisierte Schifffahrt müssen die Schiffe echtzeitfähig miteinander kommunizieren um dadurch eine robuste Lokalisierung und Wahrnehmung zu erreichen. Mittlerweile haben Sensorfusion-basierte Umgebungswahrnehmung und -beobachtung viel Aufmerksamkeit für die maritime Anwendungen auf sich gezogen. Dennoch gibt es nur begrenzte Forschungen, die die Wahrnehmungssensoren intelligent integrieren. Für die Wahrnehmung und Lokalisierung vernetzter Systeme gibt es nur wenige Ansätze, die maritime Szenarien in der realen Welt betrachtet haben. In dieser Arbeit wird ein neuartiges Konzept der Umgebungswahrnehmung von Multi- Agenten-Systemen für die automatisierte maritime Anwendungen untersucht. Dieser Ansatz verwendet LiDAR als primären Sensor und AIS und Radar als unterstützende Informationsquellen und besteht aus vier Funktionsmodulen: Objekterkennung, Objektverfolgung, Kartierung der statischen Umgebung und vernetzte Lokalisierung. Zur Objekterkennung in der Umgebung sollen die LiDAR-Punktwolken so verarbeitet werden, dass die Punkte, die ein Objekt darstellen, extrahiert werden. In dieser Arbeit wird ein Convolutional Neural Network (CNN) eingesetzt, um verschiedene Punktwolkenmuster zu erkennen, Objekte aus diesen zu extrahieren und Bounding Boxes für die erkannten Objekte zu erzeugen. Anschließend werden die Objekte mit Hilfe einer Reihe von Kalman Filterbänken verfolgt, um dabei mögliche fehlerhafte Messungen und unterschiedliche Abtastraten zu kompensieren. Beim Kartieren der statischen Umgebung werden mehrere Polygone zur Darstellung der Objekte verwendet. Bei der vernetzten Lokalisierung werden die Beobachtungen mehrerer Schiffe in einen zentralen Server integriert, sodass die vernetzten Schiffe ihre Beobachtungen teilen und kooperativ optimieren können. Die Algorithmen wurden mit Testfahrten im Rostocker Hafen evaluiert, wobei die mit Navigations- und Wahrnehmungssensoren ausgestatteten Forschungsschiffe unterschiedliche Fahrszenarien, wie Anlegen und Manövrieren durchführten, und die vielversprechende Leistung der Algorithmen nachgewiesen wurde. Die in dieser Arbeit erläuterten Systeme und Verfahren ermöglichen eine robuste und präzise Lokalisierung von Schiffen und Hindernissen in maritimen Umgebungen, selbst bei hoher Verkehrsdichte.

Environment perception is a fundamental element of automated vessels, especially in hightraffic areas such as harbors. The intelligent vessels should be aware of the situation, i.e., perceive and observe the objects in the environment, to avoid collisions while conducting highly automated tasks, such as autonomous docking and cooperative maneuvering. In the context of an intelligent harbor for future automated shipping, the vessels must be wirelessly connected for real-time information exchange and thus a robust cooperative localization and perception. Meanwhile, environment perception and observation based on sensor fusion have drawn much attention for maritime applications. However, few studies intelligently integrate various perception sensors, considering their characteristics. As for the perception and localization of networked multi-agent systems, few approaches exist to tackle the real world’s maritime scenarios. This thesis proposes a novel concept of environment perception and observation of multiagent systems for automated maritime applications. This approach uses Light Detection and Ranging (LiDAR) as a primary sensor, Automatic Identification Systems (AIS), and Radio Detection and Ranging System (radar) as assisting information sources. It consists of four functional modules: object detection, Multi-Object Tracking (MOT), static environment mapping, and networked localization. For detecting objects in the surroundings, a Convolutional Neural Network (CNN) is applied to recognize different patterns in LiDAR point clouds, extract objects from them, and generate bounding boxes for the detected objects. The detected objects are tracked by estimating their motion profile for possible collision avoidance in the MOT module, which integrates the detections from different perception sensor measurements. As for static mapping, several polygons are used to represent the static environment. In networked localization, the perception from a single vessel is integrated into a central server, such that more networked vessels can share and optimize their perception estimation. The proposed algorithms were evaluated with test drives conducted in Rostock harbor, Germany. The research vessels equipped with navigation and perception sensors carried out different driving scenarios, such as docking and maneuvering, in which promising performance of the algorithms was demonstrated. The proposed perception and observation of networked multi-agent systems present a possibility of highly accurate and robust surveillance in a connected, intelligent harbor.

OpenAccess:
PDF
(additional files)