PMD-Kameras ermöglichen die 3D-Bilderfassung in Echtzeit und liefern robuste Aufnahmen auch bei schwierigen Lichtverhältnissen. Allerdings limitiert deren geringe Bildauflösung die Detektion kleiner Objekte erheblich. Unter dem Einsatz rechnergestützter Bildverarbeitung verschieben Super-Resolution-Techniken (SR) diese Grenze hin zu einem höheren lateralen Auflösungsvermögen, ohne dabei die spezifischen Eigenschaften des Sensors zu verändern. In der Literatur wird die Leistungsfähigkeit von SR-Methoden mit Rauschanalysen bewertet, indem die SR-Ergebnisse mit ihrem fehlerfreien Ground-Truth-Referenzbild (GT) verglichen werden. Dabei beschränken sich die SR-Methoden zumeist auf definierte Anwendungsfälle und deren Auswertungen auf synthetisch erzeugte Datensätze, ohne die Auflösungssteigerung am realen Aufbau zu verifizieren. Mit dieser Arbeit wird eine generische SR-Methode auf eine echte, niedrig auflösende PMD-Kamera appliziert, die für den Einsatz im Außenbereich konzipiert ist und eine Bildauflösung von lediglich 64 x 16 Bildpunkten aufweist. Zunächst erfolgen simulative Untersuchungen von drei aktuellen SR-Techniken hinsichtlich deren Eignung zur generischen Steigerung der lateralen Ortsauflösung einer PMD-Kamera: 1) KI-lernbasierte Single Image SR (SISR) 2) Inkohärente Fourier Ptychographie (FP) 3) Subpixel-Shift SR (SpS-SR) Ein Vergleich der Simulationsergebnisse zeigt Vorteile für die SpS-SR, sodass diese mit einem neuartigen Lens-Shift-Aufbau in die praktische Anwendung überführt wird. Die geringe Bildauflösung der eingesetzten PMD-Kamera schließt die Bewertung der SR-Ergebnisse nach einer klassischen Rauschanalyse aus. Stattdessen wird die erreichte Bildqualität im SR-Amplitudenbild nach dem optischen Auflösungsvermögen in Linienpaaren pro Pixel [LP/mm] bewertet. Dieses Absolutmaß gewährleistet eine Vergleichbarkeit der SR-Ergebnisse aus Simulation und Messung auch für Kameras, von denen keine hochauflösenden GT-Bilder existieren. Letztlich zeigt diese Arbeit die Möglichkeiten und Grenzen der Auflösungssteigerung mit SR-Methoden in der praktischen Anwendung für den spezifischen Anwendungsfall bei PMD-Kameras auf. Darüber hinaus bildet der hier vorgestellte Lens-Shift-Aufbau die Basis zur flexiblen und kostengünstigen Auflösungssteigerung digitaler Kameras im Allgemeinen, wie sie die bildverarbeitende Optik-Industrie immer häufiger fordert.
PMD cameras enable real-time 3D image acquisition and deliver robust images even under poor lighting conditions. However, their low spatial resolution significantly limits the detection of small objects. Super resolution (SR) techniques shift this limit towards a higher image resolution without changing the sensor's specific characteristics by using computational image processing. In the literature, noise analyses evaluate the performance in increasing image resolution by comparing the SR result with its underlying ideal ground-truth image (GT). SR methods are mostly limited to defined applications while their evaluation is limited to synthetically generated data sets without verifying resolution enhancement on a real setup. In this work, a generic SR method is applied to a real low-resolution PMD camera, which is designed for outdoor applications and has a spatial resolution of only 64 x 16 pixels. First, simulative investigations of three state-of-the-art SR techniques for the generic increase of a PMD sensor's lateral resolution are performed: 1) AI-based single image SR (SISR) 2) Incoherent Fourier Ptychography (FP) 3) Subpixel shift SR (SpS-SR) A comparison of the simulation results shows advantages for the SpS method, so that it is transferred to practical application with a novel lens-shift setup. The low spatial resolution of the PMD camera used excludes the evaluation of the SR results according to a classical noise analysis. Instead, the evaluation of the super resolved amplitude image achieved is performed according to the optical resolving power in line pairs per pixel [LP/mm]. This absolute measure ensures comparability of SR results from simulation and measurement data even for cameras from which high-resolution GT images does not exist. In the end, this work demonstrates the possibilities and limitations of resolution enhancement with SR methods in practical applications for the specific use case with PMD cameras. In addition, the lens-shift setup presented here provides the basis for flexible and cost-effective resolution enhancement of digital cameras in general, as increasingly demanded by the image-processing optics industry.
Nutzung und Vervielfältigung:
Alle Rechte vorbehalten