Vision-based open set recognition for industrial inspection systems

Rippel, Oliver Christoph Johannes; Merhof, Dorit; Gries, Thomas

doi:HT021599658

Vision-based open set recognition for industrial inspection systems = Bildbasierte Open-Set-Recognition für industrielle Inspektionssysteme

Rippel, Oliver Christoph Johannes^RWTH*

2022

Verantwortlichkeitsangabevorgelegt von M.Sc.Oliver Christoph Johannes Rippel

ImpressumAachen : RWTH Aachen University 2022

Umfang1 Online-Ressource : Illustrationen, Diagramme

Dissertation, Rheinisch-Westfälische Technische Hochschule Aachen, 2022

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Merhof, Dorit (Thesis advisor) ; Gries, Thomas (Thesis advisor)^RWTH*

Tag der mündlichen Prüfung/Habilitation
2022-10-18

Online
DOI: 10.18154/RWTH-2022-10199
URL: https://publications.rwth-aachen.de/record/855399/files/855399.pdf

Einrichtungen

Lehrstuhl für Bildverarbeitung (611710)

Inhaltliche Beschreibung (Schlagwörter)
anomaly detection (frei) ; automated visual inspection (frei) ; machine learning (frei) ; open set recognition (frei) ; transfer learning (frei)

Thematische Einordnung (Klassifikation)
DDC: 621.3

Kurzfassung
Die Sichtprüfung (engl. „visual inspection“) von Waren ist notwendig, um ihren fehlerfreien Zustand zu gewährleisten, aber zugleich eine monotone und mühsame Aufgabe. Zwar existieren regelbasierte Methoden für die automated-visual-inspection (AVI), jedoch sind diese auf einfache Produkte limitiert. Deep-learning (DL) bietet nun die Möglichkeit, auch komplexe Produkte automatisiert zu prüfen, ist aber derzeit darin beschränkt, dass es (I) große, annotierte Datensätze benötigt, die fehlerhafte sowie fehlerfreie Bilder enthalten, und (II) unfähig ist Bilder, die nicht aus der Trainingsdatenverteilung stammen, auszumustern. Das Ziel dieser Arbeit ist die Ermöglichung der DL-basierten AVI durch die Beseitigung beider Einschränkungen. Zur Überwindung von (I) wird die AVI als ein Problem der teilüberwachten anomaly-detection (AD) aufgefasst, welche ausschließlich Normaldaten, d.h. fehlerfreie Bilder, zum Training verwendet. Es wird vermutet und gezeigt, dass das Erlernen von Unterscheidungsmerkmalen für die teilüberwachte AD inhärent schwierig ist. Dadurch werden hybride Ansätze motiviert, welche Merkmale von auf natürlichen Bildern vortrainierten DL-Modellen verwenden, statt sie domänenspezifisch zu erlernen. Ein entwickelter, hybrider, Gaußscher AD-Ansatz erreicht state-of-the-art AD-Ergebnisse auf MVTec-AD, einem öffentlichen AVI-Datensatz. Ferner werden weitere Studien durchgeführt, welche (I) das teilüberwachte Anpassen vortrainierter Merkmale, (II) den Einfluss von Hyperparametern, wie z.B. den des fürs Vortraining verwendeten Datensatzes, sowie (III) die Anwendbarkeit auf Bilddaten, die sich im Erscheinungsbild stark von natürlichen Bildern unterscheiden, untersuchen. Da nicht alle AVI-Systeme Bilder generieren, welche in das von den vortrainierten Modellen benötigte RGB-Format überführbar sind, werden weitere Methoden im Kontext der textilen Sichtprüfung entwickelt. Es werden sowohl Methoden zur Fehlersynthese als auch Methoden zur Schätzung der Wahrscheinlichkeitsdichtefunktion erfolgreich erprobt. Zuletzt untersucht eine großangelegte Studie die Übertragbarkeit von auf natürlichen Bildern gewonnenen Erkenntnissen zur Resistenz von DL-Modellen gegenüber Veränderungen der Eingangsdatenverteilung auf die AVI. Zur Überwindung von (II) werden Methoden der open-set-recognition (OSR) auf die industrielle Klassifikation im Kontext der Tierhaarfaseridentifikation angepasst. Hierfür wird ein neues Maß zur Beurteilung der OSR-Leistung entwickelt und validiert. Außerdem wird eine neuartige, merkmalsbasierte OSR-Methode entwickelt, welche state-of-the-art OSR-Leistung erreicht. Es wird ferner gezeigt, dass die Leistung von OSR-Algorithmen von der Zusammensetzung der in-distribution und der out-of-distribution abhängt. Zuletzt werden offene Forschungsfragen identifiziert. Zusammenfassend lässt sich sagen, dass diese Arbeit einen wichtigen Beitrag zur Freisetzung des wirtschaftlichen Potenzials von DL-basierter AVI leistet.

The visual inspection of manufactured goods is essential to guarantee their defect-free state, but is, simultaneously, a repetitive and strenuous task. As a consequence, rule-based methods have been developed for the automated visual inspection (AVI), which are, however, restricted to simple products. While deep learning (DL) offers the potential to inspect complex products, it is currently limited by (I) its need for large-scale, labeled datasets that contain both defect and defect-free images, and by (II) its inability to reject inputs that do not come from the distribution used in training. This thesis tackles these limitations, facilitating the DL-based AVI. To overcome the first limitation, the AVI is cast as a semi-supervised anomaly detection (AD) problem. In semi-supervised AD, only normal data, i.e. defect-free images, are available for model training. It is hypothesized, and empirically argued, that learning discriminative features from scratch is inherently difficult in semi-supervised AD. Thereby, hybrid AD approaches are motivated, which use features generated by pre-training on large-scale natural image datasets such as ImageNet, rather than learning them. A hybrid, Gaussian AD framework is constructed subsequently, which achieves state-of-the-art AD results on MVTec AD, a public AVI dataset. Motivated by its success, additional studies are performed, that investigate (I) semi-supervised model fine-tuning, (II) the influence of components such as pre-training dataset and model architecture on the achieved performance, and (III) the application to AVI setups which produce images differing in appearance from the natural image distribution. A review of the temporal progression on MVTec AD demonstrates the significance of this work, as all follow-up, state-of-the-art AD methods are also hybrid approaches. As not all AVI setups produce images which can be cast as natural, RGB images, additional methods need to be developed. To this end, the AVI of fabrics is chosen, and defect-synthesis schemes, as well as methods for estimating probability density functions, are pursued successfully. Last, a large-scale study investigates the transferability of insights gained on the resistance of DL models to distribution shifts to the AVI task. To overcome the second limitation, open set recognition (OSR) algorithms are adapted to industrial classification in context of animal fiber identification. Here, a novel measure to assess OSR performance is both proposed and validated. Furthermore, a novel, feature-based OSR method is proposed, which achieves state-of-the-art performance. The result of OSR algorithms is revealed to depend on the composition of in-distribution and out-of-distribution, and outlier exposure is shown to induce a significant bias also here. Last, open research questions are identified. In summary, this thesis is expected to significantly contribute towards releasing the economic potential of DL-based AVI.

OpenAccess:
PDF
(additional files)