Matthias Griebel

• Novel deep learning (DL) architectures, better data availability, and a significant increase in computing power have enabled scientists to solve problems that were considered unassailable for many years. A case in point is the “protein folding problem“, a 50-year-old grand challenge in biology that was recently solved by the DL-system AlphaFold. Other examples comprise the development of large DL-based language models that, for instance, generate newspaper articles that hardly differ from those written by humans. However, developing unbiased,Novel deep learning (DL) architectures, better data availability, and a significant increase in computing power have enabled scientists to solve problems that were considered unassailable for many years. A case in point is the “protein folding problem“, a 50-year-old grand challenge in biology that was recently solved by the DL-system AlphaFold. Other examples comprise the development of large DL-based language models that, for instance, generate newspaper articles that hardly differ from those written by humans. However, developing unbiased, reliable, and accurate DL models for various practical applications remains a major challenge - and many promising DL projects get stuck in the piloting stage, never to be completed. In light of these observations, this thesis investigates the practical challenges encountered throughout the life cycle of DL projects and proposes solutions to develop and deploy rigorous DL models. The first part of the thesis is concerned with prototyping DL solutions in different domains. First, we conceptualize guidelines for applied image recognition and showcase their application in a biomedical research project. Next, we illustrate the bottom-up development of a DL backend for an augmented intelligence system in the manufacturing sector. We then turn to the fashion domain and present an artificial curation system for individual fashion outfit recommendations that leverages DL techniques and unstructured data from social media and fashion blogs. After that, we showcase how DL solutions can assist fashion designers in the creative process. Finally, we present our award-winning DL solution for the segmentation of glomeruli in human kidney tissue images that was developed for the Kaggle data science competition HuBMAP - Hacking the Kidney. The second part continues the development path of the biomedical research project beyond the prototyping stage. Using data from five laboratories, we show that ground truth estimation from multiple human annotators and training of DL model ensembles help to establish objectivity, reliability, and validity in DL-based bioimage analyses. In the third part, we present deepflash2, a DL solution that addresses the typical challenges encountered during training, evaluation, and application of DL models in bioimaging. The tool facilitates the objective and reliable segmentation of ambiguous bioimages through multi-expert annotations and integrated quality assurance. It is embedded in an easy-to-use graphical user interface and offers best-in-class predictive performance for semantic and instance segmentation under economical usage of computational resources.…
• Die Entwicklung neuer Deep Learning (DL) Architekturen, flankiert durch eine bessere Datenverfügbarkeit und eine enorme Steigerung der Rechenleistung, ermöglicht Wissenschaftler:innen die Lösung von Problemen, die lange Zeit als unlösbar galten. Ein Paradebeispiel hierfür ist das 50 Jahre alte „Proteinfaltungsproblem“ in der Biologie, das vor Kurzem duch das DL-System AlphaFold gelöst wurde. Andere Beispiele sind moderne, DL-basierte Sprachmodelle. Diese können unter anderem Zeitungsartikel verfassen, die nur schwer von Artikeln menschlicherDie Entwicklung neuer Deep Learning (DL) Architekturen, flankiert durch eine bessere Datenverfügbarkeit und eine enorme Steigerung der Rechenleistung, ermöglicht Wissenschaftler:innen die Lösung von Problemen, die lange Zeit als unlösbar galten. Ein Paradebeispiel hierfür ist das 50 Jahre alte „Proteinfaltungsproblem“ in der Biologie, das vor Kurzem duch das DL-System AlphaFold gelöst wurde. Andere Beispiele sind moderne, DL-basierte Sprachmodelle. Diese können unter anderem Zeitungsartikel verfassen, die nur schwer von Artikeln menschlicher Autoren:innen unterscheidbar sind. Die Entwicklung unvoreingenommener, zuverlässiger und präziser DL-Modelle für die praktische Anwendung bleibt jedoch eine große Herausforderung. Dies wird an zahlreichen vielversprechenden DL-Projekten sichtbar, die nicht über die Pilotphase herauskommen. Vor diesem Hintergrund untersuche ich in dieser Dissertation die Herausforderungen, die während des Lebenszyklus von DL-Projekten auftreten, und schlage Lösungen für die Entwicklung und den Einsatz verlässlicher DL-Modelle vor. Der erste Teil der Arbeit befasst sich mit dem Prototyping von DL-Lösungen für verschiedene Anwendungsgebiete. Zunächst werden Richtlinien für die angewandte Bilderkennung konzipiert und deren Anwendung in einem biomedizinischen Forschungsprojekt gezeigt. Dem folgt die Darstellung einer Bottom-up-Entwicklung eines DL-Backends für ein Augmented-Intelligence-System im Fertigungssektor. Im Anschluss wird der Entwurf eines künstlichen Fashion-Curation-Systems für individuelle Outfit-Empfehlungen vorgestellt, das DL-Techniken und unstrukturierte Daten aus sozialen Medien und Modeblogs nutzt. Es folgt ein Abschnitt darüber, wie DL-Lösungen Modedesigner:innen im kreativen Prozess unterstützen können. Schließlich stelle ich meine prämierte DL-Lösung für die Segmentierung von Glomeruli in menschlichen Nierengewebe-Bildern vor, die für den Kaggle Data Science-Wettbewerb HuBMAP - Hacking the Kidney entwickelt wurde. Im zweiten Teil wird der Entwicklungspfad des biomedizinischen Forschungsprojekts über das Prototyping-Stadium hinaus fortgesetzt. Anhand von Daten aus fünf Laboren wird gezeigt, dass die Schätzung einer Ground-Truth durch die Annotationen mehrerer Experten:innen und das Training von DL-Modell-Ensembles dazu beiträgt, Objektivität, Zuverlässigkeit und Validität in DL-basierten Analysen von Mikroskopie-Bildern zu manifestieren. Im dritten Teil der Dissertation stelle ich die DL-Lösung deepflash2 vor, welche die typischen Herausforderungen beim Training, der Evaluation und der Anwendung von DL-Modellen in der biologischen Bildgebung adressiert. Das Tool erleichtert die objektive und zuverlässige Segmentierung von mehrdeutigen Mikroskopie-Bildern durch die Integration von Annotationen mehrerer Experten:innen und integrierte Qualitätssicherung.…