Dennis Segebarth

• Significant advances in fluorescence imaging techniques enable life scientists today to gain insights into biological systems at an unprecedented scale. The interpretation of image features in such bioimage datasets and their subsequent quantitative analysis is referred to as bioimage analysis. A substantial proportion of bioimage analyses is still performed manually by a human expert - a tedious process that is long known to be subjective. Particularly in tasks that require the annotation of image features with a low signal-to-noise ratio,Significant advances in fluorescence imaging techniques enable life scientists today to gain insights into biological systems at an unprecedented scale. The interpretation of image features in such bioimage datasets and their subsequent quantitative analysis is referred to as bioimage analysis. A substantial proportion of bioimage analyses is still performed manually by a human expert - a tedious process that is long known to be subjective. Particularly in tasks that require the annotation of image features with a low signal-to-noise ratio, like in fluorescence images of tissue samples, the inter-rater agreement drops. However, like any other scientific analysis, also bioimage analysis has to meet the general quality criteria of quantitative research, which are objectivity, reliability, and validity. Thus, the automation of bioimage analysis with computer-aided approaches is highly desirable. Albeit conventional hard-coded algorithms are fully unbiased, a human user has to set its respective feature extraction parameters. Thus, also these approaches can be considered subjective. Recently, deep learning (DL) has enabled impressive advances in computer vision research. The predominant difference between DL and conventional algorithms is the capability of DL models to learn the respective task on base of an annotated training dataset, instead of following user-defined rules for feature extraction. This thesis hypothesized that DL can be used to increase the objectivity, reliability, and validity of bioimage analyses, thus going beyond mere automation. However, in absence of ground truth annotations, DL models have to be trained on manual and thus subjective annotations, which could cause the model to incorporate such a bias. Moreover, model training is stochastic and even training on the same data could result in models with divergent outputs. Consequently, both the training on subjective annotations and the model-to-model variability could impair the quality of DL-based bioimage analyses. This thesis systematically assessed the impacts of these two limitations experimentally by analyzing fluorescence signals of a protein called cFOS in mouse brain sections. Since the abundance of cFOS correlates with mouse behavior, behavioral analyses could be used for cross-validation of the bioimage analysis results. Furthermore, this thesis showed that pooling the input of multiple human experts during model training and integration of multiple trained models in a model ensemble can mitigate the impact of these limitations. In summary, the present study establishes guidelines for how DL can be used to increase the general quality of bioimage analyses.…
• Fortschritte in den Methoden der fluoreszenz-basierten Bildgebung ermöglichen Biowissenschaftlern heutzutage noch nie dagewesene Einblicke in biologische Systeme. Die Interpretation sowie die anschließende quantitative Analyse von Bildelementen in biologischen Bilddatensätzen wird in der Wissenschaft als bioimage analysis bezeichnet. Ein wesentlicher Anteil der bioimage analysis wird noch immer von Experten per Hand durchgeführt - ein mühsamer Prozess, von dem man seit langem weiß, dass er subjektiv ist. Besonders bei Aufgabestellungen, welcheFortschritte in den Methoden der fluoreszenz-basierten Bildgebung ermöglichen Biowissenschaftlern heutzutage noch nie dagewesene Einblicke in biologische Systeme. Die Interpretation sowie die anschließende quantitative Analyse von Bildelementen in biologischen Bilddatensätzen wird in der Wissenschaft als bioimage analysis bezeichnet. Ein wesentlicher Anteil der bioimage analysis wird noch immer von Experten per Hand durchgeführt - ein mühsamer Prozess, von dem man seit langem weiß, dass er subjektiv ist. Besonders bei Aufgabestellungen, welche die Annotierung von Bildelementen mit einem geringen Signal-Rausch-Verhältnis erfordern, wie es beispielsweise bei Fluoreszenzbildern von Gewebeproben der Fall ist, sinkt die Übereinstimmung zwischen den Bewertungen mehrerer Experten. Genauso wie jede andere wissenschaftliche Analyse, muss jedoch auch die bioimage analysis den generellen Qualitätskriterien quantitativer Forschung gerecht werden. Dies sind Objektivität, Zuverlässigkeit und Validität. Die Automatisierung der bioimage analysis mit Hilfe von computer-basierten Ansätzen ist somit erstrebenswert. Konventionelle, hartkodierte Algorithmen sind zwar vollkommen unvoreingenommen, jedoch legt ein menschlicher Benutzer jene Parameter fest, die der Algorithmus für die Extraktion der relevanten Bildelemente nutzt. Aus diesem Grund sind auch diese Ansätze zumindest partiell subjektiv. In den letzten Jahren hat Deep learning (DL) zu beeindruckenden Fortschritten auf dem Forschungsgebiet der computer vision beigetragen. Der vorherrschende Unterschied zwischen DL und konventionellen Algorithmen besteht darin, dass DL Modelle in der Lage sind die jeweilige Aufgabe auf Grundlage eines annotierten Trainingsdatensatzes zu lernen, anstatt starr den Parametern zu folgen, die der Benutzer für die Extraktion der relevanten Bildelemente vorgegeben hat. In dieser Dissertation wurde die Hypothese untersucht, ob DL, neben der Möglichkeit der automatischen Bildanalyse, auch dazu genutzt werden kann die Objektivität, die Zuverlässigkeit und die Validität der Bildanalyse zu verbessern. Ohne eine objektive Referenzannotierung muss das Training der DL Modelle jedoch auf händisch erstellten und somit also subjektiven Annotierungen durchgeführt werden. Theoretisch könnte dies dazu führen, dass das DL-Modell diese Vorgeingenommenheit übernimmt. Außerdem unterliegt das Training der Modelle stochastischen Prozessen und selbst Modelle, die auf den gleichen Trainingsdaten trainiert wurden, könnten sich danach in ihren ausgegeben Analysen unterscheiden. Demzufolge könnten also sowohl das Training auf subjektiven Annotierungen als auch die Variabilität von Modell zu Modell die Qualität der DL-basierten Analyse von biologischen Bilddaten beeinträchtigen. In dieser Dissertation werden die Einflüsse von diesen beiden Limitierungen auf Grundlage von experimentellen Daten untersucht. In den experimentellen Bilddaten werden Fluoreszenzsignale des Proteins cFOS in Hirnschnitten von Mäusen dargestellt und hier repräsentativ untersucht. Da das Vorkommen von cFOS mit dem Verhalten der Mäuse korreliert, kann die Analyse des Verhaltens der Mäuse zur Kreuzvalidierung der Analyse der biologischen Bilddaten herangezogen werden. Die Daten dieser Dissertation zeigen, dass die Integration mehrerer Experten in das Training eines Modells sowie die Integration mehrerer trainierter Modelle in ein Modell-Ensemble das Risiko einer subjektiven oder nicht reproduzierbaren Bildanalyse abschwächen können. Diese Arbeit etabliert Richtlinien dafür, wie DL verwendet werden kann, um die generelle Qualität der Analyse biologischer Bilddaten zu erhöhen.…