Mechanistic models of learning and decision making can help test specific hypotheses about observed behavior and brain function. This thesis presents a framework for integrating computational models of adaptive intelligence systems such as Reinforcement Learning and Bayesian Learning algorithms to address clinically motivated problems. In order to provide a comprehensive evaluation, Functional Magnetic Resonance Imaging (fMRI) data were analyzed with behavioral and connectivity models. In this work, some of the most widely used reinforcement learning algorithms in neuroimaging and psychological studies were evaluated with simulations to understand the behavior of agents under different model parameters and strategies. The models were then tested on a large empirical dataset, and the prediction errors that were derived from the winning model informed the general linear model for fMRI data analysis. Reinforcement learning models were able to capture differences in the function of dopaminergic brain regions and associated behavior in individuals with different genotype. It was further proposed that integrating learning algorithms in effective connectivity models can provide a complementary framework for studying altered brain network dynamics. This was achieved by constructing bilinear and nonlinear dynamic causal models of brain regions involved in reward and prediction error processing. Finally, hierarchical Bayesian models were implemented to model an agent's learning behavior in a complex, volatile environment. A parallel learning system approach was developed for learning and combining multiple cues by adopting the Hierarchical Gaussian Filter and the precision weighted response model pair. Simulations of parameter recovery suggest that this approach can be used for learning and combining different sources of information. Further, the proposed model was tested on a real dataset and compared against alternative models including an optimal Bayesian learner. This method allowed us to identify individual sub-processes involved in learning from social cues that differ according to the level of autistic traits. We further propose that the experimental and modeling approach presented here can contribute to mechanistic formulations of many psychiatric disorders.
Mechanistische Modelle für Lernen und zur Entscheidungsfindung können helfen, spezifische Hypothesen über beobachtetes Verhalten und dessen Etablierung in Gehirn zu testen. Die hier vorliegende Arbeit bietet einen Ansatz, um computer-gestützte Modelle zum Verstärkungslernen (Reinforcement Learning) und Bayes'sche Lernalgorithmen zu integrieren, und um klinisch motivierte Probleme zu adressieren. Die so entstandenen Modelle wurden anhand von funktionelle Magnetresonanztomographie (fMRT) gemeinsam mit Verhaltens- und Konnektivitätsmodellen evaluiert. In dieser Arbeit werden vor allem Algorithmen zum Verstärkungslernen betrachtet, typischerweise die im bildgebenden und in psychologischen Studien zur Anwendung kommen. Eine Bewertung der Algorithmen erfolgte mithilfe von Simulationen, um somit das Verhalten von virtuellen Agenten bei unterschiedlichen Modellparametern und Strategien zu verstehen. Später wurden die generierten Modelle an einem empirischen Datensatz getestet, wobei das beste Modell zur Auswertung der fMRI Daten an ein lineares Modell übergeben wurde. Solche Modelle konnten Unterschiede in der Funktion von dopaminergen Gehirnregionen und dem damit assoziierten Verhalten zwischen Individuen mit unterschiedlicher genetische Disposition zeigen. Weiterhin wurde untersucht, ob die Einbeziehung von Lernalgorithmen in effektive Konnektivitätsmodelle als komplementäre Grundlage für die weitere Erforschung von veränderten Netzwerkdynamiken im menschlichen Gehirn dienen könnte. Dazu wurden bilineare und nicht-lineare dynamisch kausale Modelle verschiedener Hirnregionen, welche in Belohnungslernen und Vorhersagefehlerprozessen beteiligt sind, erstellt. In einer Erweiterung, wurden hierarchische Bayes'sche Modelle betrachtet, welche das Lernverhalten eines virtuellen Agenten in einer komplexen und unbeständigen Umgebung modellieren. Ein paralleler Lernansatz wurde zum Lernen und Kombinieren multipler Hinweisreize entwickelt, indem hierarchische Gauss'schen Filter mit präzisionsgewichteten Antwortmodellen gepaart wurden. Simulationen von Parameterschätzungen deuten darauf hin, dass dieser Ansatz zum Lernen und Kombinieren verschiedener Informationsquellen genutzt werden kann. Das vorgeschlagene Modell wurde auf Grundlage empirische Daten überprüft und mit alternativen Modellen verglichen, wie beispielsweise mit dem optimalen Bayes'schen Agenten. Letztlich hat uns diese Methode ermöglicht, individuelle Subprozesse zu identifizieren, die am Lernen von sozialen Hinweisreizen beteiligt sind und die mit unterschiedlichen Ausprägungen vom autistischen Züge variieren. Darüber hinaus postulieren wir, dass der hier vorgestellte experimentelle und modellierende Ansatz zu einer mechanistischen Beschreibung von unterschiedlichen psychiatrischen Störungen beitragen kann.