German Title: Rauschen als Prinzip der Informationsverarbeitung mit feuernden Neuronen

Preview

PDF, English Download (18MB) | Terms of use

Abstract

Trial-to-trial variability is an ubiquitous characteristic in neural firing patterns and is often regarded as a side-effect of intrinsic noise. Increasing evidence indicates that this variability is a signature of network computation. The computational role of noise is not yet clear and existing frameworks use abstract models for stochastic computation. In this work, we use networks of spiking neurons to perform stochastic inference by sam- pling. We provide a novel analytical description of the neural response function with an unprecedented range of validity. This description enables an implementation of spiking networks in simulations to sample from Boltzmann distributions. We show the robust- ness of these networks to parameter variations and highlight the substantial advantages of short-term plasticity in our framework. We demonstrate accelerated inference on neu- romorphic hardware with a speed-up of 10^4 compared to biological networks, regardless of network size. We further explore the role of noise as a computational component in our sampling networks and identify the functional equivalence between synaptic connec- tions and mutually shared noise. Based on this, we implement interconnected sampling ensembles which exploit their activity as noise resource to maintain a stochastic firing regime.

Translation of abstract (German)

Neuronale Aktivität zeigt im Allgemeinen eine Trial-to-Trial Variabilität. Diese Variabil- ität wird vermutlich durch intrinsisches Rauschen verursacht und es deutet viel darauf hin, dass Trial-to-Trial Variabilität ein wichtiges Merkmal von Informationsverarbeitung in Netzwerken ist. Jedoch ist die Funktion des Rauschens bei der Informationsverabritung bislang nicht geklärt, weshalb in bereits existierenden Modellen abstrakte Beschreibungen stochastischer Informationsverarbeitung benutzt werden. In dieser Arbeit benutzen wir Netzwerke mit feuernden Neuronen zur stochastischen Informationsverarbeitung mittels Sampling. Dabei beschreiben wir die neuronale Aktivität für Parameterbereiche, für die es bislang keine Beschreibung gab, analytisch. Das erlaubt uns, mittels feuernden Neuro- nen in Simulationen aus Boltzmannverteilungen Stichproben zu ziehen. Die Robustheit solcher Netzwerke gegenüber Parametervariationen zeigen wir durch umfassende Simula- tionen. Weiterhin erläutern wir die substanziellen Vorteile unserer Netzwerke gegenüber konventionellen Implementierungen. Auf neuromorpher Hardware demonstrieren wir beschleunigtes Sampling, welches hier, unabhängig von der Netzwerkgröße, 10^4 mal schneller abläuft als in biologischen Systemen. Des Weiteren untersuchen wir die Rolle des Rauschens in der Informationsverarbeitung und finden eine Äquivalenzbeziehung zwischen synaptischen Gewichten und geteilten Rauschquellen. Auf dieser Beziehung basierend, verbinden wir Neuronenensembles, die ihre Aktivität als Rauschquelle nutzen und somit stochastisch feuern.