RUB » Bibliotheksportal

Jan Melchior

• This thesis contributes to a deeper understanding of different types of artificial neural networks (ANNs) by pointing out that data, parameterization, learning rule, and loss function of ANNs are deeply intertwined and should therefore be treated as a unity. In particular, we show that centering is a simple and effective reparametrization of ANNs, which is also a different update direction for standard ANNS that is beneficial for various architectures, update rules, and learning paradigms. Moreover, we propose Hebbian descent as a biological plausible learning rule for single layer ANNs, which is provably convergent, does not suffer from the vanishing error term problems, can deal with correlated data, benefits form seeing patterns several times, and most importantly does not suffer from catastrophic interference.
• Diese Arbeit trägt zu einem tieferen Verständnis verschiedener Arten von künstlichen neuronalen Netzen (KNNs) bei, indem hervorgehoben wird, dass Daten, Parametrisierung, Lernregel und Verlustfunktion von KNNs eng miteinander verflochten sind und daher als Einheit betrachtet werden sollten. Es wird insbesondere gezeigt, dass "Zentrierung" eine einfache und effektive Reparametrisierung von KNNs ist, welche auch eine andere Aktualisierungsrichtung für standard KNNs ist die für verschiedene Architekturen, Aktualisierungsregeln und Lernparadigmen von Vorteil ist. Desweiteren wird "Hebbian descent" als biologisch plausible Lernregel für einschichtige KNNs vorgeschlagen, welche nachweislich konvergent ist, nicht unter dem Problem des verschwindenden Fehlerterms leidet, mit korrelierten Mustern umgehen kann, von der mehrfachen Sichtung von Mustern profitiert und nicht unter katastrophaler Interferenz leidet.