Training of artificial neuronal networks with nonlinear optimization techniques
Training künstlicher Neuronaler Netze mit Techniken der nichtlinearen Optimierung
- Machine learning is a field that has been the object of study of many researchers around the globe during the last decades. Very often to solve machine learning challenges like classification problems for example, one needs to train an artificial neural network. To train this network a certain loss function has to be minimized. There is a ubiquitous approach to achieve this which consists of using variants of the stochastic gradient descent combined with the backpropagation algorithm. In our work, we aimed at testing a rather non-conventional scheme consisting of making use of the solvers a software called AMPL offers.
- Maschinelles Lernen ist ein Gebiet, mit dem sich in den letzten Jahrzehnten viele Forscher rund um den Globus intensiv auseinandergesetzt haben. Um Probleme im Gebiet des maschinellen Lernens lösen zu können, wie zum Beispiel Klassifizierungsprobleme, muss man sehr oft ein künstliches neuronales Netz trainieren. Damit ein solches Netz erfolgreich trainiert werden kann, muss eine bestimmte Verlustfunktion minimiert werden. Es gibt einen allgegenwärtigen Ansatz, um dies zu erreichen, der darin besteht, Varianten des stochastischen Gradientenabstiegs kombiniert mit dem Backpropagation-Algorithmus zu verwenden. In unserer Arbeit wollten wir ein eher unkonventionelles Schema testen, indem wir die von einer Software names AMPL angebotenen Solver gebrauchen.
Author: | Thierry Tchouto Mbatchou |
---|---|
URN: | urn:nbn:de:kobv:co1-opus4-54042 |
DOI: | https://doi.org/10.26127/BTUOpen-5404 |
Series (Serial Number): | Cottbus Mathematical Preprints (15, 2021) |
Editor: | Armin FügenschuhORCiD |
Referee / Advisor: | Prof. Dr. Armin FügenschuhORCiD |
Document Type: | Bachelor thesis |
Language: | English |
Year of Completion: | 2021 |
Date of final exam: | 2021/01/28 |
Release Date: | 2021/02/04 |
Tag: | Bilderkennung; Künstliche Neuronale Netze; Nichtlineare Optimierung Artificial neuronal networks; Image recognition; Nonlinear optimization |
GND Keyword: | Bilderkennung; Neuronales Netz; Nichtlineare Optimierung; AMPL |
Institutes: | Fakultät 1 MINT - Mathematik, Informatik, Physik, Elektro- und Informationstechnik / FG Ingenieurmathematik und Numerik der Optimierung |
Licence (German): | Creative Commons - CC BY-NC-ND - Namensnennung - Nicht kommerziell - Keine Bearbeitungen 4.0 International |