guest ::
Improvements in language and translation modeling = Verbesserungen in der Sprach- und Übersetzungsmodellierung
2016 & 2017
Dissertation, RWTH Aachen University, 2016
Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2017
Genehmigende Fakultät
Fak01
Hauptberichter/Gutachter
;
Tag der mündlichen Prüfung/Habilitation
2016-06-02
Online
URN: urn:nbn:de:hbz:82-rwth-2016-113032
URL: https://publications.rwth-aachen.de/record/679614/files/679614.pdf
URL: https://publications.rwth-aachen.de/record/679614/files/679614.pdf?subformat=pdfa
Einrichtungen
- Lehrstuhl für Informatik 6 (Sprachverarbeitung und Mustererkennung) (122010)
- Fachgruppe Informatik (120000)
Inhaltliche Beschreibung (Schlagwörter)
language modeling (frei) ; translation modeling (frei) ; neural network language model (frei) ; backing-off language model (frei) ; discounting (frei) ; neural network translation model (frei) ; long short-term memory (LSTM) (frei) ; automatic speech recognition (frei) ; neural machine translation (frei)
Thematische Einordnung (Klassifikation)
DDC: 004
Kurzfassung
Nahezu alle modernen Spracherkennunssysteme bauen auf häufigkeitsbasierten Sprachmodellen auf. In dieser Dissertation werden diese Modelle untersucht und die möglichen Verbesserungen mit Hilfe von Discounting-Methoden analysiert, wobei empirische Häufigkeiten so angepasst werden, dass sie denjenigen von ungesehenen Daten besser entsprechen. In letzter Zeit sind Neuronale Netze als vielversprechende Alternative zu häufigkeitsbasierten Sprachmodellen hinzugekommen. Diese Arbeit führt rekurrente Long-Short-Term-Memory-Neuronale-Netze in die Sprachmodellierung ein und stellt einen detaillierten Vergleich zwischen anderen Neuronale-Netze-Ansätzen sowie den häufigkeitsbasierten Sprachmodellen vor. Wegen der hohen Rechenanforderungen werden neuronale Netze mit verschiedenen Beschleunigungstechniken kombiniert. Außerdem werden in dieser Dissertation neue Approximationen zur direkten Minimierung der Wortfehlerrate auf Wortgraphen vorgestellt. Darüber hinaus werden Long-Short-Term-Memory-Neuronale-Netze-Sprachmodelle verallgemeinert auf das Problem der Übersetzungsmodellierung aus der statistischen maschinellen Übersetzung. Zwei neue Methoden werden eingeführt, die die Reihenfolge der Wortabhängigkeiten in Quell- und Zielsprache beibehalten. Beide Ansätze lassen sich in aktuelle Übersetzungssysteme integrieren und ergänzen damit die Verbesserungen, die mit Neuronale Netze-Sprachmodellen erzielt werden können.Virtually any modern speech recognition system relies on count-based language models. In this thesis, such models are investigated, and potential improvements are analyzed with respect to optimized discounting methods, where empirical count statistics are adjusted such that they better match unseen held-out data. Neural networks have recently emerged as a promising alternative to count-based approaches. This work introduces the recurrent long short-term memory neural network into the field of language modeling, and provides an in-depth comparison with other neural network technologies as well as count-based approaches. Due to the high computational complexity, neural network models are combined with several speed-up techniques. In this thesis, novel approximations for direct word error minimization in lattice rescoring are proposed, too. Finally, long short-term memory neural network language models are generalized to the translation modeling problem of statistical machine translation. Two novel methods are presented, preserving word order of source and target language dependences. Both approaches allow the integration in state-of-the-art machine translation systems, complementing the improvements obtained by neural network language models.
OpenAccess: 
PDF 
PDF (PDFA)
(additional files)
Dokumenttyp
Dissertation / PhD Thesis
Format
online
Sprache
English
Externe Identnummern
HBZ: HT019194197
Interne Identnummern
RWTH-2016-11303
Datensatz-ID: 679614
Beteiligte Länder
Germany
