Exploring rich evidence for maximum entropy-based question answering

Abstract

Open domain automated Question Answering (QA) aims to automatically answer users'; questions in spoken language. I propose a maximum entropy-based ranking model which effectively integrates various features, including orthographic, lexical, surface pattern, syntactic and semantic features for the answer extraction. To effectively capture syntactic evidence, I present two methods: dependency relation pattern methods and dependency relation path correlation method. Both methods overcome the problems arising from the divergences of lexical representations between question and answer sentences. I experimentally demonstrate that both methods greatly outperform the state-of-the-art syntactic answer extraction methods on TREC datasets. To capture semantic evidence, I propose an automatic method to incorporate FrameNet-style semantic role information. The graph-theoretic framework goes some way towards addressing coverage problems related with FrameNet and formulates the similarity measure of semantic structures as a graph matching problem. Experimental results show that the FrameNet-based semantic features may further boost the performance on the answer extraction module. Furthermore, I propose a maximum entropy-based ranking model to incorporate all captured information. As a result, the model using the optimal feature combination achieves top-ranked performance among all of the participants world-wide in the most recent TREC evaluation.

Domänen-unabhängige automatische Frage-Antwort (QA) is zur automatische Antwort auf die Fragen der Benutzer in muendliche Sprache. Ich stelle eine maximal Entropie-basisbezogen Ranking Modul auf, das tatsächlich integriert verschiedene Features, inkl. orthographisches, lexikalisches, Oberfläche Muster, syntaktisches und semantisches Features fuer die Antwort Extraktion. Um eine tatsächliche Erfassung der syntaktische Beweise zu erhalten, ich repräsentiere zwei Methoden: Abhängigkeit Beziehung Muster und Abhängigheit Beziehung Pfad Zusammenhang. Ich demonstriere versuchsweise, dass die beide Methoden die modernste syntaktische Antwort Extraktion Methoden on TREC Datensatz uebertrifft. Um die semantische Beweise zu erfassen, ich stelle eine automatische Methode auf, dadurch wird semantische Rolle Information in FrameNet-Art inkorporiert. Das experimentell Ergebnis dass die FrameNet-basisbezogene semantische Features die Leistung on Antwort Extraktion Modul. Darueber hinaus stelle ich einen maximal Entropie-basisbezogenen Ranking Modul, um alle erfasste Information zu inkorporieren. Als Ergebnis, der Modul, der die optimale Feature Kombination benutzt, erreicht top-ranked Leistung unter alle Teilnehmer weltweit in letzte TREC Bewertung.