h1

h2

h3

h4

h5
h6
http://join2-wiki.gsi.de/foswiki/pub/Main/Artwork/join2_logo100x88.png

Classification and Discrimination in Models for Ordered Data = Klassifikation und Diskrimination in Modellen geordneter Daten



Verantwortlichkeitsangabevorgelegt von Alexander Florian Katzur

ImpressumAachen : Publikationsserver der RWTH Aachen University 2015

UmfangIV, 233 S. : Ill., graph. Darst.


Aachen, Techn. Hochsch., Diss., 2015


Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
; ;

Tag der mündlichen Prüfung/Habilitation
2015-02-19

Online
URN: urn:nbn:de:hbz:82-rwth-2015-020331
URL: https://publications.rwth-aachen.de/record/466298/files/466298.pdf
URL: https://publications.rwth-aachen.de/record/466298/files/466298.pdf?subformat=pdfa

Einrichtungen

  1. Lehrstuhl für Statistik und Institut für Statistik u. Wirtschaftsmathematik (116410)
  2. Fachgruppe Mathematik (110000)

Inhaltliche Beschreibung (Schlagwörter)
Mathematik (frei) ; Classification (frei) ; Discrimination (frei) ; Clustering (frei) ; Ordered Data (frei) ; Sequential Order Statistics (frei) ; Exponential Families (frei) ; Kullback-Leibler Divergence (frei) ; Jeffrey’s Divergence (frei) ; Matusita’s Affinity (frei) ; Rényi’s Divergence (frei) ; Bregman Divergence (frei) ; Kullback-Leibler Balls (frei) ; Bregman Balls (frei) ; Minimal Enclosing Balls (frei) ; Chernoff Information (frei)

Thematische Einordnung (Klassifikation)
DDC: 510

Kurzfassung
Seit R. A. Fisher im Jahr 1936 die Diskriminanzfunktion zur Unterscheidung dreier Spezies von Iris eingeführt hat, ist die Theorie der Klassifizierung und Diskrimination vielfach in der wissenschaftlichen Literatur behandelt worden. Das Ziel von Diskrimination ist es, Objekte mit unterschiedlicher Klassenzugehörigkeit zu separieren und das von Klassifizierung, Objekte mit unbekannter Klassenzugehörigkeit ihrer jeweiligen Klasse zuzuordnen. Dazu wird vorausgesetzt, dass die Anzahl verschiedener Klassen bekannt ist, und dass jedes Objekt einen zugehörigen Vektor von Charakteristika besitzt. In der Wahrscheinlichkeitstheorie nimmt man nun an, dass jeder Klasse eine (multivariate) Verteilung unterliegt, der die Vektoren von Charakteristika der Objekte aus dieser Klasse folgen. Diese Annahme erlaubt es, die Güte der Diskriminations- und Klassifikationsmethoden anhand der erwarteten Kosten einer Entscheidung oder anhand der Fehlklassifikationswahrscheinlichkeit zu messen. In dieser Arbeit wird der Fall von zwei Klassen betrachtet. Die Klassifikationsmethode, welche die erwarteten Kosten minimiert, ist die Bayes-Methode und die zugehörige Diskriminanzfunktion, die die beiden Klassen separiert, ist der Quotient der zugrunde liegenden Wahrscheinlichkeitsdichten. In dieser Arbeit werden Methoden der Diskrimination und der Klassifikation auf Modelle geordneter Daten, im Speziellen auf Sequentielle Ordnungsstatistiken (SOSen) mit bekannter zugrunde liegender Verteilung, angewandt. Die vorliegenden Resultate können auch als Ergebnisse für verallgemeinerte Ordnungsstatistiken und für Pfeifer Rekorde mit bekannter zugrunde liegender Verteilung interpretiert werden. Anhand dieser Modelle geordneter Daten lassen sich z.B. Komponentenausfälle in Maschinen und Rekorde im Sport modellieren. In der Arbeit wird häufig die Exponentialfamilienstruktur der Verteilung der ersten r SOSen verwendet, weshalb viele Ergebnisse zunächst für Exponentialfamilien formuliert und dann auf SOSen übertragen werden. An einigen Stellen liefern spezielle Eigenschaften der SOSen weiterführende Resultate. So werden z.B. die Bayes-Methode und deren erwartete Kosten für den Fall von Exponentialfamilien untersucht, und im Falle von SOSen wird eine explizite Berechnungsformel dieser erwarteten Kosten angegeben, welche auf der Hypoexponentialverteilung basiert. Im Falle unbekannter a-priori Klassenwahrscheinlichkeiten wird die Minimax-Methode betrachtet, und es werden auf Divergenzmaßen basierende Klassifikationsmethoden eingeführt und untersucht. Diese Methoden erlauben im Modell der SOSen einige interessante Resultate. Zudem wird eine Simulationsstudie zur Analyse der allgemeinen Performance dieser Methoden durchgeführt. Für den Fall, dass jeder Klasse nicht nur eine Verteilung, sondern eine ganze Klasse von Verteilungen zugrunde liegt die einen linksseitigen Kullback-Leibler Ball bilden, wird eine Klassifikationsmethode vorgeschlagen. In diesem Zusammenhang werden auch minimal umschließende Kullback-Leibler Bälle von einer endlichen Menge von Verteilungen aus derselben Exponentialfamilie untersucht. Im speziellen Fall von SOSen werden verschiedene Illustrationen und eine Simulationsstudie zur Bewertung der Methode bereitgestellt. Es wird zudem eine interessante Korrespondenz zwischen minimal umschließenden Kullback-Leibler Bällen und einer verallgemeinerten Chernoff-Information bewiesen. Für den Fall unbekannter Parameter in den Verteilungen, die den Klassen zugrunde liegen, wird die Bayes Methode mit eingesetzten Maximum Likelihood Schätzern untersucht. Im Falle von SOSen können gewisse Vorabinformationen über die unbekannten Parameter zur Modifikation dieser Klassifikationsmethode verwendet werden. Diese Modifikationen werden auch anhand einer Simulationsstudie untersucht. Es wird weiterhin das Clustern von bisher unklassifizierten Objekten behandelt. Ergebnisse zu Clustermethoden für Exponentialfamilien finden sich häufig in der Informatik, z.B. bei Methoden in der Sprach- oder Bilderkennung. Es werden einige bekannte Resultate auf den Fall von SOSen übertragen und eine agglomerative hierarchische Clustermethode vorgestellt. Zudem wird der Mixture Maximum Likelihood Ansatz kurz diskutiert. Weiterhin werden einige Tests auf Klassenzugehörigkeiten vorgestellt. Die vorliegende Arbeit beinhaltet auch ein Ergebnis über die Quantile von Gammaverteilungen, sowie einen interessanten Zusammenhang zwischen SOSen und einem Teilmodell der multivariaten Normalverteilung.

The theory of classification and discrimination has gained major attention in the scientific literature since R. A. Fisher (1936) introduced his well-known discriminant function for a data set of three species of iris. Discrimination aims at separating objects from different classes, and classification at assigning objects with unknown class origin to their respective class, based on an observable vector of characteristics. It is assumed that the number of different classes is known. In probability theory, a common assumption is that each class has a different underlying (multivariate) distribution and that the characteristic vector of an object from one class follows this distribution. This assumption allows to rate the methods of discrimination and of classification by means of the expected costs that are caused by a decision, or, as a special case of that, by means of the probability of misclassification. Throughout this thesis, two classes are considered. The classification rule that minimizes the expected costs is the Bayes procedure, and the corresponding discriminant function that separates the two classes is the ratio of the densities of the underlying distributions. In this thesis, methods of discrimination as well as of classification are analyzed for advanced models of ordered data, particularly for sequential order statistics (SOSs) with known baseline distribution, but the given results may also be interpreted in terms of generalized order statistics and the Pfeifer record model with known baseline distribution. These models of ordered data are useful in many practical applications, e.g., when it comes to the modelling of component or machine failure times, or of records in sports. The thesis makes frequent use of the fact that the distribution of the first r SOSs with known baseline distribution forms an exponential family in the model parameters. Consequently, several methods and results are at first presented for general exponential families and then applied to SOSs. In various cases, the special structure of SOSs allows for further inference, especially concerning exact distributional results. The Bayes classification procedure and its expected costs are analyzed, when the underlying distributions of the classes are members of the same exponential family. Especially, in the case of SOSs, a closed form expression for those expected costs is provided, based on the hypoexponential distribution. In the case of unknown class a-priori probabilities, a bisection algorithm is stated to obtain the minimax procedure. Furthermore, some methods of classification are proposed, each based on a divergence measure. In the case of SOSs, several results regarding those methods are proven and, additionally, a simulation study is provided to get an impression of the performance of these classification procedures. As a by-product, an assertion regarding the quantiles of the gamma distribution is obtained. Moreover, a classification procedure, when each class has an underlying set of distributions rather than only one distribution, is proposed. It is assumed here that those distributions form a left-sided Kullback-Leibler ball. In this context, minimal enclosing Kullback-Leibler balls of a set of distributions that are members of the same exponential family are analyzed. Several illustrations and a simulation study are provided, to rate the performance of the method, when the underlying exponential family is the model of SOSs. Furthermore, an interesting connection between the minimal enclosing left-sided Kullback-Leibler ball of several distributions and a generalized Chernoff information between those distributions is shown. The scenario, where the parameters of the underlying distributions of the classes are unknown and are therefore replaced by their maximum likelihood estimates, is investigated as well. In the model of SOSs, prior information on the ordering of the unknown parameters is used to construct modified classification rules. The performance of those rules is again analyzed by means of a simulation study. Moreover, the clustering of so far unclassified data, with underlying distributions that originate from the same exponential family, is examined. Clustering approaches for exponential families have gained major attendance in the fields of speech or image recognition. Several known results are transferred to the setting of this thesis and analyzed for SOSs. For example an agglomerative hierarchical clustering approach for the model of SOSs is provided and the mixture maximum likelihood approach is discussed briefly. Finally, some tests for class membership for SOSs are introduced. This thesis furthermore provides a relationship between SOSs and a sub model of multivariate normal distributions.

OpenAccess:
Download fulltext PDF Download fulltext PDF (PDFA)
(additional files)

Dokumenttyp
Dissertation / PhD Thesis

Format
online, print

Sprache
English

Externe Identnummern
HBZ: HT018635326

Interne Identnummern
RWTH-2015-02033
Datensatz-ID: 466298

Beteiligte Länder
Germany

 GO


OpenAccess

QR Code for this record

The record appears in these collections:
Document types > Theses > Ph.D. Theses
Faculty of Mathematics, Computer Science and Natural Sciences (Fac.1) > Department of Mathematics
Publication server / Open Access
Public records
Publications database
110000
116410

 Record created 2015-05-06, last modified 2023-10-27


Rate this document:

Rate this document:
1
2
3
 
(Not yet reviewed)