Integration von Data Mining und Online Analytical Processing : eine Analyse von Datenschemata, Systemarchitekturen und Optimierungsstrategien

Abstract

Die technischen Möglichkeiten, Daten zu erfassen und dauerhaft zu speichern, sind heute so ausgereift, dass insbesondere in Unternehmen und anderen Organisationen große Datenbestände verfügbar sind. In diesen Datenbeständen, häufig als Data Warehouse bezeichnet, sind alle relevanten Informationen zu den Organisationen selbst, den in ihnen ablaufenden Prozessen sowie deren Interaktion mit anderen Organisationen enthalten. Vielfach stellt die zielgerichtete Analyse der Datenbestände den entscheidenden Erfolgsfaktor für Organisationen dar. Zur Analyse der Daten in einem Data Warehouse sind verschiedenste Ansätze verfügbar und erprobt. Zwei der wichtigsten Vertreter sind das Online Analytical Processing (OLAP) und das Data Mining. Beide setzen unterschiedliche Schwerpunkte und werden bisher in der Regel weitgehend isoliert eingesetzt. In dieser Arbeit wird zunächst gezeigt, dass eine umfassende Analyse der Datenbestände in einem Data Warehouse nur durch den integrierten Einsatz beider Analyseansätze erzielt werden kann. Einzelne Fragestellungen, die sich aus diesem Integrationsbedarf ergeben werden ausführlich diskutiert. Zu den betrachteten Fragestellungen gehört die geeignete Modellierung der Daten in einem Data Warehouse. Bei der Bewertung gängiger Modellierungsansätze fließen insbesondere die Anforderungen ein, die sich durch den beschriebenen Integrationsansatz ergeben. Als Ergebnis wird ein konzeptuelles Datenmodell vorgestellt, das Informationen in einer Weise strukturiert, die für OLAP und Data Mining gleichermaßen geeignet ist. Im Bereich der logischen Modellierung werden schließlich diejenigen Schematypen identifiziert, die die Integration der Analyseansätze geeignet unterstützen. Im nächsten Schritt sind die für Data Mining und OLAP unterschiedlichen Systemarchitekturen Gegenstand dieser Arbeit. Deren umfassende Diskussion ergibt eine Reihe von Defiziten. Dies führt schließlich zu einer erweiterten Systemarchitektur, die die Schwachstellen beseitigt und die angestrebte Integration geeignet unterstützt. Die erweiterte Systemarchitektur weist eine Komponente zur anwendungsunabhängigen Optimierung unterschiedlicher Analyseanwendungen auf. Ein dritter Schwerpunkt dieser Arbeit besteht in der Identifikation geeigneter Optimierungsansätze hierfür. Die Bewertung der Ansätze wird einerseits qualitativ durchgeführt. Andererseits wird das Optimierungspotenzial der einzelnen Ansätze auch auf der Grundlage umfangreicher Messreihen gezeigt.

Current technology allows enterprises and all kinds of organisations to store huge amounts of data. According to the data warehouses concept, a central data store might be used to integrate data from heterogeneous sources within the organisation and combine it with external data. The data warehouses contains all relevant information about the organisation itself, about processes running in it as well as about the interaction with other organisations. Hence, the detailed analysis of data warehouses is a key success factor for modern organisations. Several approaches for intelligent data analysis are available, tried and tested. Online Analytical Processing (OLAP) and Data Mining represent two of the most important approaches. They put the main emphasis on different aspects of the data and allow to derive different kinds of information. So far, these approaches have mainly be used in isolation. As shown in this thesis, an in-depth analysis of huge data warehouses requires an approach that integrates both, OLAP and data mining. This integration leads to several problems. Some of them related to data models, system architecture and optimization are discussed here. One of the research problems covered by this thesis is the appropriate data model for a data warehouse supporting OLAP as well as data mining. The requirements resulting from the integration of both approaches are identified and known conceptual models are evaluated according to these criteria. As a result the COCOM model is proposed which offers modelling capabilities for both approaches of data analysis. Based on this model, several proposals for logical schemes are evaluated and the most appropriate schema type is identified. Different system architectures for OLAP and data mining are compared in the next part of the thesis. The analysis reveals that they do not support the integrated maintenance of meta data and lack optimization approaches that are independent of the individual applications. An extended system architecture is proposed that offers support in these areas. The optimization in particular is achieved by an additional system component that allows to optimize query sequences generated by different applications. Suitable optimization approaches for this system component are identified in the last part of the thesis. Known approaches from the data warehouse area are evaluated according to the specific needs of the extended system architecture. The potential of several approaches is shown by experimental results.