A systematic evaluation approach for data stream-based applications

Geisler, Sandra; Nicklas, Daniela; Jarke, Matthias

doi:HT019326622

A systematic evaluation approach for data stream-based applications = Ein systematisches Evaluierungskonzept für datenstrombasierte Anwendungen

Geisler, Sandra

2016

Verantwortlichkeitsangabevorgelegt von Diplom-Informatikerin Sandra Geisler

ImpressumAachen 2016

Umfang1 Online-Ressource (x, 260 Seiten) : Illustrationen, Diagramme

Dissertation, RWTH Aachen University, 2016

Veröffentlicht auf dem Publikationsserver der RWTH Aachen University 2017

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Jarke, Matthias (Thesis advisor)^RWTH* ; Nicklas, Daniela (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2016-12-21

Online
DOI: 10.18154/RWTH-2017-04370
URL: http://publications.rwth-aachen.de/record/689438/files/689438.pdf
URL: http://publications.rwth-aachen.de/record/689438/files/689438.pdf?subformat=pdfa

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
data streams (frei) ; data quality (frei) ; data stream management (frei) ; intelligent transportation systems (frei) ; mobile health (frei) ; real-time processing (frei) ; data stream mining (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Die umfassende Nutzung von mobilen Endgeräten, Sensoren und deren Vernetzung ermöglicht die Entwicklung neuer Anwendungen im Bereich der Echtzeitdatenverarbeitung und -analyse. Die Anforderungen an Informationssysteme sind hoch: große Datenmengen müssen verarbeitet und Ergebnisse in Echtzeit erzeugt werden. Das Gebiet Datenstrommanagement beschäftigt sich mit diesen Anforderungen. Es unterscheidet sich sehr von der Verarbeitung statischer Datenmengen, da nicht alle Daten persistent gespeichert werden können. Daher muss es auch spezielle Entwicklungsmethoden für Datenstromanwendungen geben. Der Einsatz von Prozessmodellen kann zu qualitativ besseren Informationssystemen führt, bisher gibt es aber kein Modell explizit für Datenstromanwendungen. Zur Erstellung qualitativ hochwertiger Anwendungen muss man zudem eine fortlaufende, strukturierte Evaluierung durchführen. Insbesondere führen unzuverlässige Datenquellen, wie Sensoren, zu Qualitätseinbußen und Fehlern. Daher müssen Messung, Überwachung und eventuelle Korrektur von Datenqualitätsproblemen bei der Entwicklung und Evaluierung von Datenstromanwendungen eine zentrale Rolle spielen. Das Datenqualitätsmanagement sollte außerdem unabhängig von der Anwendung sein und sich gut in ein Datenstrommanagementsystem integrieren. Dies wurde bisher nur unzureichend gelöst.In dieser Arbeit gehen wir die genannten Probleme hauptsächlich mit drei Beiträgen an. Zuerst schlagen wir ein Prozessmodell vor, das für das Design, die Implementierung und speziell für die Evaluierung von Datenstromanwendungen geeignet ist. Dazu analysieren wir ausführlich die Grundlagen und Technologien des Datenstrommanagements. Wir analysieren existierende Prozessmodelle für Informationssysteme und deren Eignung für Datenstromanwendungen. Als Zweites werden Methodiken für eine strukturierte Evaluierung erarbeitet und entlang dieser ein flexibles Evaluierungsframework entworfen und implementiert. Als dritten Beitrag beschreiben wir eine Methodik und ein Framework für das Datenqualitätsmanagement bei Datenstromanwendungen. Dazu werden relevante Qualitätsdimensionen und -metriken analysiert, existierende Datenqualitätsmanagementmethoden beleuchtet und schließlich eine Methodik für Datenstromanwendungen präsentiert. Den zentralen Hauptbeitrag stellt das flexible, domänen- und anwendungsunabhängige Framework zum Datenqualitätsmanagement für relationale Datenstrommanagementsysteme dar.Das Prozessmodell und die Frameworks wurden im Kontext der Anwendungsfelder Vernetzte Intelligente Transportsysteme und Mobile Gesundheit entwickelt, empirisch validiert und evaluiert. Im Rahmen dieser wurden zusätzlich algorithmische Lösungen für spezielle Probleme entwickelt und umfassend evaluiert. So konnten wir entscheidende Probleme und Einflüsse entdecken und Optimierungen vornehmen.

The ubiquitous use of mobile devices, sensors, and the linkage between them open up opportunities for new applications using near real-time data processing and analytics. Demands on information systems are high: huge amounts of data have to be processed and results have to be delivered in near real-time. These needs are tackled by the field of Data Stream Management. Processing data streams differs in many ways from static data set processing as much of the data cannot be stored persistently. Likewise, development methods for data stream-based applications have to be specifically adapted. Process modeling has proved to increase the quality of information systems, but there exists no model specifically for data stream applications. Furthermore, the production of high quality applications requires means for a structured, iterative evaluation of the application and its outcomes. Particularly, applications fed by unreliable data sources, such as sensors, are prone to quality losses and errors. Hence, measurement, monitoring, and optionally the correction of data quality problems must take a crucial part in the development and evaluation of data stream applications. Data quality management needs to be domain and application independent and smoothly integrated into a data stream management system. These requirements have not been met satisfactorily so far.We counter the aforementioned issues by three main contributions. First, we propose a process model specifically tailored to the design, implementation, and, in particular, for the evaluation of data stream applications. To this end, we contribute a thorough analysis of data stream management principles and technologies. We also analyze existing process models in information management and discuss their suitability to data stream applications. Second, we propose evaluation methodologies embedded into the process model. Along these methodologies we design and implement a flexible evaluation framework for data stream applications. Finally, we propose a methodology and framework for data quality management for data stream applications. We first analyze quality dimensions and metrics relevant to data stream applications. We elicitate existing data quality management methodologies and present a methodology for data stream-based applications. As a major contribution we implement a flexible, domain and application independent data quality management framework for relational data stream management systems based on the proposed methodology.The process model and frameworks have been developed and empirically validated and evaluated in the context of two domains, namely Connected Intelligent Transportation Systems and Mobile Health. Algorithmic solutions for particular problems in the target domains have been devised and applied. Iterative evaluations using the proposed frameworks led to crucial optimizations of the application results.

OpenAccess:
PDF PDF (PDFA)
(additional files)