Loading…
Multimodal Interaction in Smart Environments: A Model-based Runtime System for Ubiquitous User Interfaces
Blumendorf, Marco
Die wachsende Verbreitung des Computers in allen Bereichen des Lebens birgt neue Herausforderungen für Wissenschaftler und Programmierer in verschiedensten Fachrichtungen der Informatik. Vernetzte Geräte bilden intelligente Umgebungen, die unterschiedlichste Geräte, Sensoren und Aktoren integrieren und leiten allmählich einen Paradigmenwechsel in Richtung des “Ubiquitous Computing” ein. Mit der wachsenden Durchdringung unserer Lebensbereiche durch Computer-Technologie, nimmt auch das Bedürfnis zu, die steigende Komplexität über neuartige Benutzerschnittstellen einerseits handhabbar zu machen und andererseits vor dem Nutzer zu verbergen. Diese Arbeit prägt den Begriff Ubiquitous User Interface (Allgegenwärtige Benutzerschnittstelle) um Schnittstellen zu bezeichnen, die einer Vielzahl von Nutzern erlauben mit verschiedenen Geräten über mehrere Modalitäten mit einem Satz von Diensten in wechselnden Situationen zu interagieren. Die Entwicklung und Bereitstellung solcher Benutzerschnittstellen stellt neue Anforderungen an Design und Laufzeit. Der Einsatz von Modellen und Modellierungstechnologien ist ein vielversprechender Weg um der steigenden Komplexität von Software Herr zu werden. Diese Arbeit beschreibt einen modell-basierten Ansatz, der ausführbare Modelle von Benutzerschnittstellen mit einer Laufzeitarchitektur verbindet, um die wachsende Komplexität von Benutzerschnittstellen zu adressieren. Ausführbare Modelle identifizieren dabei die gemeinsamen Bausteine von dynamischen, in sich geschlossenen Modellen, die Design- und Laufzeitaspekte kombinieren. Die Überbrückung der Kluft zwischen Design- und Laufzeit innerhalb eines Modells ermöglicht die Heranziehung von Designinformationen für Laufzeitentscheidungen sowie Schlussfolgerungen über die Semantik von Interaktion und Präsentation. Basierend auf dem Konzept von ausführbaren Modellen wird ein Satz von Metamodellen eingeführt, der Designaspekte aktueller Benutzerschnittstellenbeschreibungssprachen aufgreift und zusätzliche Laufzeitaspekte wie Zustandsinformation und dynamisches Verhalten integriert. Die definierten Metamodelle umfassen dabei Kontext-, Dienst- und Aufgabenmodelle, ebenso wie abstrakte und konkrete Interaktionsmodelle. Sie ermöglichen die Definition der Elemente Allgegenwärtiger Benutzerschnittstellen auf verschiedenen Abstraktionsebenen. Beziehungen zwischen den Modellen ermöglichen den Austausch von Informationen zur Zustandssynchronisierung und den Datenaustausch zur Laufzeit. Die Integration der Konzepte in die Multi-Access Service Platform, einer Architektur für die Interpretation von Benutzerschnittstellenmodellen, stellt einen neuartigen Ansatz zur Nutzung dieser Modelle zur Erstellung und Verwaltung Allgegenwärtiger Benutzerschnittstellen dar. Die Architektur bietet Unterstützung für die Anpassung der Präsentation in Abhängigkeit der Geräteeigenschaften, multimodale Interaktion, Verteilung von Benutzerschnittstellen über mehrere Geräte und die dynamische Anpassung an Kontextinformationen. Die Integration zustandsbehafteter Benutzerschnittstellenmodelle mit der Welt außerhalb dieser Modelle wird durch die Projektion des Modellzustandes auf die Darstellung als Benutzerschnittstelle und die Stimulation von Zustandswechseln auf Basis von Benutzereingaben erreicht. Modelle für die Verteilung, multimodale Informationsverarbeitung (Fusion) und Adaption der Benutzerschnittstelle verbinden die äußere Welt mit der modellierten Benutzerschnittstellenbeschreibung. Verschiedenste Interaktionsgeräte werden unterstützt, um dem Nutzer den internen Zustand des Benutzerschnittstellenmodells, mit Hilfe von multimodaler Interaktion, über verschiedene Interaktionsressourcen zu präsentieren. Die Implementierung der Laufzeitarchitektur der Multi-Access Service Platform wurde als Teil des Service Centric Home Projektes in eine intelligente Heimumgebung integriert und diente als Plattform für die Implementierung verschiedener Applikationen für das intelligente Heim. Fallstudien wurden durchgeführt um die entwickelten Konzepte zu evaluieren. Die Umsetzung durch verschiedene ausführbare Modelle ermöglichte dabei die Kombination der Modelle in einem komplexen Netz zur Laufzeit und zeigte die Anwendbarkeit der entwickelten Lösung.
The increasing popularity of computers in all areas of life raises new challenges for computer scientists and developers in all areas of computing technology. Networked resources form smart environments, which integrate devices and appliances with sensors and actors, and make an ongoing paradigm shift towards ubiquitous computing paradigms visible. With this growing pervasiveness of computing technology, their user interfaces need to transport and hide an increasing complexity. In this work the term Ubiquitous User Interface (UUI) is coined to denote user interfaces that support multiple users, using different devices to interact via multiple modalities with a set of applications in various contexts. The creation of such user interfaces raises new requirements for their development and runtime handling. The utilization of models and modeling technologies is a promising approach to handle the increasing complexity of current software. This thesis describes a model-based approach that combines executable user interface models with a runtime architecture to handle UUIs. Executable models identify the common building blocks of dynamic, self-contained, models that integrate design-time and runtime aspects. Bridging the gap between design- and runtime models allows the utilization of design information for runtime decisions and reasoning about interaction and presentation semantics. Based on the concept of executable models a set of metamodels is introduced, that picks-up design-time features of current user interface description languages and integrates additional runtime aspects like state information and dynamic behavior. The defined metamodels range from context-, service- and task- to abstract- and concrete interaction model and aim at the definition of the aspects of UUIs on different levels of abstraction. Mappings between the models allow the exchange of information for state synchronization and data exchange. The integration of the concepts into the Multi-Access Service Platform as an architecture for the interpretation of the models, provides a novel approach to utilize user interface models for the creation and handling of Ubiquitous User Interfaces at runtime. It provides components to support shaping according to interaction device specifics, multimodal interaction, user interface distribution and the dynamic adaptation of the user interface to context information. The integration of the stateful user interface models with the outside world is addressed by the projection of the model state to UUI presentations and the stimulation of state transitions within the models, based on user input. Integrating distribution, fusion and adaptation models bridges real-world needs and the modeled user interface definition. Various interaction devices are supported to convey the internal state of the user interface model via a multimodal presentation, distributed across multiple interaction resources. The implementation of the runtime architecture has been integrated into a smart home environment as part of the Service Centric Home project and served as implementation platform for different multimodal home applications. Case studies have been conducted, to evaluate the developed concepts. The realization of various executable models supported their combination into a complex net of models at runtime and allowed to prove the feasibility of the developed approach.
