Capturing the expressiveness of touch : detect, improve, and extend

Möllers, Maximilian Heinrich Gerhard; Borchers, Jan Oliver

doi:999910343007

Capturing the expressiveness of touch : detect, improve, and extend = Erfassen der Ausdrucksfähigkeit von Toucheingaben : Erkennen, Verbessern und Erweitern

Möllers, Maximilian Heinrich Gerhard (Author)

2013 & 2014

Verantwortlichkeitsangabevorgelegt von Maximilian Heinrich Gerhard Möllers

ImpressumAachen 2013

UmfangXXIII Bl., 115 S. : Ill., graph. Darst.

Aachen, Techn. Hochsch., Diss., 2013

Prüfungsjahr: 2013. - Publikationsjahr: 2014

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Borchers, Jan Oliver (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2013-12-13

Online
URN: urn:nbn:de:hbz:82-opus-49650
URL: https://publications.rwth-aachen.de/record/229326/files/4965.pdf

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
Mensch-Maschine-Schnittstelle (Genormte SW) ; Touchscreen (Genormte SW) ; Benutzeroberfläche (Genormte SW) ; Informatik (frei) ; human-computer-interaction (frei) ; user interfaces (frei) ; touch (frei)

Thematische Einordnung (Klassifikation)
DDC: 004
ccs: H.5.2

Kurzfassung
Beim Erstellen neuer Nutzerschnittstellen versucht das Forschungsfeld der Mensch-Computer-Interaktion die Nutzereingabe auf einen wesentlichen Kern zu reduzieren- bei Toucheingaben typischerweise ein 2D-Punkt. Dies erleichtert die Erkennung der Nutzereingabe und vereinfacht auch die Entwicklung von interaktiven Systemen, da die Eingaben weniger unterschiedlich sein können. Des Weiteren kann es den Nutzern helfen, das System besser zu verstehen, da es auf wenige und simple Eingaben reagiert. Auch wenn dies gute Gründe für die bisherige Entwicklung sind, sollten wir nicht die Gelegenheit verschenken und viele Aspekte der Ausdrucksvielfalt des Menschen ignorieren. In dieser Arbeit zeigen wir wie man diese Ausdrucksvielfalt besser erkennen kann und dass dies zu präziseren Eingaben und natürlicheren Schnittstellen führt. In der Einführung zeigen wir zunächst, was eigentlich eine Toucheingabe ist: Was passiert bevor ein Mensch einen Touch ausführt, und wie wird die Eingabe von einem interaktiven System erkannt und interpretiert. Danach zeigen wir im ersten Projekt, wie wir auf einem Tabletop extrem präzise Toucheingaben ermöglichen können. Auf diesem System bauen einige der folgenden Kapitel auf: Im zweiten Kapitel zeigen wir, dass die vorherige Fingerposition einen Einfluss auf die darauf folgende Toucheingabe hat. Wir verdeutlichen auch, dass man diese Kontextinformation nutzen kann, um Fehler bei Toucheingaben zu vermeiden. Zuletzt zeigen wir in dem Kapitel, dass sogar die gesamte Körperhaltung Einfluss auf das Touchverhalten hat. Im dritten Kapitel erweitern wir unser System um einen weiteren Eingabekanal – die Position des Kopf des Nutzers. Das ermöglicht uns, unser 2D-Display zu einem 3D-Display zu erweitern. Wir zeigen dass die Metapher der direkten Manipulation, die typisch für Touchsysteme ist, im Konflikt mit einer perspektivisch korrekten 3D-Darstellung steht. Wir stellen Lösungsvorschläge vor, die zu einer fehlerfreien Interaktion führen. Nachdem wir uns mit der Erweiterung des Touches um kontextuelle Informationen (z.B. Vorgängerposition) und weitere Eingabakanäle (z.B. die Kopfposition) auf planaren Oberflächen beschäftigt haben, werden wir in den folgenden drei Kapiteln dieselbe Fragestellungen schließlich auf beliebig geformten Oberflächen betrachten. Zunächst stellen wir auch hier eine technische Möglichkeit vor, die es erlaubt, beliebige Objekte im Raum zu erkennen und Touches darauf festzustellen. Diese Touchdaten sind jedoch nur der Anfang, da z.B. das Festhalten des Objektes selbst schon als Toucheingabe interpretiert würde. Wir stellen vor, wie wir aus den Touchdaten ermitteln können, wie das Objekt gehalten wurde. Diese Information ermöglicht uns, die Berührungen zu filtern, die nur Teil der Haltegeste sind. Im letzten Kapitel erweitern wir den Touch um die semantischen Informationen des Objektes. Wir erschaffen damit eine neue Interaktionsmetapher für ad-hoc Zweckentfremdung von Alltagsgegenständen. Wir zeigen, wie diese Gegenstände als Eingabekontroller genutzt werden können und somit dedizierte Eingabegeräte überflüssig machen.

Human-Computer-Interaction always tries to reduce user input to a very small amount of in- formation (here touch to 2D point). This allows for easy input processing and easy systems development because the state machine has fewer transitions. It can also help the user, because a simpler UI can be easier to learn. However, we are missing out on a lot of expressiveness in the input from the user, and we will show how we could capture this expressiveness and how we could use it to give more precise input and more natural interfaces. Touch is a means of communicating user intent, and we will show throughout this thesis that a simplification to a 2D point is a significant bottleneck for the interaction between a human and a computer, both on a micro and a macro level, and what we should do instead to grasp the user’s intent and support more natural interactions. As an introduction, we take a close look at what happens before a touch is performed and how this touch is then typically interpreted. Our first project shows a technical solution to get very precise touch information even on large tabletops, necessary for any deeper analysis of touches. We then show how in touch sequences one touch is affected by its predecessor, and that we can exploit this systematic error to improve touch accuracy. We also show extensions of current touch models to take into account body posture, relative location, etc. when interacting with larger tabletops. User location also plays an important role if we extend our direct manipulation surface to a 3D display. We show that the direct manipulation conflicts with the perspectively correct 3D rendering and how we can solve this conflict to have error-free direct manipulation. So far, we have only covered flat, horizontal surfaces, but touches can be performed on any surface, and actually, people have more non-flat and/or mobile input devices at their disposal than tabletops: keyboards, mice, smartphones, remote controls, etc. Similar to our tabletop section, we start out with a technical solution to detect touches on arbitrary objects in 3D space. This raw touch data, however, contains a lot of misguided information because contact with the user’s palm or fingers that are only holding a mobile device create the same input as the actual touch input. To reduce this problem, we propose an algorithm that infers the hand posture from touch data on an arbitrary object, making it easier to understand the user’s intent. As a closure for this thesis, we extend the existing touch-based GUI metaphor to support ad hoc interactions with arbitrary objects. We show how we can repurpose everyday objects as input controllers and remove the necessity of dedicated input devices to control our computers.

Fulltext:
PDF