Natural Interaction with audio playback : tapping physical skills

Heller, Florian; Borchers, Jan Oliver; Brewster, Stephen

doi:urn:nbn:de:hbz:82-rwth-2016-080877

Natural Interaction with audio playback : tapping physical skills = Nutzung natürlicher Fähigkeiten zur Interkation mit Klang-Wiedergabesystemen

Heller, Florian

2016

VerantwortlichkeitsangabeFlorian Heller

Ausgabe1. Auflage

ImpressumAachen : Apprimus 2016

Umfang1 Online-Ressource (xix, 145 Seiten) : Diagramme, Illustrationen

ISBN978-3-86359-461-9

ReiheDissertationen / HCI Center der RWTH Aachen ; 6

Dissertation, RWTH Aachen University, 2016

Auch veröffentlicht auf dem Publikationsserver der RWTH Aachen University

Genehmigende Fakultät
Fak01

Hauptberichter/Gutachter
Borchers, Jan Oliver (Thesis advisor) ; Brewster, Stephen (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2016-06-24

Online
URN: urn:nbn:de:hbz:82-rwth-2016-080877
URL: https://publications.rwth-aachen.de/record/672488/files/672488.pdf
URL: https://publications.rwth-aachen.de/record/672488/files/672488.pdf?subformat=pdfa

Einrichtungen

Inhaltliche Beschreibung (Schlagwörter)
fabric interface (frei) ; textile interface (frei) ; audio (frei) ; spatial audio (frei) ; DJ (frei) ; digital vinyl system (frei) ; audio augmented reality (frei) ; augmented reality (frei) ; turntable (frei)

Thematische Einordnung (Klassifikation)
DDC: 004

Kurzfassung
Als Mensch besitzen wir uns eigene Wahrnehmungs- und motorische Fähigkeiten. Unser räumliches Sehen erlaubt es uns Entfernungen abzuschätzen und unser räumliches Hören kann den Ursprung eines Geräusches sehr genau orten. Mit unseren Händen können wir schnelle und präzise Bewegungen ausführen welche es uns erlauben zu schreiben, zu zeichnen oder ein Instrument zu spielen. In unserer Geschichte haben wir Werkzeuge entworfen die diese Fähigkeiten nutzen und erweitern. Ein wichtiges Werkzeug unserer Zeit, der Computer, nutzt mit Tastatur und Maus ausgestattet diese Fähigkeiten jedoch wenig. Ursprünglich für die Verwaltung von Text und Tabellen entworfen, sind diese Eingabemöglichkeiten oft hinderlich wenn wir andere Medien wie z.B.~Fotos, Musik und Videos betrachten. Um den Computer für Aufgaben wie z.B.~zeichnen zu nutzen, können wir auf Jahrhunderte Entwicklung zurückgreifen und entsprechende Metaphern verwenden. Zeitbasierte Medien sind eine vergleichsweise junge Form von Information, und die bisherigen Interaktionsformen sind technischen Gegebenheiten folgend entstanden. Ziel dieser Arbeit ist es, die Schnittstellen zum Abspielen von Tondokumenten zu überarbeiten damit sie unsere natürlichen Fähigkeiten besser nutzen. Dazu haben wir die Bandbreite der drei betroffenen Interaktionsmodalitäten (haptisch, auditiv, visuell) erhöht. Zuerst haben wir die Eingabebandbreite von tragbaren Musik-Abspielgeräten über die Nutzung von textilen Schnittstellen erhöht. Da wir hier nicht auf Jahrhunderte alte Eingabeformen als Metapher zurückgreifen konnten, haben wir den natürlichen Angebotscharakter von Stoffen genutzt. Im zweiten Abschnitt haben wir ein Abspielgerät mit einer bereits hohen haptischen Interaktionsbandbreite genutzt, um die Erweiterung der visuellen Bandbreite zu untersuchen. Dazu haben wir auf einem DJ-Schallplattenspieler Informationen angezeigt die auf klassischen Schallplatten sichtbar sind, die bei der Transition ins digitale Zeitalter aber verloren gingen. So konnten wir haptische Eingabe und visuelle Ausgabe wieder an einem Ort vereinen. Zuletzt haben wir auch die auditive Interaktionsbandbreite erweitert. Obwohl wir in der Lage sind Schalquellen sehr genau zu orten, ist unser alltägliches Musik-Hörerlebnis eher passiver Natur. Wenn wir Musik über Kopfhörer hören nehmen wir den Ton als im „Kopf” war, und die relative Position der Schallquellen wird zum Zeitpunkt der Aufnahme festgelegt. Wir haben die Möglichkeiten des räumlichen Audio-Simulation genutzt, welche es ermöglicht, die wahrgenommene Position einer virtuellen Schallquelle zu verändern. Da diese Erweiterung der Ausgabebandbreite mehr Steuerungsparameter bietet, haben wir uns gleichzeitig der Eingabebandbreite angenommen um über die Nutzung einfacher Metaphern ein natürliches Hörerlebnis zu generieren.

As humans, we possess inherent perceptual and motor skills: Our stereoscopic vision provides us with depth information and our spatial hearing can localize sounds around us with high accuracy. Our hands are capable of controlling motion with high precision and speed which allows us to write, draw, or play an instrument. Throughout our history we have developed and shaped physical tools that extend and leverage these skills. One important tool of our time, the personal computer equipped with mouse and keyboard, however, is not particularly fit to tasks outside the office domain and falling short of fully leveraging our natural skills. Among the types of information we manage with computers, time-based media like audio recordings, is a comparatively young form of information. Since their debut in the 19th century, audio recording and playback interfaces were always designed along technical constraints. The aim of this thesis is to create audio playback interfaces that leverage our natural skills to a larger extend. To increase the interaction bandwidth, we systematically augmented each of the three modalities involved in the interaction: haptic, visual, and auditory. First, we increased the haptic interaction bandwidth for mobile audio players through different wearable interfaces. They build on the affordances of fabric and allow us to use our fine manual motor skills to control playback parameters. Second, we built on an existing interface for audio playback with an already high haptic interaction bandwidth: the DJ turntable. We extended its visual bandwidth to re-create visual cues for navigation that were lost during the process of digitalization. We could thereby re-locate the haptic input and visual output to a single device. Third, we increased the auditive interaction bandwidth by integrating a spatial component to recorded audio. This let us create engaging audio augmented reality experiences. However, the increased audio interaction bandwidth also provides much more parameters to be controlled. We evaluated the use of different metaphors to control these parameters in a natural way.

OpenAccess:
PDF PDF (PDFA)
(additional files)