Lung-Pan Cheng

• Ever since the conception of the virtual reality headset in 1968, many researchers have argued that the next step in virtual reality is to allow users to not only see and hear, but also feel virtual worlds. One approach is to use mechanical equipment to provide haptic feedback, e.g., robotic arms, exoskeletons and motion platforms. However, the size and the weight of such mechanical equipment tends to be proportional to its target’s size and weight, i.e., providing human-scale haptic feedback requires human-scale equipment, often restricting them to arcades and lab environments. The key idea behind this dissertation is to bypass mechanical equipment by instead leveraging human muscle power. We thus create software systems that orchestrate humans in doing such mechanical labor—this is what we call human actuation. A potential benefit of such systems is that humans are more generic, flexible, and versatile than machines. This brings a wide range of haptic feedback to modern virtual reality systems. We start with aEver since the conception of the virtual reality headset in 1968, many researchers have argued that the next step in virtual reality is to allow users to not only see and hear, but also feel virtual worlds. One approach is to use mechanical equipment to provide haptic feedback, e.g., robotic arms, exoskeletons and motion platforms. However, the size and the weight of such mechanical equipment tends to be proportional to its target’s size and weight, i.e., providing human-scale haptic feedback requires human-scale equipment, often restricting them to arcades and lab environments. The key idea behind this dissertation is to bypass mechanical equipment by instead leveraging human muscle power. We thus create software systems that orchestrate humans in doing such mechanical labor—this is what we call human actuation. A potential benefit of such systems is that humans are more generic, flexible, and versatile than machines. This brings a wide range of haptic feedback to modern virtual reality systems. We start with a proof-of-concept system—Haptic Turk, focusing on delivering motion experiences just like a motion platform. All Haptic Turk setups consist of a user who is supported by one or more human actuators. The user enjoys an interactive motion simulation such as a hang glider experience, but the motion is generated by those human actuators who manually lift, tilt, and push the user’s limbs or torso. To get the timing and force right, timed motion instructions in a format familiar from rhythm games are generated by the system. Next, we extend the concept of human actuation from 3-DoF to 6-DoF virtual reality where users have the freedom to walk around. TurkDeck tackles this problem by orchestrating a group of human actuators to reconfigure a set of passive props on the fly while the user is progressing in the virtual environment. TurkDeck schedules human actuators by their distances from the user, and instructs them to reconfigure the props to the right place on the right time using laser projection and voice output. Our studies in Haptic Turk and TurkDeck showed that human actuators enjoyed the experience but not as much as users. To eliminate the need of dedicated human actuators, Mutual Turk makes everyone a user by exchanging mechanical actuation between two or more users. Mutual Turk’s main functionality is that it orchestrates the users so as to actuate props at just the right moment and with just the right force to produce the correct feedback in each other's experience. Finally, we further eliminate the need of another user, making human actuation applicable to single-user experiences. iTurk makes the user constantly reconfigure and animate otherwise passive props. This allows iTurk to provide virtual worlds with constantly varying or even animated haptic effects, even though the only animate entity present in the system is the user. Our demo experience features one example each of iTurk’s two main types of props, i.e., reconfigurable props (the foldable board from TurkDeck) and animated props (the pendulum). We conclude this dissertation by summarizing the findings of our explorations and pointing out future directions. We discuss the development of human actuation compare to traditional machine actuation, the possibility of combining human and machine actuators and interaction models that involve more human actuators.…
• Seit der Konzeption des Virtual-Reality-Headsets im Jahr 1968 argumentieren Forscher, der nächste Schritt in der virtuellen Realität ist nicht nur zu sehen und zu hören, sondern in virtuelle Welten auch fühlen zu können. Ein Ansatz solch haptisches Feedback zu geben ist die Verwendung mechanischer Ausrüstung, etwa Roboterarme, Exoskelette und Bewegungsplattformen. Jedoch sind die Größe und das Gewicht solcher Ausrüstung proportional zur Größe und Gewicht der Person, d. h. haptisches Feedback für einen Menschen erfordert Ausrüstung mit Größe und Gewicht eines Menschen. Dieses Ausmaß an Gerätschaften ist oft limitiert auf Arkaden oder Laborumgebungen. Der Schlüsselgedanke dieser Dissertation besteht darin, mechanische Geräte zu umgehen und stattdessen menschliche Muskelkraft zu nutzen. Wir erstellen Softwaresystem, die Menschen bei mechanischen Arbeiten orchestrieren, um anderen Menschen haptisches Feedback zu geben. Dies nennen wir „Human Actuation“ – menschliche Aktuierung. Ein möglicher Vorteil solcher Systeme ist es, dassSeit der Konzeption des Virtual-Reality-Headsets im Jahr 1968 argumentieren Forscher, der nächste Schritt in der virtuellen Realität ist nicht nur zu sehen und zu hören, sondern in virtuelle Welten auch fühlen zu können. Ein Ansatz solch haptisches Feedback zu geben ist die Verwendung mechanischer Ausrüstung, etwa Roboterarme, Exoskelette und Bewegungsplattformen. Jedoch sind die Größe und das Gewicht solcher Ausrüstung proportional zur Größe und Gewicht der Person, d. h. haptisches Feedback für einen Menschen erfordert Ausrüstung mit Größe und Gewicht eines Menschen. Dieses Ausmaß an Gerätschaften ist oft limitiert auf Arkaden oder Laborumgebungen. Der Schlüsselgedanke dieser Dissertation besteht darin, mechanische Geräte zu umgehen und stattdessen menschliche Muskelkraft zu nutzen. Wir erstellen Softwaresystem, die Menschen bei mechanischen Arbeiten orchestrieren, um anderen Menschen haptisches Feedback zu geben. Dies nennen wir „Human Actuation“ – menschliche Aktuierung. Ein möglicher Vorteil solcher Systeme ist es, dass Menschen generischer, flexibler und vielseitiger sind als gängige mechanische Ausrüstung. Dies bringt eine neue Bandbreite von haptischen Feedbackmöglichkeiten in moderne Virtual-Reality-Systeme. Wir beginnen mit einem Proof-of-Concept-System– Haptic Turk, mit Schwerpunkt auf die Bewegungserlebnisse, die eine solche menschliche Bewegungsplattform liefert. Alle Haptic Turk Konfigurationen bestehen aus einem Nutzer, sowie einem oder mehreren Menschen, die den Nutzer unterstützen, den Aktuatoren. Der Nutzer genießt eine interaktive Bewegungssimulation wie zum Beispiel die Simulation eines Hängegleiters, jedoch wird die Bewegung von Menschen erzeugt, die die Gliedmaßen des Benutzers manuell heben, kippen und drücken. Um das Timing einzuhalten, folgen Sie den Anweisungen des Systems. Ein aus Rhythmusspielen bekanntes Format wird dabei dynamisch von dem System erzeugt. Als nächstes erweitern wir das Konzept von „Human Actuation“ um 3-DoF auf 6-DoF Virtual Reality. Das heißt, Nutzer haben nun die Freiheit in der virtuellen Welt umherzugehen. TurkDeck löst dieses Problem, indem es eine Gruppe menschlicher Aktuatoren orchestriert, die eine Reihe von Requisiten rekonfigurieren, die der Nutzer fühlen kann, während er sich in der virtuellen Umgebung fortbewegt. TurkDeck plant die Positionierung der Menschen und weist sie zur richtigen Zeit an, die Requisiten an den richtigen Ort zu stellen. TurkDeck erreicht dies mit Hilfe von Laserprojektion und einer Anweisung gebender synthetischen Stimme. Unsere Studien zu Haptic Turk und TurkDeck zeigen, dass menschliche Aktuatoren ihre Erfahrung zwar genießen, jedoch in dem Ausmaß wie der Nutzer selbst. Um menschliche Aktuatoren mehr einzubeziehen macht Mutual Turk aus jedem Aktuator einen Nutzer, d.h. mehrere Nutzer geben sich gegenseitig haptisches Feedback. Die Hauptfunktion von Mutual Turk besteht darin, dass es seine Nutzer so orchestriert, dass sie die richtigen Requisiten im richtigen Moment und im richtigen Ausmaß betätigen, um so das richtige Feedback in der Erfahrung des Anderen zu erzeugen. Schlussendlich eliminieren wir die Notwendigkeit anderer Nutzer gänzlich und ermöglichen Erfahrungen für Einzelnutzer. iTurk lässt seinen Nutzer passive Requisiten neu konfigurieren und animieren. Dadurch kann iTurk virtuelle Welten mit stetig wechselnden Möglichkeiten bereitstellen oder sogar haptische Effekte generieren, obwohl jede Bewegung im System vom Nutzer selbst ausgelöst wird. Unsere Demo-Applikation verfügt über je ein Beispiel der von iTurk ermöglichten zwei Haupttypen von Requisiten - rekonfigurierbare Requisiten (eine faltbare Tafel aus TurkDeck) und animierter Requisiten (ein Pendel). Wir schließen die Dissertation mit Verweisen auf mögliche Forschungsrichtungen ab, die sich durch die präsentierten Systeme ergeben. Wir diskutieren „Human Actuation“ sowohl im Vergleich zu herkömmlichen mechanischen Geräten, aber auch in der Kombination, da sich mechanische Geräte und Menschen gegenseitig ergänzen können. Zudem erkunden wir mögliche Interaktionsmodelle, die sich durch das Einbeziehen von menschlichen Aktuatoren ergeben.…