Meet Your Robotic Work Colleague: Exploring Human-Robot Collaboration in a Virtual Reality based Research Platform
Autonomous robots, capable of collaborating with humans could benefit industrial production by supporting personnel in domains with tedious, repetitive, and dangerous tasks. To make this vision reality, Human-Robot Collaboration (HRC) has established itself as a research field. HRC researchers identified multiple challenges regarding the technical implementation such as enabling the robot to act autonomously, as well as human factors aspects, e.g., expectation conformity. These challenges prevent current realizations of industrial processes involving the collaboration between humans and robots to reach their full potential. Due to the variety of robot representations and shared task requirements, extensive research is needed to develop solutions to overcome these challenges. However, confronting these challenges in empirical studies is restricted due to safety concerns as exposing participants to prototypical implementations of robot collaboration setups either in full contact or close proximity can provoke hazardous situations.
To address this problem, this research presented here proposes a virtual reality (VR) application, where new concepts for HRC configurations can be explored and tested without causing harm to participants. Due to the nature of VR, the application can function as a sandbox, where a wide range of HRC settings can be portrayed without the need for expensive and elaborate setups involving real robots. The design and functionality of the VR application were developed in accordance with the state-of-the-art HRC research literature, established statutory norms, and remarks from industry representatives. The VR application offers several features, such as the implementation of machine learning agents in conjunction with an inverse kinematic system that allows the virtual representation of an autonomous robot to collaborate with a human participant on a designated shared task.
The versatility of the VR application allows for the creation of multiple forms of stimulus materials depending on the requirements of the study, ranging from interactive setups, where participants collaborated with the robot within the virtual environment, and passive media, such as videos and images. Additionally, every parameter within the virtual environment can be adjusted to fit the targeted scenario. By using this VR application, a series of three experimental studies with 80 participants addressed the challenges of HRC by exploring various effects of augmenting an autonomous robot with communication in collaboration scenarios. In addition, two qualitative studies were conducted to complement the research on positive and negative impressions of the robot. Considering that communication is a substantial contributor to the success of collaboration among humans, it is assumed that it benefits HRC as well. However, research is still open to finding an effective arrangement, due to the countless variations of HRC setups that are difficult to recreate in a lab environment.
In addition to the effect of the communication, derived from the challenges of HRC selected human factors variables, such as perceived stress as well as the overall perception of the robot as an intelligent system, were collected due to their potential to affect the collaboration process. To complement the subjective data from the questionnaire, the VR application collected objective data, e.g., the collision frequency and production quantity to investigate the safety and task allocation challenges of HRC.
The qualitative and quantitative results from the conducted empirical studies in this dissertation revealed several benefits regarding the usage of communication in HRC scenarios.
The communication of contextual information in form of guidance for the shared task and explanation of the robot's actions, among other aspects, reduced the perceived stress, improved the overall perception of the robot, and induced the impression of the robot as an intelligent system.
While these studies merely confronted a fraction of the vast challenges of HRC, the results provide a foundation for future design decisions regarding the implementation of industrial HRC scenarios involving autonomous robots. In addition to the results of the empirical studies, a key contribution of this work is the VR application that can be used as a tool to investigate a wide variety of HRC scenarios. The VR application itself provides a platform that can be continuously expanded and used for future studies exploring HRC concepts difficult to evaluate otherwise. Through this VR application, the goal is to contribute to the efforts of the HRC research community to develop a common methodology for the collaboration between humans and robots in industrial environments.
To address this problem, this research presented here proposes a virtual reality (VR) application, where new concepts for HRC configurations can be explored and tested without causing harm to participants. Due to the nature of VR, the application can function as a sandbox, where a wide range of HRC settings can be portrayed without the need for expensive and elaborate setups involving real robots. The design and functionality of the VR application were developed in accordance with the state-of-the-art HRC research literature, established statutory norms, and remarks from industry representatives. The VR application offers several features, such as the implementation of machine learning agents in conjunction with an inverse kinematic system that allows the virtual representation of an autonomous robot to collaborate with a human participant on a designated shared task.
The versatility of the VR application allows for the creation of multiple forms of stimulus materials depending on the requirements of the study, ranging from interactive setups, where participants collaborated with the robot within the virtual environment, and passive media, such as videos and images. Additionally, every parameter within the virtual environment can be adjusted to fit the targeted scenario. By using this VR application, a series of three experimental studies with 80 participants addressed the challenges of HRC by exploring various effects of augmenting an autonomous robot with communication in collaboration scenarios. In addition, two qualitative studies were conducted to complement the research on positive and negative impressions of the robot. Considering that communication is a substantial contributor to the success of collaboration among humans, it is assumed that it benefits HRC as well. However, research is still open to finding an effective arrangement, due to the countless variations of HRC setups that are difficult to recreate in a lab environment.
In addition to the effect of the communication, derived from the challenges of HRC selected human factors variables, such as perceived stress as well as the overall perception of the robot as an intelligent system, were collected due to their potential to affect the collaboration process. To complement the subjective data from the questionnaire, the VR application collected objective data, e.g., the collision frequency and production quantity to investigate the safety and task allocation challenges of HRC.
The qualitative and quantitative results from the conducted empirical studies in this dissertation revealed several benefits regarding the usage of communication in HRC scenarios.
The communication of contextual information in form of guidance for the shared task and explanation of the robot's actions, among other aspects, reduced the perceived stress, improved the overall perception of the robot, and induced the impression of the robot as an intelligent system.
While these studies merely confronted a fraction of the vast challenges of HRC, the results provide a foundation for future design decisions regarding the implementation of industrial HRC scenarios involving autonomous robots. In addition to the results of the empirical studies, a key contribution of this work is the VR application that can be used as a tool to investigate a wide variety of HRC scenarios. The VR application itself provides a platform that can be continuously expanded and used for future studies exploring HRC concepts difficult to evaluate otherwise. Through this VR application, the goal is to contribute to the efforts of the HRC research community to develop a common methodology for the collaboration between humans and robots in industrial environments.
Autonom agierende Roboter, welche in der Lage sind, mit Menschen zusammenzuarbeiten, können die industrielle Produktion bereichern, indem sie das Personal bei mühsamen, sich wiederholenden und gefährlichen Aufgaben unterstützen. Um diese Vision Wirklichkeit werden zu lassen, hat sich die Mensch-Roboter-Kollaboration (MRK) als Forschungsgebiet etabliert. MRK-Forscherinnen und Forscher haben hierbei zahlreiche Herausforderungen bezüglich der technischen Umsetzung identifiziert, z. B. wie man einen Roboter befähigt, autonom zu handeln. Weitere Herausforderungen betreffen Aspekte menschlicher Faktoren (Human Factors), wie beispielsweise die Erwartungskonformität. Diese Herausforderungen verhindern derzeit, dass Industrieprozesse, in denen die Kollaboration zwischen Menschen und Robotern eingesetzt werden, ihr volles Potenzial ausschöpfen. Aufgrund der Vielfalt an Repräsentationen von Robotern und Kollaborativ-Aufgaben, welche durch MRK getätigt werden können, besteht ein hoher Forschungsbedarf, um Lösungen zur Bewältigung dieser Herausforderungen zu entwickeln. Die Entwicklung von Lösungen für diese Herausforderungen wird jedoch durch sicherheitsbedingte Restriktionen bei empirischen Studien eingeschränkt. Durch den direkten oder unmittelbaren Kontakt von prototypischen Umsetzungen von Roboter-Kollaborationsaufbauten mit Probandinnen und Probanden ergibt sich für diese ein nicht zu unterschätzendes Gefahrenpotenzial.
Um dieses Problem anzugehen, wird in der hier vorgestellten Forschungsarbeit eine Virtual Reality (VR) Anwendung präsentiert, mit der neue Konzepte für MRK-Konfigurationen erforscht und getestet werden können, ohne Probandinnen und Probanden einer Gefahr auszusetzen. Durch die Eigenschaften virtueller Realität kann die Anwendung als sogenannte "Sandbox" fungieren, in der ein breites Spektrum an MRK-Konstellationen dargestellt werden können, ohne dass teure und aufwendige Aufbauten mit echten Robotern erforderlich sind. Die Gestaltung und die Funktionalitäten der VR-Anwendung wurden in Übereinstimmung mit dem neuesten Stand der MRK-zentrierten Forschungsliteratur, etablierten gesetzlichen Normen und Befragungen von Industrievertreterinnen und Vertretern entwickelt. Hierdurch bietet die VR-Anwendung mehrere Funktionen, wie z. B. die Implementierung von Software-Agenten für den Einsatz von maschinellem Lernen. In Verbindung mit der integrierten inversen Kinematik ermöglicht diese, dass die virtuelle Darstellung des Roboters mit den menschlichen Probandinnen und Probanden eine Kollaborativ-Aufgabe tätigt.
Die Vielseitigkeit der VR-Anwendung ermöglicht je nach Anforderungen der Studie die Erstellung verschiedener Formen von Stimulus-Materialien. Angefangen bei interaktiven Szenarien, in denen Probandinnen und Probanden innerhalb der virtuellen Umgebung mit dem Roboter zusammenarbeiten, bis hin zu passiven Medien wie Videos und Abbildungen. Darüber hinaus kann jeder Parameter innerhalb der virtuellen Umgebung an das gewünschte Szenario angepasst werden.
Diese VR-Anwendung wurde eingesetzt bei einer Reihe von drei Experimentalstudien mit jeweils 80 Probandinnen und Probanden, ergänzt durch zwei qualitative Studien. Abgeleitet von den Herausforderungen der MRK, untersuchten die Studien, welche Auswirkungen der Einsatz von Kommunikation in Kollaborationsszenarien mit autonom agierenden Robotern nach sich zieht. In Anbetracht der Tatsache, dass Kommunikation einen wesentlichen Faktor zum Erfolg der Kollaboration zwischen Menschen darstellt, ist davon auszugehen, dass diese auch für die Mensch-Roboter-Kollaboration von Vorteil ist. Aufgrund der zahllosen Variationen von MRK-Konfigurationen, die in einer Laborumgebung nur schwer nachgebildet werden können, ist die Erforschung jedoch nur bedingt möglich, um eine effektive Gestaltung zu untersuchen. Zusätzlich zur Kommunikation wurden, abgeleitet von den Herausforderungen der MRK, ausgewählte menschliche Faktoren wie wahrgenommener Stress sowie die allgemeine Wahrnehmung des Roboters als intelligentes System erhoben, da diese den Kollaborationsprozess beeinflussen können. Zur Ergänzung der subjektiven Daten aus dem Fragebogen erhob die VR-Anwendung zusätzlich objektive Daten, wie z. B. die Kollisionshäufigkeit und die Produktionsmenge, um die Herausforderungen der Sicherheit und der Aufgabenverteilung in einem MRK-Arbeitsprozess zu untersuchen. Die qualitativen und quantitativen Ergebnisse, welche in den empirischen Studien dieser Dissertation durchgeführt worden sind, zeigten mehrere Vorteile in Bezug auf den Einsatz von Kommunikation in MRK-Szenarien. Die Vermittlung von kontextsensitiven Informationen in Form von Hilfestellungen für die gemeinsame Aufgabe und Erklärungen, welche die Handlungen des Roboters erläuterten, verringerte unter anderem den empfundenen Stress. Darüber hinaus verbesserten diese die Gesamtwahrnehmung des Roboters und vermittelten den Eindruck, dass der Roboter ein intelligentes System ist.
Obwohl diese Studien nur einen Bruchteil der enormen Herausforderungen der MRK abdecken, bieten die Ergebnisse eine Grundlage für zukünftige Gestaltungsentscheidungen hinsichtlich der Implementierung von industriellen MRK-Szenarien mit autonomen Robotern. Neben den Ergebnissen der empirischen Studien ist ein wesentlicher Beitrag dieser Arbeit die VR-Anwendung, die als Werkzeug zur Untersuchung einer Vielzahl von MRK-Szenarien verwendet werden kann. Die VR-Anwendung selbst bietet eine Plattform, die kontinuierlich erweitert und für künftige Studien genutzt werden kann, in denen MRK-Konzepte erforscht werden können, die in herkömmlichen Laborstudien nur sehr schwer zu untersuchen sind. Ziel ist es, durch diese VR-Anwendung einen Beitrag zu den Bemühungen der MRK-Forschungsgemeinschaft zu leisten und eine gemeinsame Methodik für die Zusammenarbeit zwischen Menschen und Robotern in industriellen Umgebungen zu entwickeln.
Um dieses Problem anzugehen, wird in der hier vorgestellten Forschungsarbeit eine Virtual Reality (VR) Anwendung präsentiert, mit der neue Konzepte für MRK-Konfigurationen erforscht und getestet werden können, ohne Probandinnen und Probanden einer Gefahr auszusetzen. Durch die Eigenschaften virtueller Realität kann die Anwendung als sogenannte "Sandbox" fungieren, in der ein breites Spektrum an MRK-Konstellationen dargestellt werden können, ohne dass teure und aufwendige Aufbauten mit echten Robotern erforderlich sind. Die Gestaltung und die Funktionalitäten der VR-Anwendung wurden in Übereinstimmung mit dem neuesten Stand der MRK-zentrierten Forschungsliteratur, etablierten gesetzlichen Normen und Befragungen von Industrievertreterinnen und Vertretern entwickelt. Hierdurch bietet die VR-Anwendung mehrere Funktionen, wie z. B. die Implementierung von Software-Agenten für den Einsatz von maschinellem Lernen. In Verbindung mit der integrierten inversen Kinematik ermöglicht diese, dass die virtuelle Darstellung des Roboters mit den menschlichen Probandinnen und Probanden eine Kollaborativ-Aufgabe tätigt.
Die Vielseitigkeit der VR-Anwendung ermöglicht je nach Anforderungen der Studie die Erstellung verschiedener Formen von Stimulus-Materialien. Angefangen bei interaktiven Szenarien, in denen Probandinnen und Probanden innerhalb der virtuellen Umgebung mit dem Roboter zusammenarbeiten, bis hin zu passiven Medien wie Videos und Abbildungen. Darüber hinaus kann jeder Parameter innerhalb der virtuellen Umgebung an das gewünschte Szenario angepasst werden.
Diese VR-Anwendung wurde eingesetzt bei einer Reihe von drei Experimentalstudien mit jeweils 80 Probandinnen und Probanden, ergänzt durch zwei qualitative Studien. Abgeleitet von den Herausforderungen der MRK, untersuchten die Studien, welche Auswirkungen der Einsatz von Kommunikation in Kollaborationsszenarien mit autonom agierenden Robotern nach sich zieht. In Anbetracht der Tatsache, dass Kommunikation einen wesentlichen Faktor zum Erfolg der Kollaboration zwischen Menschen darstellt, ist davon auszugehen, dass diese auch für die Mensch-Roboter-Kollaboration von Vorteil ist. Aufgrund der zahllosen Variationen von MRK-Konfigurationen, die in einer Laborumgebung nur schwer nachgebildet werden können, ist die Erforschung jedoch nur bedingt möglich, um eine effektive Gestaltung zu untersuchen. Zusätzlich zur Kommunikation wurden, abgeleitet von den Herausforderungen der MRK, ausgewählte menschliche Faktoren wie wahrgenommener Stress sowie die allgemeine Wahrnehmung des Roboters als intelligentes System erhoben, da diese den Kollaborationsprozess beeinflussen können. Zur Ergänzung der subjektiven Daten aus dem Fragebogen erhob die VR-Anwendung zusätzlich objektive Daten, wie z. B. die Kollisionshäufigkeit und die Produktionsmenge, um die Herausforderungen der Sicherheit und der Aufgabenverteilung in einem MRK-Arbeitsprozess zu untersuchen. Die qualitativen und quantitativen Ergebnisse, welche in den empirischen Studien dieser Dissertation durchgeführt worden sind, zeigten mehrere Vorteile in Bezug auf den Einsatz von Kommunikation in MRK-Szenarien. Die Vermittlung von kontextsensitiven Informationen in Form von Hilfestellungen für die gemeinsame Aufgabe und Erklärungen, welche die Handlungen des Roboters erläuterten, verringerte unter anderem den empfundenen Stress. Darüber hinaus verbesserten diese die Gesamtwahrnehmung des Roboters und vermittelten den Eindruck, dass der Roboter ein intelligentes System ist.
Obwohl diese Studien nur einen Bruchteil der enormen Herausforderungen der MRK abdecken, bieten die Ergebnisse eine Grundlage für zukünftige Gestaltungsentscheidungen hinsichtlich der Implementierung von industriellen MRK-Szenarien mit autonomen Robotern. Neben den Ergebnissen der empirischen Studien ist ein wesentlicher Beitrag dieser Arbeit die VR-Anwendung, die als Werkzeug zur Untersuchung einer Vielzahl von MRK-Szenarien verwendet werden kann. Die VR-Anwendung selbst bietet eine Plattform, die kontinuierlich erweitert und für künftige Studien genutzt werden kann, in denen MRK-Konzepte erforscht werden können, die in herkömmlichen Laborstudien nur sehr schwer zu untersuchen sind. Ziel ist es, durch diese VR-Anwendung einen Beitrag zu den Bemühungen der MRK-Forschungsgemeinschaft zu leisten und eine gemeinsame Methodik für die Zusammenarbeit zwischen Menschen und Robotern in industriellen Umgebungen zu entwickeln.