Fluency in Dynamic Human-Robot Teaming with Intention Prediction

Titelangaben

Höllerich, Nico:
Fluency in Dynamic Human-Robot Teaming with Intention Prediction.
Bayreuth , 2025 . - IX, 213 S.
( Dissertation, 2025 , Universität Bayreuth, Fakultät für Mathematik, Physik und Informatik)
DOI: https://doi.org/10.15495/EPub_UBT_00008512

Volltext

Link zum Volltext (externe URL):

Angaben zu Projekten

Zugehörige Forschungsdaten

• Software
• Study Logs and Software (Jupyter Notebooks)

Abstract

The market share of collaborative robots in the industry continues to grow steadily.
However, there is still a need to improve human-robot collaboration further to support
the ongoing industrial transformation, enabling robots to take on more tasks and function
as true teammates. This requires advancements in both perception and decision-making
capabilities. This thesis contributes to two key aspects of achieving seamless human-robot
collaboration: perceiving task progress and recognising human intentions, all within a
framework of flexible and fluent cooperation.
The starting point involves two empirical studies on human-human teaming to identify
communication mechanisms and intention prediction capabilities for assembly tasks. The
findings have resulted in the development of a research demonstrator for a cooperative
assembly station, with a particular emphasis on the flexible allocation of task steps and
the integration of intention prediction.
The prototype hardware includes a robot arm, an assembly station, and a depth camera.
Core innovations are the task-state tracking algorithm and the intention prediction component. The task-state tracking algorithm is based on object detection and occlusion data
from the camera. It models task execution in terms of the markings of a Petri net. The
provided Petri net encodes all possible ways to execute the task in a space-efficient manner. Comprehensive evaluations demonstrate the algorithm’s robustness and efficiency
in non-deterministic task executions.
The sequence of task steps executed by the human serves as input to the intention
prediction module, which predicts the next steps using a neural network with a customdesigned feature space. This feature space encodes spatial information to enable efficient,
real-time training for each user interacting with the robot. A comprehensive evaluation
compares the accuracy of the module with traditional action prediction approaches using
data from user interactions with the system.
Finally, this thesis presents a comprehensive study on the system. Based on intention
prediction, different robot behaviours are implemented and evaluated by a user study in
terms of fluency and productivity questionnaires. Post-hoc analysis provides insights into
the interrelationships and effects of robot behaviour on these measures.
In summary, this thesis contributes technical foundations, empirical evaluations, and motivates further investigations into fluent and flexible human-robot teaming with intention
prediction.

Abstract in weiterer Sprache

Der Marktanteil der installierten kollaborativen Roboter in der Industrie nimmt stetig zu.
Dennoch muss die Zusammenarbeit zwischen Mensch und Roboter im Zuge des industriellen Wandels weiter verbessert werden, damit Roboter mehr Aufgaben übernehmen
und zu echten Teamkollegen werden können. Beides erfordert eine weitere Verbesserung
der Wahrnehmung und Entscheidungsfindung. In der vorliegenden Arbeit werden die
Grundpfeiler für eine fließende Mensch-Roboter-Kooperation untersucht. Die angestrebte
Kooperation zeichnet sich durch ihre Flexibilität und ihr fließendes Zusammenspiel aus.
Den Ausgangspunkt der Untersuchung bilden zwei empirische Studien zur MenschMensch-Zusammenarbeit, um Kommunikationsmechanismen und Fähigkeiten zur Intentionserkennung bei Montageaufgaben zu identifizieren. Die Resultate der Untersuchung dienten als Grundlage für die Entwicklung eines Forschungsdemonstrators für
eine kooperative Montagestation, wobei der Schwerpunkt auf der flexiblen Zuweisung
von Aufgabenschritten und der Integration der Intentionserkennung liegt.
Die Hardware des Prototyps umfasst einen Roboterarm, eine Montagestation und eine
Tiefenkamera. Zu den wichtigsten Neuerungen zählen der Algorithmus zur Verfolgung
des Aufgabenzustands sowie die Komponente zur Intentionserkennung. Der Algorithmus zur Verfolgung des Aufgabenzustands basiert auf der Objekterkennung und den
Verdeckungsdaten der Kamera. Er modelliert die Aufgabenausführung in Form von Markierungen in einem Petri-Netz. Das bereitgestellte Petri-Netz kodiert alle möglichen Wege
zur Ausführung der Aufgabe in einer platzsparenden Weise. Die Ergebnisse umfassender
Evaluierungen belegen die Robustheit und Effizienz des Algorithmus bei der Ausführung
nicht-deterministischer Aufgaben.
Die vom Menschen ausgeführte Sequenz von Aufgabenschritten sind Eingabe für die
Intentionserkennung. Das Modul prognostiziert die nächsten Schritte des Menschen unter
Verwendung eines neuronalen Netzes mit einem manuell erstellten Merkmalsraums, der
räumliche Informationen kodiert. Das Training des neuronalen Netzes geschieht während
der Ausführung und passgenau für jeden Nutzer. Eine umfassende Evaluierung vergleicht
die Genauigkeit dieses Moduls mit klassischen Ansätzen zur Handlungsvorhersage unter
Verwendung von Daten aus Benutzerinteraktionen mit dem System.
Schließlich wird in der vorliegenden Arbeit eine umfassende Studie über das Systems
vorgestellt. Auf der Grundlage der Absichtsvorhersage werden verschiedene Verhaltensweisen des Roboters implementiert und durch eine Nutzerstudie hinsichtlich fließenderZusammenarbeit und Produktivität bewertet. Eine Post-hoc-Analyse gibt Aufschluss über
die Zusammenhänge und Auswirkungen des Roboterverhaltens auf diese Messgrößen.
Zusammenfassend liefert die vorliegende Arbeit technische Grundlagen, empirische Auswertungen und motiviert zu weiteren Untersuchungen zur fließenden und flexiblen
Mensch-Roboter Zusammenarbeit mit Intentionsvorhersage.