Simulating Interaction Movements via Model Predictive Control and Deep Reinforcement Learning

Titelangaben

Klar, Markus:
Simulating Interaction Movements via Model Predictive Control and Deep Reinforcement Learning.
Bayreuth , 2024 . - XII, 234 S.
( Dissertation, 2024 , Universität Bayreuth, Fakultät für Mathematik, Physik und Informatik)
DOI: https://doi.org/10.15495/EPub_UBT_00007513

Volltext

Link zum Volltext (externe URL):

Abstract

To evaluate the interaction between users and computers, user testing is the gold standard.
However, conducting user studies can be arduous and expensive, particularly for movementbased
applications in virtual or mixed reality. Additionally, their fast-paced development
requires quick and cheap evaluations of interaction techniques. This thesis examines how
user movements during interaction with computers can be simulated using optimal control
methods. The simulation of human movements enables the automatic evaluation of interaction
techniques for variables that are difficult to measure such as muscle activation, muscle fatigue
or ergonomics. To enable the simulation of the whole human-computer interaction loop,
this thesis presents a general framework for modeling interactions as an optimal control
problem. The approach accounts for the dynamics of the application, input devices, and
the human body. The latter can be exemplified through a biomechanical model of a user,
which is implemented in a physics simulation. The optimal control problem is formulated
as a closed control loop that translates the user’s actions into application updates that are
perceived by the user. The user’s control strategy is then adjusted based on this perception,
with the aim of achieving a pre-defined goal in the form of a cost or reward function. This
thesis explores diverse control methods for the simulated user via muscle signals across
various interaction scenarios. For instance, I show that the simulation of mouse-pointing
with a Linear-Quadratic Regulator outperforms previous approaches in explaining user data.
I demonstrate that Model Predictive Control can model 3D movement with biomechanical
models and predict joint movements of users during a mid-air pointing task. In addition
to classical control-theoretic approaches, I show how reinforcement learning methods can
be used to simulate user movements in different VR tasks and present a system that allows
developers to run simulations while working in a development environment. I conclude that
the presented movement simulation is a promising approach for the automated evaluation of
interactive systems and can help to improve the development of novel interaction techniques.

Abstract in weiterer Sprache

Um die Interaktion zwischen Benutzern und Computern effizient zu bewerten, sind Benutzertests
wichtig, aber oft aufwendig und teuer. Dies gilt besonders für bewegungsbasierte
Anwendungen in virtueller oder gemischter Realität. Darüber hinaus erfordert die rasante
Entwicklung dieser Anwendungen eine schnelle und kostengünstige Bewertung von Interaktionstechniken.
Daher wird in dieser Abhandlung die Simulation von Benutzerbewegungen
mittels Optimalsteuerungsmethoden untersucht. Die Simulation menschlicher Bewegungen
ermöglicht die automatische Bewertung von Interaktionstechniken für schwer messbare
Variablen wie beispielsweise Muskelaktivierung, Muskelermüdung oder Ergonomie. Um
die Simulation der gesamten Mensch-Computer-Interaktionsschleife zu ermöglichen, wird
in dieser Arbeit eine allgemeine Rahmenstruktur für die Modellierung von Interaktionen
als Optimalsteuerungsproblem vorgestellt. Der Ansatz berücksichtigt dabei die Dynamik
der Anwendung, der Eingabegeräte und des menschlichen Körpers. Das Optimalsteuerungsproblem
bildet einen geschlossenen Regelkreis, der die Anwendung auf Basis der
Aktionen des Benutzers aktualisiert, was wiederum vom Benutzer wahrgenommen werden
kann. Die Kontrollstrategie des Benutzers kann dann entsprechend dieser Wahrnehmung
angepasst werden, um ein vordefiniertes Ziel in Form einer Kosten- oder Belohnungsfunktion
zu erreichen. Es wird unter Anderem gezeigt, dass die Simulation des Mauszeigers
mit einem linear-quadratischen Regler Benutzerdaten besser erklären kann als vorherige
Ansätze. Des Weiteren wird demonstriert, dass modellprädiktive Regelung in der Lage ist,
3D-Bewegungen mit biomechanischen Modellen zu modellieren und Gelenkbewegungen von
Nutzern während einer Mid-Air-Pointing-Aufgabe vorherzusagen. Neben den klassischen
steuerungstheoretischen Ansätzen wird erläutert, wie verstärktes Lernen für die Simulation
von Benutzerbewegungen bei diversen VR-Aufgaben genutzt werden kann. Abschließend
wird ein System vorgestellt, das Entwicklern die Möglichkeit gibt, Benutzerbewegungen zu
simulieren, während sie mit einer Entwicklungsumgebung arbeiten. Zusammenfassend kann
festgestellt werden, dass die Bewegungssimulation mit Optimalsteuerungsmethoden einen
vielversprechenden Ansatz für die automatisierte Evaluierung interaktiver Systeme bietet
und dazu beitragen kann, die Entwicklung neuer Interaktionstechniken zu verbessern.