An Optimal Feedback Control Perspective on Human-Computer Interaction

Titelangaben

Fischer, Florian:
An Optimal Feedback Control Perspective on Human-Computer Interaction.
Bayreuth , 2024 . - XII, 248
( Dissertation, 2024 , Universität Bayreuth, Fakultät für Mathematik, Physik und Informatik)
DOI: https://doi.org/10.15495/EPub_UBT_00007451

Volltext

Link zum Volltext (externe URL):

Abstract

This thesis develops the idea of Optimal Feedback Control (OFC) as a theory of Human-Computer Interaction (HCI).
Acknowledging that most interactive behavior is fundamentally based on movements of the user's body, a novel Optimal Control Framework for HCI is proposed that combines the dynamics of the user's body, the input device, and the interface into a single, mathematical model.
This framework allows to simulate interaction movements in a time-continuous and holistic manner, paving the way for in-depth investigations of the effects of individual design parameters (e.g., the position of a button in a graphical user interface) on the performance, ergonomics, strategies, and internal beliefs of users.

Starting with the standard mouse pointing task, I compare several optimal control methods in terms of their ability to predict and explain experimentally observed pointing movements.
As a main result, it is shown that a simple linear-quadratic OFC model with signal-dependent Gaussian noise can replicate one-dimensional cursor trajectories both in terms of average behavior and between-trial variability.
In addition, I demonstrate how the presented framework can be leveraged to infer causal relationships between all modeled quantities, e.g., to explain how the magnitude of visual observation noise might affect both internal beliefs and the resulting mouse cursor trajectories.

Building on these findings for the linear case, models and methods are presented that account for large body movements and thus can be used to model non-linear interactions.
Specifically, I investigate the capabilities that recent optimal control methods such as Model Predictive Control (MPC) and Model-Free Deep Reinforcement Learning (DeepRL) offer for simulating interaction movements when combined with a state-of-the-art biomechanical model of the human upper extremity implemented in the MuJoCo physics engine.
I show that policies learned via DeepRL produce reasonable mid-air movements, while exhibiting well-established movement characteristics such as Fitts' Law for mid-air pointing and the 2/3 Power Law for ellipse tracing.
Similarly, MPC can be used to predict interaction movement within between-user variability for different VR-related mid-air pointing techniques.
A comparison of three different composite cost functions shows that the combination of distance, control, and joint acceleration costs best matches individual user movements observed in a pointing study.

In addition, the novel modular and visuomotor simulation framework User-in-the-Box is presented, which extends biomechanical user models with muscle control, visual input, and access to a modeled interaction environment.
In particular, it is demonstrated that a learned muscle-actuated control policy allows modeling different low-level interaction tasks such as pointing, tracking, or choice reaction using cognitively plausible controls, while exhibiting characteristic movement regularities as observed in a pointing study.
I also show how biomechanical user simulations can be used in existing VR interaction environments.
For this purpose, the SIM2VR platform is developed, whose perceptual-motor interface allows simulation models to "see" and "control" the exact same environment as real users.

To make the presented approach more accessible, especially to those with little experience in biomechanical modeling and optimization, I provide Python code to apply and evaluate all the presented OFC methods, give recommendations on how to choose the reward function and appropriate models, and introduce CFAT, a novel inverse computation tool that allows to infer model-specific maximum voluntary torques from a given set of recorded user movements.

Overall, this thesis demonstrates that a continuous view of interaction, focusing on the time-varying states of both the human body and the interaction environment, provides a deeper understanding of the factors that underlie and fundamentally influence human-computer interaction.

Abstract in weiterer Sprache

Diese Arbeit beschäftigt sich mit der Idee von Optimal Feedback Control (OFC) als Theorie der Mensch-Computer Interaktion.
Da die meisten Formen von Interaktion wesentlich durch Körperbewegungen des Benutzers beeinflusst werden, wird ein neues Framework, das Optimal Control Framework for Human-Computer Interaction, entwickelt, das die Dynamik des Körpers des Benutzers, des Eingabegeräts und des Interfaces in einem gemeinsamen, mathematischen Modell vereint.
Dieses Framework ermöglicht die zeitkontinuierliche Simulation von Interaktionsbewegungen und ebnet damit den Weg für weitergehende Untersuchungen der Auswirkungen einzelner modellierter Designparameter (z.B. der Position eines bestimmten Buttons) auf die Performance, Ergonomie und Strategie sowie auf die internen Vorstellungen und Erwartungen der Nutzer.

Anhand der klassischen Aufgabe einer zielgerichteten Mausbewegung werden verschiedene optimale Kontrollmethoden hinsichtlich ihrer Fähigkeit untersucht, experimentell beobachtete Mausbewegungen vorherzusagen und zu erklären.
Es kann gezeigt werden, dass ein einfaches linear-quadratisches OFC-Modell mit signalabhängigem Gaußschen Rauschen in der Lage ist, eindimensionale Cursor-Trajektorien sowohl hinsichtlich der erwarteten Bewegung als auch der Variabilität zwischen einzelnen Versuchen zu replizieren.
Darüber hinaus wird aufgezeigt, wie das vorgestellte Framework verwendet werden kann, um kausale Zusammenhänge zwischen den verschiedenen Modellvariablen abzuleiten, beispielsweise wie die Größe des Rausschens visueller Beobachtungen sowohl die internen Vorstellungen als auch die resultierenden Mauszeiger-Trajektorien beeinflussen kann.

Ausgehend von diesen Erkenntnissen für den linearen Fall werden Modelle und Methoden vorgestellt, die auch größere Körperbewegungen berücksichtigen können und sich somit für die Modellierung nichtlinearer Interaktionen eignen.
Dabei wird insbesondere das Potential untersucht, das aktuelle Optimalsteuerungsmethoden wie Model Predictive Control (MPC) und Model-Free Deep Reinforcement Learning (DeepRL) in Kombination mit einem komplexen, in der Physiksimulation MuJoCo impementierten, biomechanischen Schulter- und Armmodell für die Simulation von Interaktionsbewegungen bieten.
Es kann gezeigt werden, dass Strategien, die mittels DeepRL erlernt wurden, vernünftige "Mid-Air"-Bewegungen erzeugen und gleichzeitig bekannten Mustern wie Fitts' Law bei zielgerichteten Zeigebewegungen oder dem 2/3 Power Law beim Nachfahren einer vorgegebenen Ellipse folgen.
In ähnlicher Weise ermöglicht MPC die Vorhersage von Interaktionsbewegungen für verschiedene Mid-Air-Pointing-Techniken mit einer Genauigkeit, die mit der von Vorhersagen vergleichbar ist, die aus Nutzerstudien abgeleitet werden.
Ein Vergleich zwischen drei verschiedenen zusammengesetzten Kostenfunktionen zeigt, dass die Kombination aus Entfernungs-, Kontroll- und Gelenkbeschleunigungskosten die einzelnen Interaktionsbewegungen, die im Rahmen einer Pointing-Nutzerstudie aufgezeichnet wurden, am besten widerspiegelt.

Des Weiteren wird das modulare, visuomotorische Simulationsframework User-in-the-Box vorgestellt, welches biomechanisches Nutzermodelle um Muskelsteuerung, visuellen Input und den Zugriff auf eine modellierte Interaktionsumgebung erweitert.
Damit kann gezeigt werden, dass eine erlernte muskelbasierte Kontrollpolitik verschiedene Low-Level-Interaktionsaufgaben wie pointing, tracking oder choice reaction mit kognitiv plausibler Kontrolle löst und dabei charakteristischen Bewegungsmustern folgt, die bereits in der Pointing-Studie beobachtet wurden.
Zudem wird aufgezeigt, wie biomechanische Benutzersimulationen in existierenden VR-Interaktionsumgebungen verwendet werden können.
Zu diesem Zweck wird die Plattform SIM2VR entwickelt, deren sensomotorische Schnittstelle es Simulationsmodellen ermöglicht, genau die gleiche Umgebung zu "sehen" und zu "steuern" wie reale Nutzer.

Um den vorgestellten Ansatz auch ohne Vorkenntnisse über biomechanische Modelle oder Optimierungsverfahren leichter zugänglich zu machen, wird Python-Code, mit dem alle vorgestellten OFC-Methoden angewendet und ausgewertet werden können, sowie CFAT, ein neues Werkzeug zur inversen Berechnung der modellspezifischen Maximalkräfte basierend auf einem Datensatz von Nutzerbewegungen, zur Verfügung gestellt.
Darüber hinaus werden auch Empfehlungen für die Auswahl geeigneter Modelle und Kostenfunktionen gegeben.

Insgesamt zeigt diese Arbeit, dass eine kontinuierliche Betrachtung der Interaktion mit Fokus auf die zeitlich variierenden Zuständen sowohl des menschlichen Körpers als auch der Interaktionsumgebung ein tieferes Verständnis der Faktoren ermöglicht, die menschlicher Interaktion zugrunde liegen und diese maßgeblich beeinflussen.