Optimal Control of Acoustic Levitation Displays : Bridging the Gap Between Physical and Virtual Worlds

Titelangaben

Paneva, Viktorija:
Optimal Control of Acoustic Levitation Displays : Bridging the Gap Between Physical and Virtual Worlds.
Bayreuth , 2023 . - XVIII, 252 S.
( Dissertation, 2023 , Universität Bayreuth, Fakultät für Mathematik, Physik und Informatik)
DOI: https://doi.org/10.15495/EPub_UBT_00007372

Volltext

Link zum Volltext (externe URL):

Abstract

Acoustic levitation displays use focused ultrasound waves to trap small particles in mid-air. This allows for the creation of versatile physical interfaces, that present visual content, made of levitated matter, in real physical space. The content can be seen from many angles, and contrast, illumination, and depth cues are all correct. In this manner, users are able to employ their innate skills for perceiving and interacting with physical objects in the real world, potentially making the interaction with the display natural and intuitive. Additionally, wave modulation techniques enable the generation of perceivable haptic points in mid-air, further enhancing the multimodal output. However, to develop the full potential of this novel interface, we need algorithms that enable optimal control of the dynamics of the physical trap-particle system, such that the levitated matter moves smoothly, accurately traces the predefined paths, and responds to user input in an agile and robust manner.
In this dissertation, I present several concepts and their implementations aimed at increasing the performance, versatility, and usability of acoustic levitation displays. I demonstrate an interactive levitated cursor that smoothly moves in physical 3D space. In addition, I investigate the optimal spatial and temporal resolution parameters, that result in accurate perception of multi-point ultrasonic mid-air haptic feedback. I derive a semi-analytical mathematical model of the movement dynamics of a levitated particle in an acoustic field. Using this model, I create an interactive simulation in Virtual Reality that exhibits the dynamic properties of the real interface, i.e., a virtual twin of the physical levitator, for the purpose of rapid prototyping and early-stage user interface evaluations. Finally, I introduce a powerful numerical approach that computes physically feasible trap trajectories that enable the rendering of generic mid-air shapes, given only a reference path with no timing information. This allows for the generation of bigger and more complex levitated graphics than previously possible. The individual implementations have been evaluated and validated in multiple user studies and performance tests.
The contributions of this dissertation in advancing acoustic levitation displays open up possibilities for the development of transformative interfaces that integrate the physical and virtual worlds, offering exciting potential for immersive experiences in the future.

Abstract in weiterer Sprache

Akustische Levitationsdisplays erzeugen durch fokussierte Ultraschallwellen akustische Fallen, die kleine Partikel in der Luft schweben lassen. Damit lassen sich Inhalte im realen physischen Raum darstellen, die aus vielen Blickwinkeln betrachtet werden können. Darüberhinaus sind Kontrast, Beleuchtung und Tiefenhinweise naturgetreu. Dies eröffnet vielseitige physische Benutzerschnittstellen und ermöglicht den Nutzenden, ihre angeborenen Fähigkeiten zur Wahrnehmung und Interaktion mit realen Objekten einzusetzen, um mit dem Display natürlich und intuitiv zu interagieren. Des Weiteren ermöglichen Wellenmodulationstechniken die Erzeugung wahrnehmbarer haptischer Punkte in der Luft und auf der Haut, was die multimodale Ausgabe verbessert. Um jedoch das volle Potenzial auszuschöpfen, werden Algorithmen benötigt, die es ermöglichen, die Dynamik zwischen den erzeugten akustischen Fallen und dem schwebenden Partikel optimal zu steuern, so dass sich das schwebende Partikel schnell und gleichmäßig bewegt, die vordefinierten Pfade genau abfährt und auf Benutzereingaben agil und robust reagiert.
In dieser Dissertation stelle ich mehrere Konzepte und deren Implementierungen vor, die darauf abzielen, die Leistung, Vielseitigkeit und Bedienbarkeit von akustischen Levitationsdisplays zu verbessern. Ich präsentiere einen hochgradig interaktiven schwebenden Cursor, der sich reibungslos im physischen 3D-Raum bewegt. Darüber hinaus untersuche ich die optimalen räumlichen und zeitlichen Auflösungsparameter, die zu einer präzisen Wahrnehmung von haptischem Mehrpunkt-Ultraschall-Feedback in der Luft führen. Ich leite ein semi-analytisches mathematisches Modell der Bewegungsdynamik eines levitierenden Partikels in einem akustischen Feld her. Anschließend verwende ich dieses Modell, um eine interaktive Simulation in der virtuellen Realität zu erstellen, die die dynamischen Eigenschaften der realen Schnittstelle virtuell widerspiegelt – ein sog. virtueller Zwilling des physischen Levitationsdisplays. Dieser erleichtert Rapid Prototyping und die Evaluierung neuer Benutzerschnittstellen in den frühen Phasen des iterativen Designprozesses. Schließlich stelle ich einen leistungsstarken numerischen Ansatz vor, der auf der optimalen Steuerung der Dynamik zwischen den erzeugten akustischen Fallen und dem schwebenden Partikel beruht. Dieser errechnet eine auf dem Levitationsdisplay realisierbare optimale Folge von akustische Fallen, so dass als Eingangsdaten der Referenzpfad ohne zeitliche Informationen ausreicht, um beliebige Formen darzustellen. Auf diese Weise können größere und komplexere Grafiken in der Luft erzeugt werden, als dies bisher möglich war. Die einzelnen Implementierungen wurden in mehreren Benutzerstudien und Performancetests evaluiert und validiert.
Die Beiträge dieser Dissertation tragen dazu bei, akustische Levitationsdisplays weiterzuentwickeln und eröffnen somit Möglichkeiten für transformative Schnittstellen, die eine Integration der physischen und virtuellen Welt ermöglichen und spannende Potenziale für immersive Erlebnisse in der Zukunft bieten.