Personen-Tracking in Umgebungen mit verdeckenden Objekten basierend auf 3D-Rekonstruktionsdaten

Titelangaben

Ober-Gecks, Antje:
Personen-Tracking in Umgebungen mit verdeckenden Objekten basierend auf 3D-Rekonstruktionsdaten.
Bayreuth , 2023 . - XIII, 292 S.
( Dissertation, 2022 , Universität Bayreuth, Fakultät für Mathematik, Physik und Informatik)
DOI: https://doi.org/10.15495/EPub_UBT_00007070

Volltext

Link zum Volltext (externe URL):

Abstract

Das Verfolgen (Tracking) von Personen im Arbeitsraum von Robotern ermöglicht die Vorhersage menschlicher Bewegungen, die Abschätzung von Intentionen und kann die 3D-Lokalisierung der Personen und somit die Sicherheit der Mensch-Roboter-Kooperation verbessern. Deshalb ist das Tracking von großer Bedeutung für diesen Anwendungsbereich. Durch die Präsenz statischer Objekte im Arbeitsraum können
Verdeckungsvolumina entstehen, die mit optischer Sensorik nicht einsehbar und zugleich leer sind. Begeben sich dynamische Objekte wie Personen in solche Volumina, so werden sie ganz oder teilweise verdeckt, was die Objektdetektion und -segmentierung in den Sensordaten einschränkt. Treten stärkere Verdeckungen über mehrere Frames auf, so führt dies häufig zu einem Tracking-Verlust der betroffenen Objekte. Diese Problematik
ist Untersuchungsgegenstand der vorliegenden Dissertation, in welcher eine Möglichkeit aufgezeigt wird, erfolgreiches Tracking auch in solchen Situationen durchzuführen.
Der gewählte Lösungsansatz besteht darin, zusätzliches Wissen zu den vorliegenden statischen Objekten und den durch sie erzeugten Verdeckungsvolumina in ein Verfahren des Personen-Trackings zu integrieren.
Als Sensorik wird ein Multi-View-Kamerasystem verwendet, das Farbbilder des Arbeitsraums aus unterschiedlichen Perspektiven aufzeichnet. Basierend auf den Kamerabildern
wird zur Objektdetektion ein Background Subtraction durchgeführt. Mit den daraus resultierenden Silhouettenbildern aller Kameras wird zu jedem betrachteten Zeitpunkt die Visuelle Hülle erkannter Personen rekonstruiert. Dabei wird Wissen zu den gegebenen statischen Objekten in den Rekonstruktionsprozess einbezogen, um Fehler, die durch Verdeckungen der Personen entstehen, zu vermeiden. Die Visuelle Hülle wird als Voxeldatenstruktur abgelegt und dient als Eingabe für ein Personen-Tracking mittels Partikelfilter im Zustandsraum. Als Objektmodell wurde ein Ellipsoid gewählt, was die Dimensionalität des Zustandsraums beschränkt und so vorteilhaft für die Anwendung des Partikelfilters ist. Jede Person wird mit einer eigenen Partikelfilterinstanz getrackt, wobei für den Umgang mit Datenassoziationsproblemen, die typischerweise beim Mehrpersonen-Tracking entstehen, eine Blocking-Methode eingesetzt wird.
Der zentrale Beitrag dieser Dissertation ist der Entwurf einer Likelihood-Funktion für den Partikelfilter, in der verschiedene Voxelzustände berücksichtigt werden, welche
Wissen zu den Belegungs- sowie Verdeckungsinformationen des Arbeitsraums kodieren.
Die Voxelzustände werden innerhalb der Likelihood-Funktion des Partikelfilters unterschiedlich gewichtet, wobei verschiedene Varianten von Gewichtungsfunktionen anhand
des resultierenden Filterverhaltens untersucht und gegenübergestellt werden. Es wird gezeigt, dass mit einer geeigneten Gewichtung der Voxelzustände das Tracking von
Personen durch Verdeckungsvolumina ermöglicht wird, ohne eine Terminierung des Filters (Tracking-Abbruch) hervorzurufen. Dabei können partielle ebenso wie vollständige Verdeckungen der Personen vorliegen, deren Dauer prinzipiell uneingeschränkt sein darf. Zur Vermeidung unerwünschten Diffundierens der Filter durch statische Objekte hindurch wird ein spezieller Kollisionstest entworfen, der in verschiedenen Situationen einen Vorteil erbringen kann.

Abstract in weiterer Sprache

Person tracking in robot work spaces enables predicting humans’ movements, estimating
or infering their intentions, and increases interaction safety through improved 3D person
localization. This is of great importance for human-robot cooperation. However, the
presence of static objects in the work space can lead to occluded volumes that are empty
and not observable to optical sensor systems at all. Dynamic objects such as persons
entering these volumes may become partially or completely occluded and thus, detection
and segmention in the sensor data is affected. Stronger occlusions of the objects of
interest that persist for several sensor frames usually result in tracking loss. This is the
object of investigation in the presented dissertation, which proposes an approach to
enable successful tracking in the described scenario. To achieve this, prior knowledge of
the static objects and their occluded volumes is integrated into the tracking method.
A multi-view camera system is used to capture color images from different perspectives.
Based on these images a background subtraction is applied for object detection, which
provides silhouette images for all cameras of the humans present. Those are then used
to compute a visual hull at each time step. Knowledge of static objects is integrated in
this process to avoid errors in the reconstruction results that arise due to occlusions
of the persons. The visual hull is stored as voxel data and serves as input for person
tracking, accomplished in state space via particle filters. An ellipsoid is used as the
object model for tracking, limiting state space dimensionality, which is advantageous
for the particle filter. Each person is tracked with a separate particle filter instance.
Data association problems typically occuring in multiple-object tracking scenarios are
solved with a blocking method.
The main contribution of this dissertation is the design of a likelihood function for the
particle filter that considers different voxel states encoding knowledge about occupation
and occlusions of the working space. The voxel states are weighted differently in
the likelihood function. Various weighting functions are investigated and compared
by evaluating the resulting particle filter behaviors. It is shown that an appropriate
weighting of the voxel states enables person tracking through occluded volumes without
causing filter termination or tracking loss. Tracked persons may be partially or completely
occluded, with occlusion duration being unlimited in principle. Furthermore, to avoid
unwanted (physically impossible) particle filter diffusion through static objects, a special
collision test is presented that may be helpful in specific situations.