Integration einer Gestensteuerung in eine bestehende Robotersoftware unter Verwendung einer Time-of-Flight-Kamera

Referent: Andreas Mützel

Ziel dieser Bachelorarbeit ist es, eine Gestensteuerung für die Robbie-Software zu implementieren. Diese Gestensteuerung soll im Rahmen der Spiele des Robocup@Home-Wettbewerbes eine Erweiterung der aktuellen Spracheingabe darstellen, um einfache Befehle einfacher und robuster erteilen zu können.

Dazu soll eine Time-of-Flight-Kamera (ToF-Kamera) verwendet werden, die über die Laufzeit der Reflektion von ausgesendetem Infrarotlicht die Entfernung zum Ziel errechnet und somit ein 2,5D-Entfernungsbild liefert. Um Bilder der ToF-Kamera in der Robbie-Software verwenden zu können, muss die Kamera zunächst unter Linux an das Robbie-Framework angebunden werden. Dabei soll auch eine geeignete Visualisierung der Tiefendaten in der Software entwickelt werden.

Der Hauptteil dieser Arbeit besteht aus der Analyse von Sequenzen von Entfernungsbildern: Um eine Menge vorher bestimmter Gesten darin zu erkennen müssen sowohl geeignete Merkmale zur Beschreibung der Gesten als auch ein geeignetes Klassifikationsverfahren für diese Merkmale gefunden werden.

Neben der Stabilität der Gestenerkennung ist eine hohe Geschwindigkeit der Merkmalsberechnung und -interpretation ein wichtiges Ziel dabei, da die Gestensteuerung in Echtzeit funktionieren muss. Dabei kann sowohl direkt auf den 2,5D-Entfernungsdaten gearbeitet werden als auch mit der Punktwolke, die aus der Rückprojektion dieser Daten in den 3D-Raum resultiert.