Kontextbezogene Sprachsteuerung für den TurtleBot 4 Standard: Intelligente Interpretation von Navigationsbefehlen in bekannten Umgebungen
- Bachelorarbeit -
Description:
Die intuitive Steuerung mobiler Roboter durch natürliche Sprache ist ein Schlüssel zur Verbesserung der Mensch-Roboter-Interaktion (HRI), insbesondere in assistierenden Anwendungen.
Diese Arbeit untersucht, wie der mobile Roboter TurtleBot 4 Standard so programmiert werden kann, dass er Sprachbefehle kontextbezogen interpretiert und intelligente Navigationsaufgaben in ihm bekannten Innenraumumgebungen ausführt. Das Problem liegt in der Interpretation mehrdeutiger Befehle wie „Fahre links“, die je nach Umgebung (z. B. Tür, Hindernis) und Absicht sowie Perspektive (perspective taking) des Nutzers unterschiedliche Aktionen (z.B. Türdurchgang, Hindernisumgehung) erfordern, sowie in der Integration komplexer Navigationsaufgaben wie „Fahre hinter den Tisch“.
Die Methodik umfasst die Integration des USB-Mikrofons ReSpeaker MicArray v2.0 für Spracherkennung (z. B. PocketSphinx oder Google Speech-to-Text), ein Large Language Model, das durch Prompt-Engineering Umgebungsinformationen (LIDAR, Kamera, a priori Wissen über die Raumaufteilung) und Sprecherperspektive in Handlungsanweisungen übersetzt, und ROS2 für die kontextsensitive Navigation.
Tests in realen Innenräumen könnten die Befehlsgenauigkeit, Navigationserfolg und Latenz bewerten, wobei Erfolg durch robuste Kontextinterpretation und zuverlässige Navigation definiert wird.
Die Arbeit trägt zur HRI bei, indem sie benutzerfreundliche, kontextsensitive Robotik fördert, mit Anwendungen in assistierenden Systemen, Büros und Bildung. Sie erweitert den Wissensstand durch die Kombination von Sprachsteuerung, Kontextanalyse und autonomer Navigation, und bietet eine Grundlage für zukünftige Forschung in kognitiver Robotik, da die bisherigen Ansätze hauptsächlich nicht kontextbezogene Navigationsaufgaben lösen.
Die Forschungsfrage lautet:
- Wie kann ein Mobiler Roboter kontextbasiert Sprachbefehle zur Navigation interpretieren?
Anforderungen/Kenntnisse:
Python-Programmierung, Integration einer Speech-to-Text Spracherkennung, Tests auf dem TurtleBot 4
Bearbeitung:
Harry Hundertmark
Betreuung:
Prof. Dr. rer.nat. Nele Rußwinkel
Institut für Informationssysteme
Ratzeburger Allee 160 ( Gebäude 64 - 2. OG)
23562 Lübeck
Telefon: 0451 / 3101 5700
