Das Projekt VRRAT ist ein Bachelor-Projekt des Sommersemesters 2022 aus dem Fachbereich Mathematik & Informatik der Universität Bremen unter der Leitung von Prof. Dr. Gabriel Zachmann und Dr. Rene Weller.
Worum geht es?
Im Projekt VRRAT soll eine VR-Anwendung mithilfe der Unreal-Engine entwickelt werden, die menschliche Affordanzen (engl. Affordances) in einer virtuellen Umgebung aufnimmt und in einem roboterlesbarem Format abspeichert. Unter einer Affordanz versteht man man eine Eigenschaft, die ein Objekt mitbringt, um ein bestimmtes Problem zu lösen. Ein Feuerzeug bietet zum Beispiel die Möglichkeit, eine Flasche mit Kronkorken zu öffnen. Das große Ziel ist es, alltägliche Aufgaben auf einen einen humanoiden Roboter zu übertragen. Mithilfe der aufgenommenen Daten soll die Wissensbasis des Roboters erweitert werden, sodass der Roboter in der Lage ist, bestimmte Aufgaben selbstständig mit Objekten in seiner Umgebung zu lösen. Das Ziel des Bachelor-Projektes ist es, eigene Aufgaben festzulegen und diese in einer virtuellen Umgebung aufzunehmen und in einem für den Roboter lesbarem Format abzuspeichern.
NEEMs
Unter “Narrative Enabled Episodic Memories”, kurz NEEMs, sind Darstellungen von Erinnerungen gemeint, die abgespeichert werden können, sodass ein Robotersystem auf diese Erinnerung situationsabhängig zurückgreifen kann. Das übergeordnete Ziel ist es, einen Roboter bei der Durchführung alltäglicher Tätigkeiten kompetenter zu machen. Ein Roboter kann das durch die Verwendung einer speziellen Datenstruktur, sogenannter NEEMS, erreichen.
Gespeicherte Dateien in MongoDB :
Exportieren als eine JSON Datei :
Eine NEEMs Datei nach dem Exportieren :
Affordanzen
Unter einer Affordanz bezeichnet man in unserem Projektkontext eine Gebrauchseigenschaft, die einem Mensch durch ein Umweltobjekt angeboten wird. Diese Gebrauchseigenschaft eines Objektes wird in diesem Projektkontext durch eine zielgerichtete Bewegung des Menschen festgehalten. Die Person verfolgt das Ziel, mit diesem Objekt eine bestimmte Aufgabe zu erfüllen, die nicht dem tatsächlichen Gebrauch des Objektes entspricht. Die Affordanzen eines Objektes ist die Menge der Gebrauchsmöglichkeiten, die ein Objekt für unterschiedliche Aufgaben mitbringt.
Ein Buch als Tablett benutzen
Benötigte Objekte
- Ein Buch mit festem, glattem Buchcover
- Objekte, die auf das Buch passen
Eine Person steht vor einem Tisch, auf dem ein Buch und ein Objekt liegen. Es wird jeweils ein Objekt in die Hand genommen und auf das Buch gestellt. Das Buch wird mit zwei Händen an gegenüberliegenden Seiten angefasst und hochgehoben. Die Person läuft mit den Objekten auf dem Buch zu einem anderen Ort in der virtuellen Umgebung. Anschließend wird das Buch mit den Objekten wieder abgesetzt.
OptiTrack Aufnahme :
Mit einem Feuerzeug eine Flasche öffnen
Benötigte Objekte
- Feuerzeug
- Flasche mit geschlossenem Kronkorken
Das Feuerzeug durch wird mit der Kante der unteren Seite unter den Kronkorken gehalten. Dabei liegt es auf der Hand auf, die die Flasche hält. Mit einer Hebelbewegung hebelt das Feuerzeug den Kronkorken ab.
Die Affordanz in VR Umgebung :
Wenn man das Feuerzeug hochhebt :
VR Demo :
