SUR

GEST

Entwicklung einer gestengesteuerten Anzeige für verbesserte
Sterilität und verringerte chirurgische Komplikationen

Developing a Gesture-Controlled Display for Enhanced
Sterility and Reduced Surgical Complications

Unser Projekt

Our Project

Im Bachelorprojekt SURGEST entwickeln Studierende innovative Gestensteuerungstechnologien zur Gesundheitsüberwachung. Ziel des Projekts ist es, die Mensch-Maschine-Interaktion zu revolutionieren, indem intuitive Schnittstellen geschaffen werden, die eine effiziente Erfassung von Gesundheitsdaten ermöglichen. Der Fokus liegt auf zwei Hauptaspekten: der Entwicklung eines robusten Gestenerkennungssystems und der Optimierung einer benutzerfreundlichen grafischen Benutzeroberfläche (GUI). Mithilfe fortschrittlicher maschineller Lernalgorithmen erkennt und bewertet das System Gesundheitszustände durch einfache Handbewegungen. Gleichzeitig wird ein gestengesteuertes Display entwickelt, das mithilfe eines Projektors neben der Wunde eines Patienten im Operationssaal (OR) projiziert werden kann.
Diese Innovation zielt darauf ab, eine sterile Umgebung aufrechtzuerhalten, indem der Kontakt mit traditionellen Displays minimiert und deren Anzahl im OP reduziert wird. Zusätzlich erhöht sie die Sicherheit während chirurgischer Eingriffe, da Chirurgen gleichzeitig das Display und den Zustand des Patienten überwachen können. Die Studierenden nutzen verschiedene methodische Ansätze und Werkzeuge, um die Projektziele zu erreichen. Maschinelles Lernen und künstliche Intelligenz sind entscheidend für die Verarbeitung und Interpretation von Gestendaten, während nutzerzentriertes Design sicherstellt, dass die GUI intuitiv und effektiv ist. Die Prototypentwicklung umfasst das Design und die Programmierung der GUI sowie die Implementierung der Gesterstellung und -erkennung durch künstliche Intelligenz.

In the SURGEST bachelor's project, students are developing innovative gesture control technologies for health monitoring. The project aims to revolutionize human-machine interaction by creating intuitive interfaces for efficiently capturing health data.

The focus is on two main aspects: developing a robust gesture recognition system and optimizing a user-friendly graphical user interface (GUI). Using advanced machine learning algorithms, the system detects and evaluates health conditions through simple hand movements. Simultaneously, a gesture-controlled display is being developed that can be projected next to a patient's wound using a projector in the operating room (OR).

This innovation aims to maintain a sterile environment by minimizing contact with traditional displays and reducing their number in the OR. Additionally, it enhances surgical safety by allowing surgeons to monitor both the display and the patient's condition simultaneously. Students are utilizing various methodological approaches and tools to achieve project goals. Machine learning and artificial intelligence are pivotal in processing and interpreting gesture data, while user-centered design ensures the GUI is intuitive and effective. This prototype development includes designing and programming the GUI, as well as implementing gesture creation and recognition through artificial intelligence.

Film

In unserem Dokumentarfilm begleiten wir unsere Gruppe engagierter Studenten bei der Umsetzung unseres Bachelorprojekts, das sich um die Entwicklung einer innovativen Benutzeroberfläche für den Operationssaal dreht. Unser Projekt trägt den Namen "SURGEST", eine Kombination aus den Begriffen SURGery und GESTures, und steht für ein System, das es Chirurgen ermöglicht, Informationen während der OP aufzurufen oder Einstellungen wie das Licht und die Tischhöhe ohne Kontaminierung vorzunehmen.

Der Film bietet einen tiefen Einblick in die Herausforderungen und Erfolge unseres Projekts, indem er Interviews mit uns zeigt. Wir sprechen offen über die Komplexität der Aufgabenstellung, angefangen beim Design der grafischen Benutzeroberfläche (GUI) bis hin zur Entwicklung der Gestensteuerungssoftware. Dabei erklären wir, wie wir eine intuitive und störungsfreie Steuerung entwickelt haben, die sich leicht in den Arbeitsablauf eines Operationssaals einfügt. Ebenso berichten wir über die Studie, in der wir die Positionierung der Projektion unmittelbar auf dem OP-Tisch im Vergleich zu herkömmlichen Displays im OP Saal untersucht haben.

Der Film dokumentiert den gesamten Prozess: von den ersten Skizzen der Benutzeroberfläche über die Programmierung bis hin zur Durchführung der Studie. Durch die Interviews und Aufnahmen wird deutlich, wie interdisziplinär und fordernd die Arbeit an einem solchen Projekt ist. Der Film zeigt, wie Theorie und Praxis in einem hochrelevanten medizinischen Kontext aufeinandertreffen und zusammen ein innovatives Produkt schaffen, das die Zukunft der Chirurgie mitgestalten könnte.

In our documentary, we follow our group of dedicated students as they work on implementing our bachelor's project, which focuses on developing an innovative user interface for the operating room. Our project is called "SURGEST", a combination of the terms SURGery and GESTures, and it stands for a system that allows surgeons to access information during surgery or adjust settings like lighting and table height without contamination.

The film offers a deep insight into the challenges and successes of our project by showcasing interviews with us. We openly discuss the complexity of the tasks, starting from designing the graphical user interface (GUI) to developing the gesture control software. We explain how we created an intuitive and seamless control system that integrates easily into the workflow of an operating room. Additionally, we report on the study where we investigated the positioning of the projection directly on the OR table compared to conventional displays in the operating room.

The film documents the entire process: from the initial sketches of the user interface, through programming, to conducting the study. Through interviews and footage, it becomes clear how interdisciplinary and demanding the work on such a project is. The film shows how theory and practice come together in a highly relevant medical context to create an innovative product that could shape the future of surgery.

Das Setup - Projektor, Kamera, Projizierung, blaues OP-Tuch

Vorstellung unseres Projekts im Pius-Hospital

Vorstellung unseres Projekts im Pius-Hospital

Vorstellung unseres Projekts am Projekttag

Durchführung der Studie - Legoset bauen

System-Usability-Scale-Fragebogen von der Studie

Präsentation am Projekttag

Studie

Im Rahmen einer Vorstudie zum Projekttag wurde ein Experiment durchgeführt, um zu untersuchen...

Mehr lesen

Endprodukt

Das System bietet eine innovative Steuerung mehrerer Bildschirme durch den Einsatz von Handgesten...

Mehr lesen

Team

Marteen Behn

Informatik

Tom Diers

Informatik

Annika Dolhs

Digitale Medien

Muna Khalaf

Informatik

Ferat Eser

Informatik

Marta Kwiatkowska

Digitale Medien

Jonathan Ruschmeyer

Digitale Medien

Albesa Nebi

Informatik

Iman Salih

Informatik

Faridoon Noori

Informatik

Melven Schüttler

Digitale Medien

Sophie Skowronnek

Digitale Medien

Nicole Steinke

Digitale Medien

Juliana Walther

Informatik

Melih Kaan Yazan

Digitale Medien

Project supervisors

Prof. Dr. Gabriel Zachmann

Dr. René Weller

Andre Mühlenbrock