Virtuelle Realität und physikalisch-basierte Simulation - SS 11 und WS 11/12


Virtuelle Realität (VR) befindet sich an der Überschneidung von Computer-Graphik, physikalisch-basierter Simulation, und Human-Computer-Interaction (HCI). VR befaßt sich mit neuartigen Eingabegeräten, intuitiver und direkter Interaktion, Immersion, Echtzeit-Rendering und physikalisch-basierter Simulation in Echtzeit. Bei letzterem geht es um die möglichst realistische Simulation von natürlichen Phänomenen, z.B. Feuer, von Stoff, z.B. als Kleidung, oder dem Verhalten starrer Objekte bei Stößen.

VR hat sich inzwischen in verschiedenen Anwendungsbereichen als wichtiges Werkzeug durchgesetzt, u.a. im Automobil- und Flugzeugbau und der Medizin. Außerdem lassen sich viele Techniken und Lösungen auch im Bereich der Computerspiele anwenden.

In dieser Vorlesung werden zunächst grundlegende Methoden und Algorithmen vorgestellt. Anschließend werden Themen behandelt, die für ein komplexes VR-System relevant sind (z.B. Objekt-Verhalten, Kollisionserkennung, akustisches Rendering, etc.).

In den Übungen wird auf dem cross-plattform-fähigen VR-System InstantReality aufgesetzt. Die Programmiersprache kann von den Teilnehmern gewählt werden; zur Auswahl stehen Java, Javascript, und C++.
Gerne dürfen Sie auch in kleinen Teams die Aufgaben bearbeiten. Geplant ist, Ihr VR-Szenario auch in einer VR-Installation (Powerwall mit Tracking) laufen zu lassen.

Geplante Themen:

  1. Einführung, Begriffe, Immersion, Anwendungen
  2. VR-Geräte: Displays, Tracking, Sonstige, Software-Design
  3. Stereo-Rendering
  4. Fehlerkorrektur: Tracking-Korrektur, Filterung,
  5. Techniken für Real-time Rendering
  6. Grundlegende immersive Interaktionstechniken: Gestenerkennung, Navigation, Selektion, Greifen, Menüs in 3D
  7. Komplexere immersive InteraktionInteraktionstechniken: World-in-Miniature, Action-at-a-Distance, etc.
  8. Kollisionserkennung
  9. Force-Feedback: Rendering von Kräften
  10. Akustisches Rendering
  11. Partikelsysteme
  12. Feder-Masse-Systeme
Achtung: diese Liste ist nur vorläufig und kann sich im Laufe des Semesters ändern.

Aktuelles


Folien

Die folgende Tabelle enthält die behandelten Themen und die dazugehörigen Folien. (Diese Tabelle wird nach und nach gefüllt.)

Tag Thema Folien
1. Einführung (Definitionen, Immersion, Präsenz, Geschichte),
Szenengraphen (Semantik von Knoten und Kanten, verteiltes Rendering, Thread-Safety);
PDF1 PDF2
2. Einführung in VRML / X3D (Encodings, Felder, Knotenspezifikation allg.) PDF
3. Display-Technologien (HMD, Workbench, Cave, Dome, etc.);
Stereo-Projektion, Stereo-Effekte und -Probleme
PDF
4. Real-time rendering 1 (viewport-independent rendering, Level-of-Detail-Technik, prädictive LOD-Selektion);
Übung
PDF
5. Real-time rendering 2 (progressive meshes, portal culling, image warping) Eingabegeräte (beyound the desktop, tracking, data glove, locomotion devices);
Interaktionsmetaphern in und mit virtuellen Umgebungen 1 (Klassifikation, Gestenerkennung)
PDF1 PDF2
6. Interaktionsmetaphern 2 (Navigation, Taxonomie, user models, Selektion, neuere Metaphern) PDF
7. Particle Systems (Definition, Operationen und Kräfte auf Partikeln, collision handling, transparent rendering, Procedural Modeling von Blättern unf Bäumen);
Mass sping systems (Simulation einzelner Federn, explizite Integrationsverfahren, Nachteile, Verlet-Integration)
PDF1 PDF2
8. Mass sping systems (implizite Euler-Integration, Mesh-Erzeugung für Objekte mit Volumen);
Haptik und Force-Feedback (Geräte, human factors, Surface-Contact-Point-Methode, Voxmap-Pointshell-Methode)
PDF1 PDF2
9. Kollisionsdetektion (die Pipeline, Broad-Phase-Methoden, Separating-Planes für konvexe Objekte, Bounding Volumes, k-DOPs, Konstruktion von BVHs);
Sound Rendering (Spiegelquellen-Methode, Beam-Tracing, Beschleunigung mittels Zellen, stochastisches Sound-Rendering)
PDF1 PDF2

Here are some examples and demos of VRML, some of which I have presented in class.

Literatur

Achtung: diese Lehrbücher können nur als generelle Einführung in das Gebiet der VR dienen. Die meisten der in der Vorlesung behandelten Themen orientieren sich nicht direkt an diesen Lehrbüchern. Daher empfiehlt sich der Besuch der Vorlesung.

Falls Sie sich diese Bücher anschaffen möchten, sollten Sie vielleicht überlegen, gebrauchte Exemplare zu erwerben -- oft gibt es diese zu einem Bruchteil des Neupreises. Zwei gute Internetadressen sind Abebooks und BookButler.

Übungsblätter und Downloads dazu

Übungsblatt Nr. 1
Übungsblatt 1.
MtBike Framework, Porsche Framework, Vette Framework, XMAS_Tree Framework, Slides.
Übungsblatt Nr. 2
Übungsblatt 2.
Rollercoaster Framework.
Übungsblatt Nr. 3
Übungsblatt 3.
Rollercoaster_TuchKollision Framework.
Übungsblatt Nr. 4
Übungsblatt 4.
VRML-JavaParticle Framework.
Übungsblatt Nr. 5
Übungsblatt 5.
Framework für ein Feder-Masse-Partikel-System.

Übungsbetrieb

Im Verlauf der Vorlesung sollen kleinere virtuelle Umgebungen programmiert werden (basierend auf einem frei verfügbaren VR-System), in denen einige der in der Vorlesung erlernten Techniken praktisch umgesetzt werden sollen. Falls Sie eine eigene Idee haben, so sprechen Sie bitte mit uns darüber! Wir sind offen für vieles ;-)

Scheinerwerb

Einen Schein erwirbt man durch erfolgreiche Teilnahme an den Übungen. Da die Übungen ausschließlich praktisch sein werden, bedeutet das, daß Sie eine "überzeugende" Implementierung Ihrer virtuellen Umgebung demonstrieren können sollten. (Eine "Schein"-Klausur findet nicht statt.)

Prüfung

Die Vorlesung wird mündlich geprüft. Wer sich prüfen lassen möchte, melde sich bitte wie üblich im Prüfungsamt und bei Frau Cronjäger (IfI, Zimmer 202) an.

Online Literatur und Resources im Internet

Change Monitoring:

 by ChangeDetection (it's free and it's private).
 by ChangeDetect (it's free and private, too).
If you enter your email adress in one of the boxes above and then press one of the "Monitor" buttons, then either ChangeDetection or ChangeDetect will send you an email whenever I make changes to this page.
Gabriel Zachmann
Last modified: Wed Jun 20 09:09:57 MDT 2012