Eintauchen in künstliche Medienwelten

Das Immersive Media Lab der FH St. Pölten untersucht, welche neuen Formen des Geschichtenerzählens Augmented und Virtual Reality (AR/VR) ermöglichen und setzt einen Schwerpunkt auf die Immersion, das Eintauchen in die virtuellen Welten.

Im Labor entwickeln Studierende und Forscher*innen Projekte unter anderem für Medienkunst, Industrie 4.0 und digitale Gesundheitsinformation. Von den Ergebnissen sollen Industrie, Gesundheitswesen und Kreativwirtschaft profitieren.

Storytelling in Kunst, Wissenschaft und Industrie

Das seit zwei Jahren bestehende Labor widmet sich 5 konkreten Anwendungsfällen, sogenannten Use Cases: Es entstanden ein informativer, industrieller Gehörschutz, Information für Patient*innen, digitale Kunstformate für 3D-Bewegungserfassung und Konzepte für die Kommunikation im industriellen Internet of things sowie eine Potentialanalyse für fiktionale VR-Erfahrung.

„Storytelling, das Transportieren von Inhalten über Geschichten, ist in der Kunst seit jeher selbstverständlich. Nun nimmt es zunehmend Einzug in Wissenschaft und Wirtschaft. Als Technologie bieten Augmented und Virtual Reality nicht nur eine zukunftsträchtige Schnittstelle zwischen industrieller Anwendung und künstlerischer Forschung, sondern auch die Chance die Bandbreite des Storytellings neu zu denken“, sagt Franziska Bruckner, Leiterin des Projekts sowie der Forschungsgruppe Media Creation an der FH St. Pölten.

Die 5 Anwendungsfälle entwickeln immersive Medientechnik für Medienkunst, Kreativindustrie, Audioindustrie, Industrie 4.0 und das digitale Gesundheitswesen. Im Folgenden ein Überblick über die Projekte des Labors:

1. Kunst und Forschung verbinden

Das Projekt „Intermedia Motion Tracking in AR/VR“ zeichnet mithilfe von Motion-Capturing- und Motion-Tracking-Techniken die Bewegungen einer Tänzerin auf und setzt sie in Bilder und Filme für Sozialen Medien um. Choreographierte Körperbewegungen, Gesten, Bewegungsabläufe und choreografische Muster werden festgelegt, digitalisiert und als Storytelling-Bewegungspfade analysiert.

Das Projekt verbindet moderne Medientechnik, Kunst und Forschung und untersucht etwa das Verhältnis von Körper und Raum sowie Körperstellung, Elastizität, Geschwindigkeit und Rhythmik in der Choreografie und deren Umsetzung in künstlerisch-experimentelle, immersive Storytelling-Szenarien und Medienprojekte.

2. Gänsehaut: Immersion messbar machen

Der Use Case „Immersive Video Interaction“ analysiert fiktionale Virtual-Reality-Kurzfilme aus der Unterhaltungsindustrie hinsichtlich ihrer Narrationsmodelle, Interaktionskonzepte und ihrem Immersionsgrad. Um das subjektive Empfinden des Eintauchens in die virtuelle Welt zu messen, sollen Betrachter*innen in Fragebögen ihr Gefühl der Präsenz im virtuellen Erlebnis beschreiben.

Das Projektteam wird aber auch objektiv messbare Kriterien einsetzen: Über den elektrischen Widerstand auf der Haut, die Herzfrequenz, Elektroenzephalogramme und die elektrische Aktivität der Gesichtsmuskel soll erfasst werden, wie die Filme auf die Betrachter*innen wirken.

Die aufgrund der Corona-Pandemie verschobenen Usertests werden voraussichtlich unter strengsten hygienischen Sicherheitsmaßnahmen Ende des Jahrs oder im nächsten Jahr stattfinden.

3. Die Angst vor der OP nehmen: Patienteninformation mit Augmented Reality

Der Use Case Enlightening Patients with Augmented Reality (EPAR) testet die Möglichkeiten von Augmented Reality, um die Aufklärung von Patient*innen zu verbessern. Für diesen Zweck wurde ein Prototyp für eine mobile App zum Thema Schieloperation entwickelt und getestet.

Im eigenen Tempo und mit zusätzlichen Informationen, für die Ärzt*innen oft keine Zeit finden, können Patient*innen, die sich für eine Operation interessieren, aufgeklärt werden.

4. Informativer Gehörschutz für Industriemitarbeiter*innen

Im Use Case “Auditory Augmented Reality in Production” entwickeln Forscher*innen und Studierende der FH St. Pölten den in vielen Fertigungsstätten vorgeschriebene Gehörschutz zu einer akustischen Informationsschnittstelle und zum Assistenzsystem weiter.

Akustisch dargestellt werden in (Quasi-)Echtzeit aufbereitete Maschinen- und Umgebungsgeräusche, die prozessrelevante Abweichungen vom Normalzustand besser wahrnehmbar machen. Das System liefert zur Zustandsüberwachung aufbereitete produktionstechnisch relevante maschinen- und produktionsbezogene Daten und Kennzahlen.

Zudem soll der Gehörschutz als Kopfhörer den Mitarbeiter*innen zur verbalen (drahtlosen) Kommunikation dienen. (Data) Storytelling versteht sich hier als situationsspezifische Aufbereitung und Darstellung von Geräuschen und Daten mit hohem Informationsgehalt für die Facharbeiter*innen.

5. Visuelle Daten für den Störfall an der Maschine

Als jüngstes Projekt begannen in diesem Jahr die Arbeiten zum Use Case „Augmented Reality for the Industrial Internet of Things“. Das Projektteam untersucht in Kooperation mit der niederösterreichischen Firma Neumann Aluminium den Einsatz von Augmented-Reality-Technologien in einem modernen, industriellen Produktionsumfeld zur Unterstützung von Mitarbeiter*innen bei Arbeits- und Wartungsprozessen.

Über eine Microsoft Hololens erhalten Mitarbeiter*innen bei Störfällen schnell und direkt Einsicht in Maschinendaten, wo in der Fabrik normalerweise kein Display vorhanden ist und haben durch die Hololens die Hände frei zum Arbeiten.

Vor Kurzem traf sich der Beirat des Immersive Media Lab online, um den Zwischenstand in den Projekten zu diskutieren.

Umfangreiche Kommunikationsaktivitäten

Das Team des Immersive Media Lab hat die Arbeiten und Ergebnisse bei einer Vielzahl an Gelegenheiten in der Fach-Community und der Öffentlichkeit kommuniziert und mehrere Artikel für Fachzeitschriften und Konferenzen erstellt.

Die Projektmitarbeiter*innen haben ihre Arbeiten unter anderem bei den folgenden Tagungen präsentiert: dem Forschungstag NÖ, der Langen Nacht der Forschung, der Audiomesse, der IEEEVR-Konferenz (Conference on Virtual Reality and 3D User Interfaces), dem EX\\Immersio-Symposium sowie den FH-Konferenzen XChange Reality und IConCMT.

Immersive Media Lab

Das Immersive Media Lab wird vom Bundesministerin für Digitalisierung und Wirtschaftsstandort im Rahmen des Programms COIN Aufbau der Österreichischen Forschungsförderungsgesellschaft (FFG) gefördert.