Vom Ohren öffnen und hinschauen

Forschende der Fachhochschule St. Pölten publizierten einen State-of-the Art-Report für integrierte audiovisuelle Datenanalyse im Rahmen des Projekts SoniVis. Das Team von SoniVis untersuchte wissenschaftliche Arbeiten, die in der Datenanalyse Sehen und Hören miteinander verbinden. Das Forschungsteam präsentiert die Publikation im Mai 2024 auf der EuroVis in Dänemark, der bedeutendsten Konferenz im Bereich Datenvisualisierung in Europa.

Sonifikation und Visualisierung

Forschende, die sich mit der Visualisierung oder der Sonifikation („Verklanglichung“) von Daten befassen, verfolgen dasselbe Ziel: sie möchten Daten für den Menschen interpretierbar machen. Die einen verwenden visuelle Darstellungen von Daten, die anderen auditive. Trotz der inhaltlichen Überlappung der Felder haben sich die entsprechenden Forschungsgemeinschaften in den vergangenen Jahrzehnten weitgehend parallel entwickelt. Im Projekt „SoniVis“ entwerfen die FH-Forschenden Kajetan Enge und Alexander Rind, unter der Leitung der FH-Professoren Wolfgang Aigner und Michael Iber, eine Designtheorie, in der sich der visuelle und der auditive Kanal ergänzen. Dazu untersuchten sie wissenschaftliche Arbeiten, die bereits beide Techniken zu einer Form der audiovisuellen Darstellung integrieren. Jetzt wird ein neuer State-of-the-Art-Report dazu erscheinen. Dieser bietet einen aktuellen Überblick über den Bereich des audiovisuellen Designs von Datenexploration und -präsentation. 

© Alexander Rind

„Mit diesem Bericht zum Stand der Technik diskutieren wir eine Sammlung von Arbeiten, die die Grenzen der beiden Gemeinschaften überbrücken. Also eine Sammlung von Arbeiten, die darauf abzielen, die beiden Techniken (Visualisierung und Sonifikation) zu einer Form der audiovisuellen Darstellung zu integrieren, die mehr als die Summe der beiden ist“, sagt Alexander Rind, Forscher und Projektmitarbeiter am Institut für Creative\Media/Technologies an der FH St. Pölten.

Neue Klassifizierung audiovisueller Darstellungen 

Kajetan Enge und Alexander Rind untersuchten gemeinsam mit einem internationalen Autor*innen-Team 57 akademischen Publikationen, die zwischen 2011 und 2023 erschienen sind. Diese kategorisierten sie u. a. nach dem Datentyp, den unterstützten Analysefragen oder der verwendeten Forschungsmethode. Diese systematische Kategorisierung ermöglicht erstmals eine Meta-Analyse der überlappenden Fachgebiete:

“In unseren Daten erkennen wir beispielsweise, dass klassische Liniendiagramme häufig mit der weit verbreiteten Sonifikationstechnik ‚Parameter Mapping Sonifikation‘ kombiniert werden”, sagt Kajetan Enge. “Bei der Parameter Mapping Sonifikation werden ausgewählten Datenattributen Klangqualitäten wie Tonhöhe oder Lautheit zugeordnet, um beim Hören aus dem Klang etwas über die Daten zu erfahren.” 

Integriertes Design 

Die untersuchten Publikationen umfassen ein vielfältiges Feld kombinierter Designs für die Datenvisualisierung und Sonifikation. Gleichzeitig herrscht ein Ungleichgewicht zwischen den visualisierten und sonifizierten Informationen.  

„Dieses Phänomen deutet darauf hin, dass viele Designs mit ihrer Visualisierung einen Überblick über die Daten bieten, während die Sonifikation für die Analyse von Details verwendet wird“, erklärt Kajetan Enge. „Die Ergebnisse des State-of-the-Art-Reports können von Forschenden aus beiden Bereichen genutzt werden, um die Potenziale und Herausforderungen solcher integrierter Designs zu verstehen. Wir freuen uns, wenn wir mit unserer Publikation Expert*innen aus beiden Bereichen zur Zusammenarbeit inspirieren können.“ 

© Ahamed Shakauat

Internationale Forschung 

Die internationale Vernetzung von Forschenden aus Sonifikation und Visualisierung ist ein Schwerpunkt des SoniVis Projekts. Für den State-of-the-Art-Report kooperierte das Forschungsteam mit Fachkolleg*innen aus Schweden (Universität Linköping), Hongkong (City University), Spanien (Universidad de Deusto) und den USA (University of Utah), sowie der Kunstuniversität Graz. Das Forschungsteam präsentiert die Publikation im Mai 2024 auf der EuroVis Konferenz, der bedeutendsten Konferenz im Bereich Datenvisualisierung in Europa, die heuer in Dänemark stattfinden wird. Im Juni erscheint der Bericht im Journal „Computer Graphics Forum“.

Über das Projekt "SoniVis"

“SoniVis“ ist ein Forschungsprojekt des Instituts für Creative\Media/Technologies an der FH St. Pölten und wird vom Wissenschaftsfonds FWF finanziert.  

• Hier können Sie die Publikation nachlesen. 
• Mehr finden Sie auf unserer Forschungswebsite.