Big Data in Töne verwandeln

, Virtual Reallity

Eine ungewöhnliche Zusammenarbeit zwischen zwei Professoren, der eine für Musik, der andere für Informatik, an der Universität Virginia Tech mündet in eine neue Plattform für die Datenanalyse. Diese erlaubt es, die Bedeutung von Daten und ihre Beziehungen untereinander nicht wie üblich durch die Visualisierung, sondern durch ihre Verwandlung in Klang besser zu verstehen.

Ivica Ico Bukvic, Associate Professor of Composition and Multimedia am College of Liberal Arts and Human Sciences, und Greg Earle, Professor of Electrical and Computer Engineering, wollen untersuchen, wie sich immersive Klangwelten einsetzen lassen, um komplexe Systeme besser zu verstehen. Das eröffnet einen gänzlich neuen Zugang für die Analyse räumlich verteilter Daten. Statt Informationen in einen visuellen Kontext zu stellen, um Muster und Korrelationen aufzuzeigen, setze die Arbeit auf eine akustische Umgebung, um die natürliche Sinneserfahrung im Raum und die Position des Anwenders im Klangfeld nutzbar zu machen.

Sonifikation für Analyse komplexer Systeme besonders geeignet

Diese Sonifikation der Daten, die mit der Konvertierung nicht hörbarer Informationen in Töne einhergeht, ist ein relativ unbestelltes Feld in der Forschung. Aber sie eröffnet eine einzigartige Perspektive für die Erkundung von Daten. Das menschliche Gehör kann zeitliche Änderungen und Muster hervorragend erkennen, und das macht die Sonifikation zu einem sehr nützlichen Werkzeug für das Untersuchen komplexer Systeme.

Bukvic gibt zu bedenken, dass die Identifikation neuer zeitlicher und räumlicher Korrelationen zwischen Variablen oft zu bahnbrechenden Erkenntnissen in den Naturwissenschaften führe. Es sei sinnvoll, über zweidimensionale Repräsentationen von Daten hinauszugehen und durch andere Sinne als das Sehen Neues zu entdecken.

Unter dem Namen „Spatial Audio Data Immersive Experience (SADIE) ist das Projekt das erste groß angelegte Vorhaben, dass sich mit einer Reihe hochintegrierter Lautsprecher auf immersive, raumsensible sonifizierte Daten konzentriert. Es befasst sich mit der oberen Erdatmosphäre, die räumlich und zeitlich vielfältige physikalische Variablen vorweist. Jeder Datensatz in diesem System wird durch bestimmte Klangqualitäten charakterisiert, zum Beispiel Amplitude, Tonhöhe und Lautstärke.

129 Lautsprecher, gestenbasiertes Interface

Ein immersives Soundsystem aus 129 Lautsprechern wird den Ton im Cube, einem Forschungslabor an der Virginia Tech, wiedergeben. Mit der Motion-Capture-Lösung des Cube können die Anwender in den sonifizierten Daten über ein gestenbasiertes Interface navigieren, das so ähnlich funktioniert wie das im Film „Minority Report“. Dieses Interface erlaubt ihnen, das Playback vor- und zurück zu spulen, zu rotieren, zu zoomen, zu verstärken, zu beschleunigen oder zu verlangsamen.

Dass man der angeborenen Signalverarbeitung des Gehirns erlaubt, besondere Eigenschaften in komplexen Datensätzen zu erkennen, ist der logische Weg, die Informatik mit der menschlichen Sinneswahrnehmung zu verbinden. Diese Fusion aus Technik und Natur könnte aktuelle Datenanalyseverfahren voranbringen. Wenn das neuartige Konzept, Daten erfahrbar zu machen, das Verständnis komplexer Beziehungen in physikalischen Systemen verbessern hilft, lässt es sich auch in anderen Forschungsgebieten wie der Thermodynamik, der Quantenmechanik oder der Flugzeugkonstruktion einsetzen. Es könnte Visualisierungen und Virtual-Reality-Lösungen erweitern und interdisziplinäre Brücken zwischen wissenschaftlichen Gemeinschaften schlagen: Musik, Informatik und Naturwissenschaften.