Responsive Audio

Die Gestaltung interaktiver Medienumgebungen und alternativer Interaktionsszenarien gehören zu den spannendsten Themen der Vertiefungsrichtung „Interaction Design“ meines Bachelorstudium.

Im Zuge der „Responsive Environments“-Lehrveranstaltung im vierten Semester durfte mein Team in einer Kleingruppe an einem derartigen Projekt arbeiten. Das Ziel war, ein interaktives audiovisuelles Erlebnis zu schaffen, das im Wahrnehmungslabor der FH JOANNEUM wiedergegeben werden konnte.

Das Szenario

Das Szenario beginnt damit, dass die Person 2-3 Meter von der Wand entfernt befindet. Im Hintergrund ist leise ein Orchester zu hören, das die Instrumente stimmt. Eine Sinuswelle schwingt auf der Leinwand langsam vor sich hin.

Nähert man sich dieser, schwingt die Sinuswelle stärker, die Musik ertönt etwas lauter und mit ein leicht erhöhter Geschwindigkeit. Die Spannung steigt!

Tritt die Person noch etwas näher, enden die Proben und wir sind mitten im Konzert. Die Sinuswelle schwingt nun am stärksten und ein Lichtkreis beleuchtet den Betrachter. Auch die Lautstärke wird fast bis zum Maximum ausgereizt.

Der Lichtkegel verfolgt den Betrachter und macht deutlich: Die Musik ist hier!

Erst wenn man den Abstand zur Leinwand vergrößert, verschwindet der Lichtkegel, die Sinuswelle beruhigt sich und das Orchester kehrt zum Ursprungszustand zurück.

Das Audiomaterial unseres Experiments stammt aus dem Film „Fantasia“. Daher durften wir den Mitschnitt nur ohne Ton online stellen.

Team & Umsetzung

Zu Beginn stand unser Wunsch, Musik zu visualisieren im Mittelpunkt. Anna entwarf und programmierte eine schlichte Animation einer Sinuswelle. Barbara half, das perfekte Audiomaterial zu finden. Ich habe dann alle Teile zusammengefügt und den Lichtkegel sowie das Fading des Tons programmiert. Der erste Prototyp wurde noch mit dem Mousecursor gesteuert.

DI (FH) Daniel Fabry, unser Vortragender, hat die Verbindung zwischen unserem Programm und der Sensoren der Videowall hergestellt. So konnte die Installation auf Nähe und Entfernung der Person reagieren und damit die Parameter wie Geschwindigkeit und Ausschlag der Sinuskurve, sowie Position, Tonspur und Lautstärke der Musik festlegen.

Vielen Dank an Daniel Fabry Christoph Neuhold für die Aufzeichnung unseres Testlaufs.