Klang umgibt uns zu jeder Zeit. Ich wollte eine Installation schaffen, die den Besucher die alltägliche Welt für einen Moment mit neuen Ohren hören lässt.

Der Klang der Dinge ist eine interaktive Klanginstallation. Auf einem Tisch stehen und liegen alltägliche Dinge: Ein Stapel Papiere, ein Weinglas, Kerzen, eine Lampe. Setzt der Besucher einen Kopfhörer auf, so fangen die Gegenstände auf dem Tisch für ihn zu klingen an. Durch Bewegen des Kopfes und Umherwandern kann der Besucher diese dreidimensionale Klanglandschaft erfahren und erforschen.

Die meisten Klänge wurden durch anschlagen, klopfen, reiben und kneten der Gegenstände selbst erzeugt. Die Klänge einiger Gegenstände sind zusätzlich mit Geräuschen angereichert, die akustisch oder sozial in engem Zusammenhang mit dem jeweiligen Objekt stehen. Im Weinglas kann man bei Annäherung zum Beispiel auch den Klang feiernder Menschen hören.

Wenige Klänge sind durch Pareidolie angereichert worden. Pareidolie ist laut Wikipedia von Januar 2013 "die Tendenz des Gehirns, [... Muster und Bilder ...] selbst in zufälligen Strukturen oder in Sinneseindrücken geringen Informationsgehalts zu finden", z.B. das Sehen von Figuren in Wolken. Die Laute einiger Klänge wurden von mir in deutsche oder englische Sprache transkribiert, anschließend gelesen und per Vocoder den Klängen wieder hinzu gemischt.

umsetzung

Zur Verfolgung der Position und Rotation des Kopfhörers verwende ich drei LEDs am Kopfhörer in Verbindung mit acht Infrarot-Kameras und eigener Motion-Tracking-Software. Die USB-Kameras sind nicht synchronisiert. Da es acht Kameras sind, mitteln sich Fehler ausreichend heraus und Verdeckungen sind selten.

Damit alle Klangquellen an den entsprechenden Stellen im realen Raum auftauchen können, war es notwendig, eine virtuelle Kopie des Tisches mitsamt darauf stehenden Gegenständen im Computer nachzubauen. Reale und virtuelle Elemente wurden danach durch eine Kalibrierungs-Prozedur zur Deckung gebracht. Das Ergebnis ist ein Augmented-Reality Szenario, bei dem die reale Welt mit virtuellen Klängen angereichert wird.

Für den Raumklang über Kopfhörer verwende ich eine Kombination aus Delays, Filtern, akustischer Dämpfung, Hall und sogenannten head-related-transfer-functions (HRTFs). Dadurch scheinen die Klänge von den Objekten selbst zu kommen. Unten ein Flussdiagramm, das die Verarbeitungskette einer einzelnen Klangquelle für ein Ohr zeigt.

Kopfhörerverfolgung und Klangverarbeitung konnten beide recht einfach parallelisiert werden. Beide könnten wenn nötig auf separaten Computern ausgeführt werden.

Ich habe Punktklangquellen verwendet, allerdings immer mehr als eine Quelle pro Objekt: Die meisten Klänge wurden in Stereo auf dem Tisch selbst aufgenommen. Stereophonie erlaubte es mir einen reicheren Klang zu erzeugen, indem mehr als eine Klangquelle pro Objekt platziert werden konnte. Die Klangquelle auf dem Tisch aufzunehmen stellte sicher, dass die Raumakustik nahe an der Realität lag wenn ein Ohr dem Objekt nahe war.

beteiligte

Der Klang der Dinge war meine Diplomarbeit an der Hochschule für Gestaltung Karlsruhe 2013. Mein tief empfundener Dank geht an alle, die mich in dieser Zeit unterstützt haben, insbesondere:

Kopfhörerverfolgung und Klanggenerierung wurden beide von mir in C++ geschrieben. Während der Entwicklung habe ich die folgenden Bibliotheken verwendet: OpenCV, OpenMP, OpenAL, OpenGL, Steinberg ASIO, CodeLaboratories CLEye SDK. Weiterhin habe ich die HRTF Datenbank des MIT verwendet, Cubase und Audacity um Klangschleifen zu konstruieren und Blender um das virtuelle Tischmodell zu bauen.