Partitioned convolution algorithms for real-time auralization

Wefers, Frank; Savioja, Lauri; Vorländer, Michael

doi:HT018658600

Partitioned convolution algorithms for real-time auralization

Wefers, Frank

2015 & 2015

VerantwortlichkeitsangabeFrank Wefers

ImpressumBerlin : Logos-Verl. 2015

UmfangIV, 258 S. : Ill., graph. Darst.

ISBN978-3-8325-3943-6

ReiheAachener Beiträge zur technischen Akustik ; 20

Zugl.: Aachen, Techn. Hochsch., Diss., 2014

Prüfungsjahr: 2014. - Publikationsjahr: 2015

Genehmigende Fakultät
Fak06

Hauptberichter/Gutachter
Vorländer, Michael (Thesis advisor) ; Savioja, Lauri (Thesis advisor)

Tag der mündlichen Prüfung/Habilitation
2014-09-25

Online
URN: urn:nbn:de:hbz:82-rwth-2015-021856
URL: https://publications.rwth-aachen.de/record/466561/files/466561.pdf
URL: https://publications.rwth-aachen.de/record/466561/files/466561.pdf?subformat=pdfa

Einrichtungen

Lehrstuhl und Institut für Technische Akustik (613510)

Inhaltliche Beschreibung (Schlagwörter)
Elektrotechnik, Elektronik (frei) ; fast convolution (frei) ; FIR filters (frei) ; real-time signal processing (frei) ; real-time auralization (frei) ; auralization (frei) ; virtual acoustics (frei) ; geometrical acoustics (frei) ; room acoustics (frei) ; artificial reverberation (frei)

Thematische Einordnung (Klassifikation)
DDC: 621.3

Kurzfassung
Virtuelle Realität (VR) schafft eine künstliche Wirklichkeit, in die ein Mensch eintauchen und mit der er interagieren kann. Ausgehend von der Beschreibung einer virtuellen Szene werden hierzu mit Hilfe von Computern, verschiedene Sinnesreize generiert, welche beim Benutzer die Illusion der Präsenz in dieser Wirklichkeit erzeugen. Für den Hörsinn bedeutet dies, dass man die akustische Beschreibung einer Szene in hörbare Signale überführen muss, welche dem Benutzer entsprechend dargeboten werden. Für diesen Prozess, der Auralisierung genannt wird, sind digitale Filter ein grundlegendes Werkzeug, das in verschiedenen Arten benötigt wird (z.B. lineare/nichtlineare Filter, zeitinvariante/zeitveränderliche Filter). Eine in der VR allgemeine Anforderung sind geringe Latenzen (möglichst zeitnahe Reaktion). Der Rechenaufwand hierfür reicht, je nach Anwendung, von moderat bis hochkomplex.Diese Arbeit befasst sich mit digitalen Filtern, welche endliche Impulsantworten haben, sogenannte FIR-Filter (von engl. finite impulse response). Für diese finden sich zahlreiche Anwendungen in der akustischen virtuellen Realität, wie beispielsweise in der binauralen Sythese, räumlichen Klangwiedergabeverfahren und bei der Erzeugung künstlichen Nachhalls. FIR-Filter können auf einfache Weise im Zeitbereich implementiert werden. Diese Art der Realisierung erfordert allerdings einen erheblichen Rechenaufwand und scheidet dadurch für die oben genannten Anwendungen aus. FIR-Filter können mit Hilfe schneller Faltungsalgorithmen effizienter implementiert werden.Seit Anfang der 1960er Jahre wurden verschiedene Konzepte zur schnellen Faltung entwickelt, häufig ausgehend vom "teile und herrsche" (divide-and-conquer) Paradigma. Das populärste Beispiel hierfür ist die schnelle Faltung mittels der schnellen Fouriertransformation (engl. Fast Fourier Transform, FFT), welche sich als Standardverfahren etablierte. Leider sind die meisten schnellen Faltungsverfahren nicht direkt zur Filterung von Signalen in Echtzeit geeignet. Als leistungsfähigstes Konzept hat sich hierbei die Technik der partitionierten Faltung herausgestellt. Dieses zerteilt zunächst die Operanden der Faltung (Partitionierung) und realisiert dann die gewünschte Filterung mittels schneller Faltungen dieser Teilprobleme. Die Art der Zerlegung bestimmt hierbei maßgeblich die Fähigkeit der Echtzeitverarbeitung. Die vorliegende Arbeit untersucht drei Klassen von partitionierten Faltungen, welche für Echtzeit-Auralisierungen geeignet sind: Algorithmen, welche Filter als Ganzes (d.h. unpartitioniert) verarbeiten und solche, welche Filter in gleiche Teile (uniform) und ungleiche Teile (nicht uniform) zerlegen. Für jede Klasse werden die algorithmischen Eigenschaften im Detail hergeleitet und analysiert und Richtlinien für die optimale Wahl der Parameter werden angegeben. Dabei werden alle Techniken auch hinsichtlich weiterführender Aspekte untersucht, welche für die virtuelle Realität relevant sind, wie Mehrkanal-Filterung, Zusammenschaltungen von Filtern zu Netzwerken, sowie zeitveränderliche Filterung. Die Arbeit identifiziert die geeigneten Faltungstechniken (Filterungsverfahren) für die oben genannten Anwendungen auf verschiedenen Endgeräten, von Auralisierung auf mobilen Endgeräten mit begrenzter Rechenkapazität bis hin zu umfangreichen Raumakustik-Auralisierungen auf speziellen Multiprozessorsystemen.

Virtual Reality (VR) aims at the creation of responsive simulations, that provide humans the illusion of a world or environment, they can interact with. Therefore, the user is stimulated with sensory cues that are computer-generated, based on a model of a virtual world (scene). Considering the sense of hearing, the acoustic description of the scene is transformed into auditory stimuli, which are then provided using headphones or loudspeakers.Signal processing is fundamental to this process, called auralization. It involves digital filtering in several uses and in diverse forms (e.g. non-linear and linear filtering, time-invariant and time-varying filtering). A common requirement for VR is a low latency (immediate system response). The computational extent however, ranges from moderate to highly complex, depending on the application.This work focuses on finite impulse response filters (FIR filters), which are applied in binaural synthesis, spatial sound reproduction and artificial reverberation. Straightforward FIR filtering in the time-domain fails to satisfy the requirements stated above. These are met by implementing the FIR filtering using efficient mathematical algorithms for fast convolution. Since the 1960s different algorithmic concepts have been developed, often from the divide-and-conquer paradigm. The most popular example is fast convolution using the fast Fourier transform (FFT), which established as the standard tool. However, also fast convolution algorithms must be adapted to serve for real-time filtering. The most powerful concept hereby is partitioned convolution, which first splits the operands and then solves the partial problems using a fast convolution technique. Essential is that the decomposition conforms with real-time processing. This thesis considers three different classes of partitioned convolution algorithms for the use in real-time auralization: uniformly and non-uniformly partitioned filters, as well as unpartitioned filters. The algorithmic properties of each class are derived and guidelines for an optimal choice of parameters are provided. All techniques are analyzed regarding multi-channel processing, networks of filters and time-varying filtering, as needed in Virtual Reality. The work identifies suitable convolution techniques for different applications, ranging from resource-aware auralization on mobile devices to extensive room acoustical auralization on dedicated multi-processor systems.

OpenAccess:
PDF PDF (PDFA)
(additional files)