Analyzing Sample-Based Electronic Music Using Audio Processing Techniques

Files
10852_LopezSerranoDissertationRevised.pdf (8.23 MB)
Revised Edition / Korrigierte Auflage

Language
en
Document Type
Doctoral Thesis
Issue Date
2019-04-23
Issue Year
2019
Authors
Lopez Serrano Erickson, Patricio
Editor
Edition
2., korrigierte Version
Abstract

The advent of affordable digital sampling technology brought about great changes in music production. Experienced producers of sample-based electronic music (SBEM) are capable of understanding the intricate relationship between a sampled source and its use in a new track, harnessing its properties to shape the structure, timbre, and rhythm of their compositions. However, automated analysis of the phenomena surrounding both SBEM and the sources it uses for its samples is a challenge which involves many tasks from music information retrieval (MIR) and audio processing.

In this thesis we develop models and techniques to better understand SBEM at different levels. In particular, we offer four main technical contributions to retrieval and analysis tasks. First, we explore how timbral changes affect the spectral peak maps used in audio fingerprinting as a means to identify overlapping samples. Second, we analyze the structure of typical SBEM tracks using audio decomposition based on non-negative matrix factor deconvolution (NMFD). Third, we investigate the interaction of timbre and structure by designing a mid-level audio feature based on cascaded harmonic-residual-percussive source separation (CHRP). Fourth, we apply random forests to identify the quintessential sampling source: drum breaks. Given their prominent role in SBEM, we devote considerable attention to drum breaks. As an application to computational musicology, we formalize an algorithm for calculating local swing ratio in drum breaks and adapt an autocorrelation-based method to analyze their microrhythmic properties. Finally, we present a creative application to music production which allows combining the temporal and timbral properties of two separate drum breaks (redrumming).

Despite the massive commercial success of SBEM and the practice of sampling, they mostly remain outside the attention of formal academic studies and MIR research. In this thesis our overarching goal is to identify and formalize some of the fundamental audio processing tasks related to SBEM, proposing methods that can seed further research.

Abstract

Die zunehmende Verbreitung erschwinglicher digitaler Sampling-Technologie wurde die Musikproduktion revolutioniert. Erfahrene Produzenten von Sample-basierter elektronischer Musik (SBEM) können die vielschichtige Beziehung zwischen der ursprünglichen Musik eines Samples und der Verwendung in einem neuen Track erkennen und die Eigenschaften des Samples nutzen, um die Struktur, Klangfarbe und den Rhythmus neuer Kompositionen zu gestalten. Der Zusammenhang von SBEM und den dort verwendeten Samples ist vielschichtig. Die automatisierte Analyse von SBEM führt somit zu unterschiedlichen Aufgabenstellungen, die im Bereich des Music Information Retrieval (MIR) und der Audioverarbeitung angesiedelt sind. In dieser Arbeit entwickeln wir Modelle und Techniken, um SBEM auf verschiedenen Ebenen besser zu verstehen. Insbesondere umfasst die Arbeit vier technische Beiträge zu Retrieval- und Analyseaufgaben. Zuerst untersuchen wir, wie klangliche Veränderungen die spektralen Peak-Maps beeinflussen, die beim Audio-Fingerprinting verwendet werden, um überlappende Samples zu identifizieren. Zweitens analysieren wir die Struktur typischer SBEM-Tracks mithilfe von Audiozerlegungstechniken, die auf sogenannter Non-Negative Matrix Factorization Deconvolution (NMFD) basieren. Drittens untersuchen wir die Wechselwirkung von Klangfarbe und Struktur, indem wir ein Mid-Level-Audio-Merkmal entwickeln, das auf kaskadierter harmonisch-residual-perkussiver Quellentrennung (CHRP) basiert. Angesichts ihrer herausragenden Rolle in SBEM widmen wir Drum Breaks, eine der meistverwendeten Sample-Quellen, besondere Aufmerksamkeit. In einem vierten Beitrag wenden wir Techniken des maschinellen Lernens (insbesondere Random Forests) an, um Drum Breaks automatisiert in Musikaufnahmen aufzuspüren. Als Anwendung in der computergestützten Musikwissenschaft formalisieren wir einen Algorithmus zur Berechnung des lokalen Swing Ratios. Dazu adaptieren wir eine Autokorrelations-basierte Methode zur Analyse der mikrorhythmischen Eigenschaften von Drum Breaks. Schließlich präsentieren wir eine kreative Anwendung für die Musikproduktion, bei der zeitliche und klangliche Eigenschaften zweier unterschiedlicher Drum Breaks kombiniert werden können (Redrumming). Trotz des überaus großen kommerziellen Erfolgs von SBEM und der Verwendung von Samples bleibt diese Musikpraxis meist außerhalb der Aufmerksamkeit akademischer Studien und MIR-Forschung. Ein übergeordnetes Ziel dieser Arbeit besteht in der Formalisierung neuartiger wissenschaftlicher Fragestellungen und der Bereitstellung von Methoden zur computergestützten Analyse von SBEM.

Notes
This document version addresses a systematic error in the previous version, whereby all numbered references to the bibliography were inadvertently displayed as question marks.
DOI
Faculties & Collections
Zugehörige ORCIDs