Wie die Map of Mozart entstand

Die gesammelten Werke Mozarts wurden in ein digitales Audioformat eingespielt. Als erstes wurde ein Analyseverfahren angewendet welches spezifische Merkmale aus Musikdaten extrahiert - die sogenannte Audio Feature Extraction. Zur Analyse werden ausschließlich Akustikmerkmale verwendet, das Verfahren verfügt über keinerlei Wissen über Noten, Motive und andere musiktheoretische Strukturen der Werke. Die extrahierten Merkmale entsprechen einem sogenannten Rhythmus-Muster (Rhythm Pattern) [1,2,3], welches neben der Map of Mozart auch grafisch dargestellt wird. Das Rhythmus-Muster beinhaltet nicht nur Rhythmus im engeren Sinn, sondern auch kleinste Fluktuationen in hohen Frequenzbereichen.

Als nächster Schritt wurden die extrahierten Musikmerkmale einem selbstorganisierenden Verfahren, der Self-Organizing Map (SOM), übergeben. Hierbei lernt der Computer aus den Merkmalen der Musik und versucht diese Schritt für Schritt auf einer zwei-dimensionalen Karte so lange neu zu organisieren, bis eine möglichst kohärente Darstellung entsteht, bei der Musikstücke mit ähnlichen Merkmalen nahe beieinander liegen und solche mit wenigen Gemeinsamkeiten weiter entfernt. Dabei können die Karten selbst beliebige Formen annehmen, von rechteckigen bis zu speziellen Formen, wie etwa der Silhouette Mozarts (Mnemonic SOM) [4].

Die resultierende Map of Mozart ermöglicht eine Darstellung, die auf einen Blick eine Übersicht über die gesamten Werke Mozarts gibt. Jedes Quadrat auf der Map of Mozart beinhaltet eine Gruppe von Stücken, die starke musikalische Gemeinsamkeiten in sich tragen. Benachbarte Quadrate beinhalten ähnliche Musikstücke. Je weiter zwei Quadrate voneinander entfernt sind, desto divergenter sind die musikalischen Charakteristika. 

Durch viele ähnliche Quadrate entstehen ganze Bereiche (Cluster oder Inseln) von ähnlicher Musik, etwa findet man  beinahe alle Opern die Mozart geschrieben hat im unteren Bereich der Map of Mozart, während Pianostücke am obersten Rand zu finden sind. Bei den Opern selbst finden sich unterschiedliche Bereiche wie z.B. Rezitative (im Nacken Mozarts). Im Bereich der Pianomusik versammeln sich Piano Sonaten und Piano Konzerte (wobei die Karte nicht primär versucht, Instrumente zu erkennen, sondern nur klangliche Eigenschaften analysiert).

Die Übergänge zwischen den musikalischen Merkmalen sind fließend, und so auch der Inhalt der Quadrate der Karte. An Grenzen zwischen stark unterschiedlichen Bereichen können auch leere Quadrate auftreten. Die Zuordnung entstand automatisch anhand von Computeralgorithmen auf alleiniger Basis des Audioinhalts der Musik. Aus diesem Grund kann es auch vorkommen, dass einige wenige Stücke nicht unbedingt dort liegen, wo man sie erwarten würde - wobei sich zeigt, dass auch Menschen bei der Einteilung von Musik in Kategorien oftmals keine Übereinstimmung finden.

Publikationen:

1. Thomas Lidy, Andreas Rauber.
   Evaluation of Feature Extractors and Psycho-acoustic Transformations for Music Genre Classification.
   Proceedings of the Sixth International Conference on Music Information Retrieval (ISMIR 2005), pp. 34-41, London, UK, September 11-15, 2005. [pdf]
2. A. Rauber, E. Pampalk, D. Merkl.
   Using Psycho-Acoustic Models and Self-Organizing Maps to Create a Hierarchical Structuring of Music by Musical Styles
   Proceedings of the 3rd International Conference on Music Information Retrieval (ISMIR 2002), pp.71-80, October 13-17, 2002, Paris, France. [pdf]
3. A. Rauber, and M. Frühwirth.
   Automatically Analyzing and Organizing Music Archives
   Proceedings of the 5. European Conference on Research and Advanced Technology for Digital Libraries (ECDL 2001), Sept. 4-8 2001, Darmstadt, Germany. [pdf]
4. Rudolf Mayer, Dieter Merkl, Andreas Rauber.
   Mnemonic SOMs: Recognizable Shapes for Self-Organizing Maps
   Proceedings of the 5th Workshop On Self-Organizing Maps Paris (WSOM 2005), pp. 131-138, September 5-8 2005, Paris, France. [pdf]

Weitere Publikationen auf der mir group Publikationsseite