Synaesthetic and intermodal audio-visual perception : an experimental research

Abstract

Synaesthesia is an involuntary process in which a stimulus not only stimulates the appropriate sense, but also stimulates another modality at the same time. This kind of joining can happen between all five senses, and can occur in any combination (e.g., sound-to-colour, grapheme-to-colour, smell-to-colour, etc.). In general, synaesthesia affects a minority of the population. However, there are synaesthetic-like phenomena which are labelled either as cross-modal correspondences, or as intermodal analogies, which are reported often by the common population. We are used to making descriptions such as “that has a bright sound,” or “this sound is dark”. Although brightness (bright/dark) is a property of light, we use it also to describe properties of sound. This study focuses on sound-colour synaesthesia, and on intermodal audio-visual perception. This work sheds light on both phenomena (synaesthetic and synaesthetic-like), and its purpose is not to compare the phenomena, but to treat them as autonomic cases of audio-visual perception. The goal is to explore how sound, culture, and musical training affect audio-visual correspondences. Furthermore, it is important to explore how people justify these correspondences. An experiment with three main groups (cultural groups, musicians/non-musicians and synaesthetes with sound-colour synaesthesia) was conducted in order to examine: a) whether culture affects audio-visual correspondences, b) whether musical training affects audio-visual correspondences and c) the ways in which sound characteristics affect these correspondences and the resultant synaesthetic experience. It was observed that three sound characteristics (pitch, structure and timbre) influence different aspects of audio-visual correspondences. Pitch influences the colour attributes chroma and brightness (sound-to-colour correspondences), sound structure influences the ways in which audio-visual analogies emerge (sound-to-patterns/textures correspondences), and timbre facilitates verbal judgments of sound (through adjectives). Additionally, it was found that different cultural groups (Germans, Chinese and South Americans) make similar audio-visual correspondences, though cognitive input accompanying these correspondences can be culture-specific. Furthermore, musical training does not affect these correspondences, but it does limit associative thinking and mental imagery. In case of synaesthesia, it was observed that a) high-pitched sounds result in a chromatic experience (presence of hue), b) low-pitched sounds result in an achromatic experience (absence of hue), c) single frequencies cause a uni-colour sensation, and d) multiple high frequencies induce a multi-colour sensation. Variation of chromatic colour (e.g., blue, red, yellow, etc.), which is present in the sensation, depends on the timbre of sound. These findings suggest that the synaesthetic mechanism (in the case of sound-colour synaesthesia) maps sound onto visual sensations depending on the mechanisms underlying temporal and spectral auditory processing. This study shows that intermodal correspondences are based, on the one hand, on the sensory characteristics of the stimulus, and on the other hand, on the cognitive information contained in the presented stimulus. The theory of associative sequence learning, and the theory of grounded cognition, may explain synaesthetic and synaesthetic-like phenomena: intermodal analogies could be caused by repetitive experiences in which perceptual and conceptual information is coupled. Specifically, in case of synaesthesia, both perceptual and conceptual information is combined into one perceptual experience.

Synästhesie ist ein unwillkürlicher Prozess, bei dem ein Stimulus nicht nur die entsprechende Sinnesempfindung sondern auch eine andere Modalität gleichzeitig stimuliert. Diese Art der Verbindung kann zwischen allen fünf Sinnesempfindungen geschehen und kann in beliebiger Kombination auftreten (z.B. TonzuFarbe, GraphemzuFarbe, GeruchzuFarbe usw.). Synästhesie wirkt sich auf eine Minderheit der Bevölkerung aus. Allerdings gibt es der Synästhesie ähnelnde Phänomene, die entweder als kreuz-modale Korrespondenzen oder intermodale Analogien bekannt sind. Wir benutzen oft Sätze wie \"das hat einen hellen Klang\" oder \"dieser Ton ist dunkel\". Obwohl Helligkeit (hell / dunkel) eine Eigenschaft des Lichtes ist, verwenden wir sie als eine Eigenschaft des Klanges. Diese Studie konzentriert sich auf die Ton-Farbe-Synästhesie und die intermodale auditiv-visuelle Wahrnehmung. Sie untersucht zwar beide Phänomene (synästhetische und Synästhesie ähnelnde); ihr Zweck ist jedoch nicht, die Phänomene zu vergleichen, sondern sie als autonome Fälle der auditiv-visuellen Wahrnehmung zu behandeln. Das Ziel dieser Studie ist es, herauszufinden, wie die Faktoren Klang, Kultur und musikalische Ausbildung sich auf diese Zuordnungen auswirken. Darüber hinaus ist es wichtig zu untersuchen, wie Menschen diese Korrespondenzen begründen. Ein Experiment mit drei Hauptgruppen (kulturelle Gruppen, Musiker / Nicht-Musiker und Synästhetiker mit Ton-Farbe-Synästhesie) wurde durchgeführt, um zu prüfen: a) wie die Kultur auditiv-visuelle Zuordnungen beeinflussen kann, b) wie die musikalische Ausbildung sich auf diese Zuordnungen auswirkt, c) wie Eigenschaften des Klanges diese Korrespondenzen und die synästhetische Erfahrung beeinflussen können. Es wurde beobachtet, dass drei Eigenschaften des Klanges (die Tonhöhe, die Struktur und die Klangfarbe) verschiedene Aspekte der auditiv-visuellen Zuordnungen beeinflussen. Die Tonhöhe beeinflusst die Farbattribute Chroma und Helligkeit (Ton-Farbe-Zuordnungen), die Struktur des Klanges beeinflusst die Art und Weise wie auditiv-visuelle Analogien entstehen (Ton-Muster/Texturen-Zuordnungen) und die Klangfarbe ermöglicht verbale Urteile für den Klang (durch Adjektive). Zusätzlich wurde festgestellt, dass die kulturellen Gruppen (Deutsche, Chinesen und Südamerikaner) ähnliche auditiv-visuelle Zuordnungen machen. Dennoch kann der kognitive Input, der diese Korrespondenzen begleitet, kulturspezifisch sein. Darüber hinaus hat die musikalische Ausbildung keinen Einfluss auf diese Korrespondenzen, jedoch begrenzt sie das assoziative Denken und die mentalen bildlichen Vorstellungen. Im Fall der Synästhesie wurde beobachtet, dass a) hohe Töne eine chromatische Erfahrung auslösen, b) tiefe Töne eine achromatische Erfahrung auslösen, c) einzelne Frequenzen einen uni-farbigen Sinneseindruck beschließen und d) mehrere hohe Frequenzen einen multi-farbigen Sinneseindruck induzieren. Die Variation der chromatischen Farbe (z.B. Blau, Rot, Gelb usw.) hängt von der Klangfarbe ab. Diese Befunde zeigen, dass der synästhetische Mechanismus (bei der Ton-Farbe-Synästhesie) Ton zu visuellen Empfindungen umwandelt, in Abhängigkeit von den zugrunde liegenden Mechanismen der zeitlichen und spektralen auditiven Verarbeitung. Diese Studie zeigt, dass intermodale Zuordnungen einerseits auf die sensorischen Eigenschaften des Stimulus und auf der anderen Seite auf die kognitiven Informationen, die im Stimulus enthalten sind, basieren. Die Theorie des assoziativen Lernens („associative sequence learning“) und die Theorie der „Grounded Cognition“ könnten die synästhetischen und die der Synästhesie ähnelnden Phänomene erklären. Die intermodalen Analogien können bedingt durch wiederholende Erfahrungen entstehen, in denen wahrnehmende und konzeptionelle Informationen gekoppelt sind. Im Fall der Synästhesie werden wahrnehmende und konzeptionelle Informationen zu einer zusammenhängenden Wahrnehmungserfahrung verbunden.