top of page

Unfixing Horizons

Keywords: multi-sensory, interconnectedness, perception shift, transduction, sunset

Op een dag keek ik uit mijn raam, terwijl de zon onderging op de daken van de slaperige huizen in mijn straat. Er was alleen het geluid van vogels en blaffende honden aan de horizon. Plotseling vroeg ik mezelf af: "Hoe klinkt een zonsondergang?"

12 mei 2024: zonsondergang gezien vanaf het Noorderstrand bij Scheveningen)

"Hoe klinkt een zonsondergang?" is een verkennende en fantasierijke onderzoeksvraag die een brug slaat tussen visuele en auditieve ervaringen. Het daagt traditionele percepties uit door ons uit te nodigen na te denken over hoe een puur visueel fenomeen in geluid kan worden vertaald, waardoor een dieper, multi-sensorisch begrip van natuurlijke gebeurtenissen wordt gestimuleerd. Deze vraag vormde de basis voor mijn antwoord op een gedeelde zorg zoals geuit door De Ambassade van de Noordzee en Stichting Doggerland :

"Hoe kunnen we aanwezigheid en stem geven aan een omgeving (zijnde de Noordzee.)

of specifiekerde Doggersbank)inbeleidsbeslissingsprocessen?"  

​

In dit project onderzoek ik hoe de meest gefotografeerde natuurlijke gebeurtenis ter wereld kan bestaan in meerdere zintuiglijke en materiële modi. In plaats van alleen maar een visueel beeld te tonen, zet ik de zonsondergang om in data, van data in geluiden, en van geluid in fysieke en tastbare objecten. De zonsondergangvertalingen schudden onze gebruikelijke manier om de natuurlijke wereld waar te nemen door middel van visie op, en combineren aspecten van de natuur, digitale processen en esthetische keuzes tot iets nieuws. Mijn onderzoek daagt het idee uit dat er vaste scheidingen zijn tussen categorieën als natuur/technologie, mens/niet-menselijk, visuele/sonische ervaring en suggereert dat deze rijken elkaar voortdurend vormgeven en beïnvloeden door voortdurende interacties.

Bij het ervaren van de werken komen we in een staat van onzekerheid terecht. Deze productieve 'verlorenheid' opent de deur voor het loslaten van de aannames dat fenomenen kunnen worden ingeperkt als stabiele objecten van 'wat een zonsondergang werkelijk is'. Ze worden hun eigen gehybridiseerde fenomenen die bestaan in meerdere zintuiglijke en materiële modi, waardoor een dieper begrip ontstaat van de onderlinge verbondenheid tussen menselijke, technologische en meer dan menselijke entiteiten.

The recorded sunset moves between different expressions and modes of data that are being generated by the intra-actions between the place, technological devices and human intention; from film, soundscapes, sound graphs, sonic photographs, and into a 2x2m sculptural object made of transparent spectrograms, suspended in space.  
Experiencing the works, we enter a state of uncertainty. This productive "lostness" opens up to letting go of assumptions that phenomena can be contained as stable objects of "what a sunset really is." They become their own hybridized phenomena existing across multiple sensory and material modes, fostering a deeper understanding of the interconnectedness between human, technological, and more-than-human entities. 

installation view from the group exhibition 00:05:59, Paradise (The Hague), june 2024

Van zonsondergang tot soundscape

12 april 2024: codes testen in mijn studio

het ontwerpen van de code:
Om van de zonsondergang een live auditieve ervaring te maken, wordt live visuele input omgezet in live auditieve output. Het ontwikkelingsproces omvatte iteratief coderen en testen om visuele gegevens uit de Noordzee-omgeving om te zetten in audio-ervaringen. Ik gebruikte Processing (een flexibel softwareschetsboek en codeertaal binnen de context van beeldende kunst) samen met de Minim-bibliotheek om live videofeeds te analyseren, waarbij ik me concentreerde op de dynamische kleurveranderingen bij zonsondergang. De code koppelt de kleureigenschappen (tint, verzadiging en helderheid) van elk videoframe aan geluidsfrequenties, waardoor een realtime audioweergave van de visuele scène ontstaat.


"Terwijl de zon ondergaat, verschuiven de kleuren van helder geel en oranje naar dieper rood en uiteindelijk paars en blauw. Deze kleuren worden vastgelegd in het videoframe en verdeeld in een raster. De dominante kleuren in elke rastercel worden berekend. De tint hiervan kleuren beïnvloeden de frequentie van de oscillatoren. Geel (tint ~ 60) kan bijvoorbeeld hogere frequenties produceren, terwijl rood (tint ~ 0) en blauw (tint ~ 240) kunnen produceren.

produce lower frequencies. The brightness and saturation of the colors influence the amplitude. Brighter and more saturated colors produce louder sounds. Lines are drawn on the video to visualize the frequency and amplitude mappings.These lines change dynamically as the colors in the video change, creating a visual representation of the sound. In the context of New Materialism this process is called transduction: the process of converting or transforming energy, matter, or information from one form to another. This concept is particularly important in understanding how different elements and forces interact and influence each other in material systems."  (Notes 12.4.24)

testing in real-world-settings:

​

Unfixing Horizons (photo by Yuta Mori)

9 mei 2024: wandelen door de duinen bij Zandvoort aan Zee (foto door Yuta Mori)

Om het ontwerp te testen, heb ik verschillende excursies gemaakt in de Noordzee-omgeving. Tijdens deze excursies leerde ik hoe mijn gereedschappen en codes zouden reageren op de gevarieerde (en onvoorspelbare) omgevingen van de Noordzeekust. Mijn hulpmiddel was mijn laptop die deze omgevingen via zijn camera zou vastleggen, terwijl de code die op mijn laptop werd afgespeeld de visuele invoer in realtime in auditieve uitvoer zou transformeren.

Tijdens de excursies besefte ik langzaam dat mijn beleving van de wereld om mij heen aan het veranderen was.


‘Schaduwen die over de duinen jagen, het wiegen van het helmgras en het knikken van de blauwe zeeleeuwen, een hoestend vliegtuig dat over onze hoofden vliegt. Het spectrum van grijs, bruin en geel dat de zwiepende Nederlandse kust is, en de langzame accumulatie van wolken aan de horizon, terwijl de zee nadert en zich terugtrekt in een continue cyclus die de menselijke voorstelling ver te boven gaat: alles wordt data, data worden frequenties, en alles bij elkaar wordt het een kakofonie van geluid afkomstig van dit fragiele lichaampje dat mijn MacBook is . Meer dan menselijk geluid. Er schuilt misschien een gevoel van mislukking. Dit is niet wat ik zoek Ik doe iets verkeerd. Ik controleer de code. Ik probeer verschillende instellingen. Alles is zinloos. Ik merk een vleugje paniek, een verlies van controle. Ik begrijp dat keuzes onvermijdelijk zijn over de output, over de uitkomst, over het transductieproces? Gevoel gespleten tot op het bot.

Terwijl ik begin los te laten, merk ik de overeenkomsten met rouw." (Noten, 8.5.24)

mijn laptop bepantseren om hem te beschermen

van zand en weer

menselijk, technologisch en natuurlijk gebied. In deze praktijk besloot ik ( en ik citeer Trinh T. Minh-ha in een interview met Nancy Chen )

"om dichtbij te spreken, in plaats van te praten over" de natuurlijke wereld. Om in nabijheid te kunnen spreken, moest ik de ruimte van representatie open laten, een gat laten waar de Ander (zijnde aspecten van de natuurlijke wereld die in wisselwerking stonden met de Machine) aanwezig was. Geen gezagspositie innemen ten opzichte van de andere sferen.

the sunset as a site of narrativity​

"From the boulevard and the beach clubs and the little restaurants people are walking to the surf of the sea, as the sun bulges into an almost obscene pink-orange peach. It seems like an animalistic rite from the pre-times. Some face the sea in silence, alone or in the company of a significant other, holding the spaces between each other. Others, mostly small groups of youngsters, face away from the sea and record themselves with their phones: positioning, posing, gesturing, smiling, checking. And repeat.

I feel a mix of annoyance and intrigue while observing the collective rituals. 

How many photos and videos have been made of the sunset today?

How many will be made tomorrow?

What is their collective meaning? What stories do we tell to our-selves about ourselves through all of these sunsets? These banal sets of interactions of light and atmosphere, of the sky and the ocean, of the ocean and the land?" (Notes, 9.5.2024)

".. a site of narrativity, a site where where narrative agencies assemble and disseminate meaningful articulations, variously demonstrating their being in the world as well as the insight that each material agency- biological or not- possesses in some degree of creative experience. Narrative agencies are the building blocks of storied matter; they signify a nonlinguistic performance inherent in every material formation, from subatomic particles to biological organisms to geophysical forces." (New Materialism & The Nonhuman Story, Seril Oppermann 2021).

I became to see the sunset as 'a site of narrativity', and what I first experienced to be 'noise' coming out of my laptop as a non-linguistic performance between the site, technology and myself.

The sun itself, moving in relation to Earth.
The atmosphere, with its gasses and particles that scatter light.
Clouds, reflecting and colouring the light.
The landscape, which shapes how we see the horizon.
Living things like birds, humans or the stinging insects that are part of the site.
The code, converting visual information (colours, hues, brightnesses) into auditory.
Transducing the digital data from one sensory mode to another.
The poor toiling little MacBook, interpreting the visual input and the sonic output,
creating a dynamic, real-time interaction between the environment and the technology. 
The observer, whose presence and perception is part of the experience.
And my intention that aims the devices, that wrote the code, that records and writes. Is writing. Longing.

For new ways of experiencing, understanding. For stepping out of my humanity, even for the slightest.
For perceptual change and new relations. 

(Notes, 10.5.2024)

​

The sunset becomes a site of narrativity, where geophysical forces shape the light that interacts with my MacBook’s lens. In that instant, my MacBook acts as a translator, converting the light of the sunset into pixel values. The code within the MacBook then takes over, transforming these pixels into sonic data. This data is released as sound waves through the speakers, projecting the sunset’s story back into the environment as sound. These sound waves, now part of the site’s narrative, blend with the surroundings and alter the space. As the MacBook records this sonic story, it becomes an archive and a mnemonic device, preserving the sonic narrative of the site. I, as an observer, add my own layer to the story by translating what I experience into words and memories.
This "sunset narrative" emerges from the interactions, translations, and entanglements between these various human and nonhuman agencies. It's not a singular, fixed story, but an evolving, hybrid phenomenon that is to be explored through the different mediums and modes of transduction. A narrative happening within seconds, if not milli-seconds.

By capturing the blend of generated sound (based on the visual data) and the environmental sounds, I archived this narrative in an auditory form. This narrative is then carried with me, ready to be transformed into new modes, to be shared in new places, creating new connections.

the act of transduction

Only after reviewing all the recordings I became aware how important of a role the act of transduction was playing in my research. In my project, transduction -being the transformation of energy, matter or information from one form to another- highlights the ways technological and natural agencies collaborate to create new hybrid materialities. I decided to continue to explore how different elements can be translated and transformed across sensory modes through an iterative process of transducing. By translating the recorded soundscape into spectrograms I am  taking the temporal, ephemeral quality of the soundscape and render it as a visual, spatial representation. The spectrogram becomes a kind of "sonic image" that preserves the narrative in a new sensory modality.

This visual translation serves a few important purposes:

  1. The possibility arises of  creating a physical, material artifact that can be engaged with and studied in its own right. The spectrogram is no longer just a fleeting auditory experience, but a tangible object that embodies the sonic narrative.

  2. The visual form of the spectrogram may reveal patterns, textures, and relationships within the soundscape that are not as readily apparent in the audio alone. This visual analysis can potentially uncover new layers of the narrative.

  3. Presenting the sunset's story through this hybrid visual-sonic medium further challenges the primacy of vision (and visual re-presentation) and opens up new ways for the audience to perceive and interpret the phenomenon.

  4. The spectrogram acts as another node in the network of transductions - visual to sonic, sonic to visual - that are central to this project. It continues to blur the boundaries between senses and modes of representation.

So in essence, the spectrogram becomes another way to both archive and expand the narrative captured, offering a new entry point  to engage with the sunset's multifaceted "story." 

​​

the sonic image of a sunet

In "Unfixing Horizons" worden de kleuren, helderheid en tinten van de zonsondergang omgezet in geluid. Het geluid wordt vervolgens opnieuw vertaald in een spectrogram: "een foto van geluid", die het spectrum van frequenties in de tijd weergeeft. Dit resulteerde in een spectrogram van 1,5 uur.

1,5 hour spectrogram of the sunset, best experienced with headset  

The spectrograms are presented with a timeline of a sunset at the 12th of may 2024. The blues form the areas in which no freq

bottom of page