Ako počúvať dáta

Ako počúvať dáta

Prečo sa pozerať na dáta, keď ich môžete počúvať?

To je otázka, ktorú niektorí vedci, skladatelia a programátori skúmajú v snahe prezentovať dáta kreatívnym spôsobom. Keď ľudia „počujú“ údaje, myslenie ide, rýchlo a intuitívne identifikujú trendy a anomálie a reagujú na informácie vnútorne.



Vo všeobecnosti takzvané „sonifikátory údajov“ neočakávajú, že ich práca nahradí vizualizácie údajov, ale skôr doplní fakty a čísla, ktoré zobrazujú. V skutočnosti niektorí preberajú umeleckú licenciu na svoje kompozície, zatiaľ čo iní sa viac pridržiavajú toho, čo odhaľujú údaje. Bez ohľadu na to, poznámky rozprávajú príbeh o číslach.

Science Friday hovoril s niekoľkými sonifikátormi údajov o ich prístupoch.

Brian Foo, DJ založený na údajoch
Počítačový programátor Brian Foo cez deň digitalizuje materiály pre verejnú knižnicu v New Yorku a „premýšľa o tom, ako môžeme materiály sprístupniť online,“ hovorí. Jeho pravidelný koncert – ktorý zahŕňa „otváranie niektorých súborov údajov a robenie skvelých vecí s nimi“ – dopĺňa osobný projekt, ktorý spustil v roku 2015 s názvom DJ založený na dátach . Zahŕňa to prevzatie rôznych množín údajov, ako je nerovnosť príjmov v New Yorku alebo strata pôdy v pobrežnej Louisiane počas mnohých desaťročí, a ich konverzia na piesne.

„Väčšinou som sa snažil premýšľať o iných spôsoboch komunikácie údajov nad rámec vizualizácie údajov alebo grafov,“ hovorí Foo. Ako umelca ma práca s vizuálnymi údajmi „obmedzila, pokiaľ ide o spravovanie konkrétneho zážitku okolo súboru údajov,“ hovorí. Fooovi sa páčila myšlienka použiť hudbu, pretože mohla vyvolať emócie. A ak sa pieseň stane ušný červ 'Dúfajme, že táto základná téma je tiež uviaznutá vo vašej hlave.'

Foo začína hľadaním súborov údajov, ktoré sú vo verejnej doméne, zvyčajne poskytované vládou alebo univerzitami. Vedie si tabuľku tých, ktoré vynikajú esteticky alebo tematicky, a pri zvažovaní novej kompozície sa pozerá na kombináciu faktorov. „Jedným z nich je len všeobecný tvar údajov,“ hovorí. 'Ak si vizualizujete dáta a sú veľmi ploché, pravdepodobne dostanete plochú skladbu.'

„Ploché“ údaje pomohli zdôrazniť jeden bod jeho pieseň o reprezentáciách pohlavia, rasy a etnicity vo filmových trhákoch . „Je zrejmé, že [tieto reprezentácie] nie sú rôznorodé, takže som bol nútený vytvoriť pieseň, ktorá bola veľmi monotónna,“ hovorí. V pochmúrnej kompozícii jasne dominuje jediná klavírna nota „A“ – predstavujúca úlohy bielych mužov. Nemusí to byť zložité, ale „prenáša údaje,“ hovorí.

Foo si dáva pozor na to, ako reprezentuje informácie. 'Musím len premýšľať o tom, čo je ten správny druh zážitku' pre poslucháča, hovorí. Úlohou je rozhodnúť sa, či objektívne oznámiť údaje, alebo sa pokúsiť vyvolať konkrétnu reakciu. „S citlivejšími údajmi je to zložité. Takže ako v prípade príjmovej nerovnosti, nechcem, aby chudobnejšie oblasti zneli smutnejšie alebo menej kvalitne,“ hovorí. V potenciálne citlivých prípadoch sa vo všeobecnosti rozhodne pre priamy prístup, ako je reprezentácia aspektov údajov prostredníctvom zmien objemu.

Pre každú skladbu používa Foo kombináciu Pythonu (na analýzu údajov) a ChucK (programovací jazyk) na vytvorenie algoritmu, ktorý spája všetky zvuky. Vo všeobecnosti sampluje rôzne piesne a umelcov, ktorí súvisia s danou témou – jeho sonifikácia úrovne príjmov v New Yorku zahŕňa napríklad miestnych hudobníkov. (Celé jeho kódovanie je open source a pozýva ostatných, aby ho použili na vytvorenie vlastných sonifikácia.)

Foo zatiaľ dokončil 10 skladieb a teraz skúma ďalšie spôsoby reprezentácie údajov. „Vo všeobecnosti hľadám v údajoch príbeh, nejaký druh rozprávania alebo nejaký druh zážitku, ktorý by poslucháčov previedol od začiatku do konca,“ hovorí.

Lauren Oakes a Nik Sawe
Po troch letných terénnych výskumoch Lauren Oakes, ekológ a vedec v oblasti prírodných systémov, mal k dispozícii rozsiahly súbor údajov o žltom cédri a susedných ihličnanoch v severných častiach Alexandrovho súostrovia na juhovýchode Aljašky. V rámci jej Ph.D. výskum na Stanfordskej univerzite skúmala, ako lesná komunita reagovala na desaťročia trvajúci pokles žltého cédra a ako tieto zmeny ovplyvnili ľudí v regióne, ktorí sa na tento strom dlho spoliehali.

Oakes už publikoval články o svojom výskume, keď jej kolega Ph.D. študent Nik Sawe minulú jar rozoslal hromadný e-mail kolegom so žiadosťou o súbory údajov, ktoré by mohol premeniť na hudobné kompozície. Oakesa to zaujalo.

„Okamžite som si pomyslel, že myšlienka je fascinujúca, dokázať sprostredkovať vedecký objav v podstate tým, čo je univerzálnym jazykom“ – teda hudbou, hovorí Oakes, ktorý je teraz lektorom a výskumníkom na Stanforde. „Keď prezentujem [údaje] ako vedec, myslím si, že dôležité sú fakty, údaje a grafy, ale aj príbeh a spôsob, akým tieto posolstvá odovzdávame.

Oakes a Sawe začali okamžite zdieľať nápady. Sawe, ktorý je teraz neuroekonómom v Stanforde, vytvoril počítačový program, v ktorom mohol brať dátové body a prekladať ich do rôznych tónov, výšok a nástrojov. Posledná skladba dua je ľahká, klasická hudba, ktorá sleduje zmeny v populácii stromov v Alexandrovom súostroví zo severu na juh, pričom vyčleňuje jednotlivé stromy, druhy a dokonca aj úhyny stromov, ktoré sú poznačené tichom.


„V kuse každá nota predstavuje strom,“ vysvetľuje Oakes. 'Každý druh tiež ‚hrá‘ na iný nástroj a potom sú tu aspekty ako výška a priemer stromu, ktoré ovplyvňujú tón a trvanie noty.'

Uprostred piesne je zaneprázdnený súborom nástrojov, ktoré predstavujú rôzne druhy stromov, ktoré súťažia o regeneráciu. Ku koncu skladby sa to, čo bolo kedysi melódiou, ktorej dominoval klavír – reprezentujúci žltý céder – sústredilo na flautu, ktorá symbolizovala jedličky.

Koniec piesne Saweho prekvapil. Zatiaľ čo si starostlivo vyberá, ako reprezentovať rôzne údaje vo svojich sonifikáciach, „Nemám potuchy, ako to bude znieť, kým to celé nepočujem,“ hovorí.

Sawe vidí hudbu ako stručný spôsob prezentácie veľkého množstva údajov. Keď vedci analyzujú svoje údaje, musia nájsť spôsoby, ako zjednodušiť viaceré grafy a dimenzie, čo môže trvať dlho. Sonifikácia údajov však môže spojiť všetky tieto prvky do stopy, ktorú môže ucho ľahko sledovať. „Je to obrovská výhoda pre získanie hrubého pocitu z vašich údajov,“ hovorí.

Oakes hovorí, že hoci urobili nejaké štylistické rozhodnutia pre kompozíciu, fakty a čísla z jej výskumu zostávajú chrbticou projektu. 'Samozrejme existuje určitá interpretácia a prijaté rozhodnutia, ale platí to pre súbor údajov,' hovorí. 'Mám pocit, že to nejakým spôsobom dopĺňa vedu.'

Oakes a Sawe dúfajú, že na jar zostavia skupinu hudobníkov na živé predstavenie skladby.

Domenico Vicinanza a Genevieve Williamsová
Genevieve Williams je pohybová vedkyňa študujúca biomechaniku a Domenico Vicinanza je fyzik a skladateľ. Obaja pracujú na Anglia Ruskin University v Spojenom kráľovstve a spája ich spoločný záujem: cyklické javy.

„Takmer všetko v našom tele súvisí [tak či onak] s cyklami – prebúdzaním a spánkom, alebo dokonca na malej mikroskopickej úrovni, ak sa pozriete na bunky, biologické systémy,“ hovorí Vicinanza. 'Koncept cyklov alebo pravidelnosti je taký dôležitý, taký kľúčový aj v hudbe.'

Duo si uvedomilo, že jedným zo spôsobov, ako môžu sprostredkovať údaje o ľudskom tele, môže byť hudba. Pri svojej prvej spolupráci sa v roku 2015 zamerali na rytmy mávania prstami. Tento experiment si môžete vyskúšať aj vy: Ruky držte naplocho pred sebou, ukazováky smerujú k sebe. Začnite kývať prstami hore a dole v opačných smeroch a zvýšte rýchlosť. V určitom okamihu sa vaše prsty budú pohybovať unisono, hore a dole.

'Chceli sme sa pokúsiť počúvať tento prechod a pokúsiť sa použiť hudbu na opísanie jeho vývoja,' hovorí Vicinanza.

Výskumníci umiestnili pohybové senzory na končeky ukazovákov účastníkov a potom sledovali a merali rozdiely v zrýchlení každého prsta. Potom zmapovali pohyb na noty pomocou na mieru vyrobeného algoritmu, ktorý vyvinuli v programovacom jazyku Java. Výsledkom je klavírna skladba, ktorá začína živo, na konci sa stáva takmer monotónnou – finále, ktoré predstavuje, ako sa vrtivé prsty nakoniec pohybujú vo fáze.

„Nízke a vysoké tóny klavíra sú malé a veľké rozdiely v zrýchlení oboch prstov,“ hovorí Williams.

V jednom bode kompozície hrá veľmi nízky tón, čo znamená, že jeden prst (v tomto prípade ľavý) sa dostane do fázy s druhým.

'Jeden z dvoch prstov musel prudko zmeniť smer, aby dobehol druhý,' hovorí Vicinanza. A „tá náhla zmena v zrýchlení bola zodpovedná za veľmi nízky tón, ktorý spustil novú melódiu“.

Dvaja výskumníci vidia reálne aplikácie sonifikácia údajov, ako je táto. Povedzte, že si poraníte ruku a musíte ísť na fyzickú terapiu. Váš fyzikálny terapeut vám ukáže cvičenia, ktoré by ste mali robiť, aby ste sa zotavili. „Často sa však po príchode domov snažíte spomenúť si, aké cvičenia ste robili; pýtate sa, či to robíte správne,“ hovorí Williams.

Teraz si predstavte, že by ste mohli sledovať pohyb a rozsah pohybu vašej ruky prostredníctvom zvuku – mohli by ste získať okamžitú spätnú väzbu o tom, či ste terapeutické cvičenie robili správne alebo nie.

'Váš terapeut môže namiesto cvičenia predpísať melódiu,' hovorí Vicinanza. 'Správne tempo a správna postupnosť nôt by boli znakom toho, že cvičenie je správne.'

Dvojica pokračuje v práci na všetkých druhoch sonifikácia údajov vrátane jednej zameranej na rôzne environmentálne a kultúrne aspekty dediny vo Francúzsku.