Nekad je nužno odabrati stranu
FOTO: Vjekoslav Skledar
CJ Carr bavi se vokalnom umjetnom inteligencijom

Bio sam 2 dana u Vodnjanu s najluđim svjetskim IT inovatorima. Recimo, dali su mi da pošaljem glas na Mjesec

Infobip je na svom golemom kampusu u Vodnjanu ugostio briljantnu ekipu Music Tech Festa

Bio sam 2 dana u Vodnjanu s najluđim svjetskim IT inovatorima. Recimo, dali su mi da pošaljem glas na Mjesec

Infobip je na svom golemom kampusu u Vodnjanu ugostio briljantnu ekipu Music Tech Festa

CJ Carr bavi se vokalnom umjetnom inteligencijom
FOTO: Vjekoslav Skledar

 U dva dana koliko sam bio tamo vidio sam nevjerojatne stvari: inovatori koji surađuju s NASA-om pokazali su mi kako koristiti posebne bežične rukavice za stvaranje zvuka, probao sam čudnovatu napravu koja podatke iz mozga pretvara u prekrasne vizualizacije, upoznao ljude koji omogućuju djeci oštećena sluha da osjete glazbu, naučio što je to sonifikacija podataka te može li umjetna inteligencija napraviti kvalitetan death - metal album. I, posebno kul, čuo sam jeku vlastitog glasa koji se odbio od površine Mjeseca

Vozio sam se prema Vodnjanu, podjednako uzbuđen i zabrinut. Već neko vrijeme nestrpljivo čekam svoj odlazak u Istru, u golemi Infobipov kampus gdje je ta IT kompanija ovaj tjedan, u sklopu Music Tech Festa (MTF), odlučila ugostiti neke od najvećih i najzanimljivijih IT inovatora današnjice. Bio sam uzbuđen jer sam znao da ću vidjeti neke stvari koje je običnom čovjeku teško i zamisliti. Zabrinut jer nisam bio siguran hoću li moći svu tu genijalnu ludost shvatiti i vjerno prenijeti. Kako prepričati nešto poput vokalne umjetne inteligencije ili sonifikacije Sunčeva sustava?

Kad sam kročio u kampus, strah je nestao. Onog trena kad počnete pričati s tim ljudima koji su došli iz svih krajeva svijeta kako bi vam strpljivo pokazali što je sve moguće s tehnologijom, odjednom vas obuzme to isto pozitivno ludilo. U dva dana koliko sam bio tamo vidio sam nevjerojatne stvari: inovatori koji surađuju s NASA-om pokazali su mi kako koristiti posebne bežične rukavice za stvaranje zvuka, probao sam čudnovatu napravu koja podatke iz mozga pretvara u prekrasne vizualizacije, upoznao ljude koji omogućuju djeci oštećena sluha da osjete glazbu, naučio što je to sonifikacija podataka te može li umjetna inteligencija napraviti kvalitetan death – metal album. I, posebno kul, čuo sam jeku vlastitog glasa koji se odbio od površine Mjeseca.

Hrvatska inovatorica je osnivačica projekta

MTF kolektiv diljem svijeta okuplja više od 6000 ljudi, a osnivačica je briljantna hrvatska inovatorica Michela Magaš, inače dobitnica nagrade Europske unije za inovatoricu 2017. godine. Svi ljudi s kojima sam ovaj tjedan sjeo u Infobipovom kampusu Pangea, rekli su mi istu stvar – da sve što ovdje vidim ne rade za profit, već isključivo za poboljšanje zajednice. Svatko od njih uložio je nevjerojatan trud da svima koji su se u ova dva dana našli s njima tamo, što jednostavnije, i bez previše pompe, objasne što točno stvaraju.

Osnivačica Music Tech Festa, Michela Magaš, drži predavanje u prostorijama Infobipa u Vodnjanu Vjekoslav Skledar

Jedna od glavnih teza im je kako ne postoji nešto poput “glupe ideje”. Prema njima svatko može naučiti nešto novo od svakoga, a ako se grupa inovativnih i kreativnih ljudi okupi na jednom mjestu – nema razloga da ne stvore nešto novo, bolje, korisnije ili jednostavno – zanimljivije. Upravo to je i bio cilj njihova prvog dolaska u Hrvatsku.

‘Zamislite da Sunčev sustav možete svirati kao instrument’

Članovi MTF kolektiva već godinama rade na tome da nam svijet oko nas približe pomoću glazbe koju gledaju kao izuzetno koristan alat za vizualizaciju podataka. Američka profesorica medijskih umjetnosti na Sveučilištu Brighton i bivša NASA-ina znanstvenica Kelly Snook tako je predstavila svoj projekt Concordia koji se temelji na Keplerovoj teoriji o glazbi planeta, a koji će službeno zaživjeti u studenome ove godine.

Mimu rukavice Vjekoslav Skledar

“Zamislite da Sunčev sustav možete svirati kao instrument! Moj projekt Concordia omogućuje da stvarate glazbu dok se krećete u virtualnom Sunčevu sustavu pomicanjem ili odmicanjem od planeta. Riječ je o otvorenoj platformi koja korisnicima omogućuje da grade, istražuju i igraju se s modularnim glazbenim instrumentom sagrađenim oko astronomskih koncepata koji slave teoriju oca moderne astronomije – Johannesa Keplera. Taj renesansni znanstvenik zapravo je koristio podatke koje je dobio temeljem traženja harmonije, što je manje poznato”, objašnjava Snook.

Rukavice je isprobao i naš novinar

U stvaranju harmonije u proširenoj stvarnosti pomoću njenog instrumenta pomažu i MiMu rukavice. Riječ je izumu na kojem je počela raditi još 2010., a koji je popularizirala glazbenica Imogen Heap. isprobao sam ih i fantastične su. Snook ih ne proizvodi masovno, a rukavice su iznimno krhke, pa čovjek mora biti jako oprezan dok ih navlači ili skida. To su bežične rukavice koje u sebi imaju osam senzora za detekciju pokreta. Kako se korisnik kreće u prostoru i maše rukama ili savija prste, informacije odlaze u sustav koji potom stvara glazbu. Pokretima je čak moguće i mijenjati instrumente.

Pretvaranje moždanih valova u slike

Dojam da se nalazite u nekom futurističkom svijetu, a ne u Istri, pojačava i uređaj Muse koji koristi američka “dizajnerica doživljaja” Ginger Leigh. Komercijalni uređaj za meditaciju koji podsjeća na onaj rajf iz popularne dječje serije ‘Djevojčica iz budućnosti’ Leigh je preradila na način da moždane valove pretvara u različite vizuale. Uređaj je donijela na MTF pa sam ga imao prilike isprobati. Dok mi je namještala uređaj, Leigh je objasnila kako zapravo funkcionira: “Vaš mozak putem ovog uređaja u kompjuter cijelo vrijeme šalje podatke poput EEG-a. Te podatke, koji pokazuju koliko ste usredotočeni, softver potom pretvara u sliku. Što ste koncentriraniji to je vizual veći i konkretniji”.

Ginger Leigh pokazuje novinaru Telegrama kako radi njen sustav za vizualizaciju. Što ste koncentriraniji vizual je veći i širi

I doista, dok sam bio potpuno koncentriran na vizual (koji je pomalo sličio na jednu od mrlja iz Rorschachovog testa) na kompjuteru ispred mene on se postepeno povećavao. Kada sam promatrao okolinu ili slušao upute koncentracija na vizual mi je padala i on se smanjivao. Doživljaj je teško opisiv, ali je vjerojatno još bolji kada ga koristite u sklopu veće instalacije kakvu je Leigh postavila na nekoliko znanstvenih festivala. Recimo, svoje vizuale posjetitelji su tako mogli doživjeti unutar ogromne sfere.

Slanje svog glasa do Mjeseca i natrag

Članica MTF-a, Martine-Nicole Rojina koja dolazi iz Njemačke, razvila je pak zanimljiv projekt “skakanja po Mjesecu” – Sistermoon. Naravno, nije riječ o fizičkom skakutanju po Mjesecu već o slanju svoga glasa putem radio valova na Mjesečevu površinu i slušanju povratne jeke. “Situacija je slična kao kada ste u planinama i zaderete se pa čujete jeku. Jedina razlika je što glas moduliramo kroz radio valove jer u Svemiru nema zraka, a zvučni valovi putuju pomoću tih molekula. Radio val pak putuje brzinom svjetla što znači da je puno brži. Zbog toga trebaju tek 2 i pol sekunde da se jeka vrati pomoću radio valova”, objašnjava inovatorica i umjetnica kojoj cijelo vrijeme dok priča o svom projektu ne silazi osmijeh s lica. No, njoj je bitnije to što projekt uveseljava i druge: “Lica odraslih najčešće poprime izgleda lica djece. Jasno možete vidjeti kako im se usta razvlače u osmijeh, a oči sjaje. Prelijepo. Pogotovo kada shvate da su ostvarili posebnu novu vezu s Mjesecom”, priča.

Telegramov novinar u razgovoru s autoricom projekta Sistermoon Vjekoslav Skledar

Stvar je zapravo jednostavna koliko je i komplicirana. Sve što trebate napraviti jest sjesti za kompjuter kraj kojeg su slušalice i mikrofon. Kada izgovorite što želite, vaš glas putuje internetom do astronomskog radio teleskopa DWINGELOO u Nizozemskoj (promjera 25 metara) koji ga pretvara u radio valove i odašilje prema Mjesecu. Put vašeg glasa do Zemljina pratioca i natrag traje svega dvije i pol sekunde pa poruka mora biti te duljine. “Ako je poruka preduga čut ćete ju odrezanu pa svima kažem da budu kratki ili da kažu rečenicu, pričekaju jeku i onda opet govore”, objašnjava njemačka inovatorica. Sve poruke koje su poslane ostaju zabilježene u arhivi internetske stranice Sistermoon i svi ih mogu poslušati. “Projekt je potpuno neprofitan i otvoren za sve. Ne želim da se komercijalizira. Štitim ga kao majka lavica laviće”, kaže Rojina.

Kako cijela stvar izgleda? Sjeo sam dakle, pred jedan laptop i stavio slušalice na glavu. Na ekranu su mu se pojavila dva gospodina, stručnjaci za radiovalove Harry Keizer i Jan van Muijlwijk koji rade na teleskopu DWINGELOO. “Kada čujete zvuk počnite govoriti. Imate dvije i pol sekunde. Uživajte!”, poručili su mi znanstvenici. Prema Mjesecu poslao sam iduću poruku: “Telegram je dotaknuo Mjesec!”.

I doista, nakon 2 i pol sekunde u slušalicama sam čuo jeku onoga što sam izgovorio, koja se odbila od Mjeseca.

Okej, nisam sletio na Mjesec i ostavio trag u prašini, ali morate priznati da je dosta fora kad vam barem glas u obliku radio vala dotakne njegovu površinu. “Kada razmislite da smo se od aminokiselina razvili u ovo što smo danas, potpuno je prirodno i evolucijski za nas da se želimo oduprijeti gravitaciji i otići među zvijezde. Ovaj projekt je jedan mali korak prema tome”, zaključuje umjetnica.

Žena koja kad čuje glazbu, vidi boje. Doslovno

A onda je na red došlo nešto jednako fascinantno; sinesteta. U Istru je, naime, stigla i LJ Rich, dizajnerica zvuka, inovatorica i članica NASA-ina odjela Datanautsa. Poznata je i kao voditeljica BBC-jeve emisije o tehnologiji “Click”, ali najviše po sinestetskim performansima koje izvodi. Naime Rich kad čuje glazbu – vidi boje, a prilikom kušanja hrane čuje melodije koju istovremeno može izvoditi uživo. Riječ je o poremećaju koji donedavno nije bio naširoko poznat. “Sinestezija je miješanje osjeta. I to je uvijek teško objasniti nekome tko ne poznaje taj osjećaj. Kao da je preda mnom, na tri do četiri metra udaljenosti, ogromni monitor. I kada čujem glazbu na tom ‘monitoru’ vidim boje i karakteristike nota. Ako slušam orkestar preda mnom će se ukazati niz boja koje u sebi sadrže informaciju o zvuku. Kada netko bubnja meni se stvara druga boja ovisno o tome udara li bubnjar o činelu ili bas bubanj. Sve boje koje vidim ispred sebe mogu pomicati naprijed, natrag, gore ili dolje. To je kao da vam netko da tortu, a vi osjetite svaki sastojak pojedinačno u njegovoj punini. Ponekad kažem da sam kao Terminator koji ima onaj poseban kompjuterski vid koji mu omogućuje da o svakom predmetu ili čovjeku odjednom dobije dodatnu informaciju”, priča mi Rich u jednom dahu.

Kaže kako to nije ni prokletstvo niti blagoslov već jednostavno činjenično stanje. Ima svojih prednosti, ali i nedostataka. “Primjerice, loše prepoznajem ljude jer ne mogu zapamtiti njihova lica. To se zove prozopagnozija i moja sinestezija je vjerojatno kriva za to stanje. Neurolog mi je rekao kako je moj centar za prepoznavanje ljudi u mozgu doslovno otela glazba, odnosno boje koje vidim uz nju”, prepričava Rich. MTF-u se priključila nakon što je osvojila hackaton u Microsoftovu centru za istraživanje. “Tamo sam došla na ideju sa spojim hranu i glazbu. Primjerice, ako jedete pire krumpir dok u pozadini svira glazba jelo će imati bolji okus. Sa svojom idejom sam osvojila prvo mjesto i tu sam upoznala i druge ljude iz MTF-a koji su bili nevjerojatno pristupačni prema svemu što funkcionira drugačije.”

LJ Rich svira glazbu koju osjeća dok jede infobip

Do tada je, kaže, imala osjećaj da bi se trebala uklopiti i ne previše pokazivati svoje stanje. “Oni su me naučili da je potpuno u redu pokazivati ga i raditi na njemu koristeći ga kao bazu podataka. Glazba ima jako veliki potencijal, pogotovo u sonifikaciji podataka. To je i projekt na kojem surađujem s NASA-om – pretvaranje podataka u glazbu”, govori pa detaljnije pojašnjava svoju ideju: “Primjerice, sada kada dobijete elektroničku poštu obično imate određeni zvuk koji vas podsjeća da je stigla. Ali zašto, recimo, ne biste neželjenoj pošti ili onoj koja vam je važna dali zvuk koji je drugačiji od onog obične pošte? Na taj način koristite glazbu da na brzinu razlučite što se isplati pogledati ili pročitati, a što ne. To je jednostavan primjer sonifikacije podataka. To se trenutačno ne koristi previše, a moglo bi”. Dodaje i kako glazbu trenutno doživljavamo kao lijepu sliku, umjesto kao priručnik za gradnju.

Djeca koja ne čuju mogu osjetiti glazbu

Mordechai Braunstein (lijevo) objašnjava kako radi njegov uređaj koji pomoću vibracija u vodi stvara pravilne oblike Vjekoslav Skledar
Mordechai Braunstein pokazuje kako radi njegov uređaj koji pomoću virbracija u vodi stvara pravilne oblike
Vjekoslav Skledar

U sklopu Music Tech Festa u Vodnjan je došao i Mordechai Braunstein. Riječ je o Izraelcu koji organizira radionice za djecu oštećena sluha na kojima pomoću vibracije u vodi mogu slušati, odnosno osjetiti glazbu. “Osnivač sam tvrtke koja koristi kimatiku, znanstvenu disciplinu koja proučava utjecaj vibracija i valova na stvaranje oblika, za edukaciju o zvuku, vibracijama i svojstvima materijala. Kada zvuk dolazi u obliku materije, bilo vizualno ili taktilno, a ne nužno samo kroz uho, ljudi oštećenog sluha će ga lakše shvatiti” kaže Braunstein.

Tactile music. A musical experience at your finger tips. #cymatics #beethoven #deaf #deafculture #livemusic

Gepostet von Cymagic am Mittwoch, 17. April 2019

Amerikanac CJ Carr, objašnjavao je pak što je to Deep Learning i vokalna umjetna inteligencija. Ovaj mladi znanstvenik trenira neuronske mreže za rad s umjetnicima i glazbenicima, a poznat je i po stranici na kojoj AI 24 sata dnevno pušta vlastite death – metal kompozicije koje naravno (još) nisu na razini ljudskih, ali nisu ni tako daleko.

CJ Carr bavi se vokalnom umjetnom inteligencijom Vjekoslav Skledar

Uz radionice otvorene za javnost, inovatori iz MTF-a sudjelovali su i na radionicama za zaposlenike vodnjanskog Infobipa u njihovom kampusu Pangea. “Inovacije su od samih početaka dio našeg DNK i činilo nam se prirodnim da pokrenemo suradnju s Music Tech Festom. Željeli smo omogućiti našim zaposlenicima da unaprijede svoja znanja radeći sa svjetski priznatim inovatorima na kreativan način. Kontinuirano učenje i ulaganje u znanje bitna je odlika naše Infobip kulture. Bitno nam je da u svemu što radimo uključimo lokalnu zajednicu, zato smo kao goste pozvali prijatelje Infobipa iz cijele Hrvatske koji se bave novim tehnologijama te članove lokalne akademske zajednice”, priča Silvio Kutić, CEO Infobipa te napominje da mu je posebno drago što se u cijelu stvar uključilo i Sveučilište Jurja Dobrile u Puli.

Organizatori MTF-a: Andrew Dubber i Michela Magaš i Infobip ekipa: Silvio i Roberto Kutić, Izabel Jelenić, Monika Ivanović, Sandi Ibrahimpasić Vjekoslav Skledar

Infobip je na radionice doveo zaposlenike iz cijelog svijeta

Zbog radionica na MTF su uz zaposlenike iz Hrvatske stigli i Infobipovi zaposlenici iz cijelog svijeta budući da ova hrvatska tvrtka, o kojoj je Telegram svojedobno pisao, globalno zapošljava više od 1600 ljudi te kroz 62 ureda posluje na šest kontinenata (samo u 2018. godini dvije trećine svjetske populacije, odnosno 4,7 milijardi ljudi koristilo je njihove servise i usluge). Pitao sam neke od njih kako im se sve što su ovaj tjedan vidjeli čini. Cleo Quiambao do Vodnjana je potegnula iz Filipina. “Učimo nešto novo, kako biti kreativniji i razmišljati nekonvencionalno”, kaže, a na nju se nadovezuje Nitish Narayanan iz Bangalorea u Indiji. “Meni je osobno najzanimljiviji dio bio onaj o vokalnom AI-u i frekvencijama i kako se sve to može uklopiti u tehnologije koje trenutačno koristimo”.

S drugog kraja svijeta, iz Infobipova brazilskog ureda, došli su pak Julio Ceaser Augusto i Luiz Fernando Castro koji su oduševljeni iskustvom koje su ovdje stekli, pogotovo radionicama, kao i Ana Maria Escobar, iz njima susjedne Kolumbije. “Nemam nikakve veze s pravim Escobarom”, kaže na prvu u šali i dodaje “MTF je odlično iskustvo jer sam dobila priliku vidjeti kako razmišljaju ljudi iz cijelog svijeta”.

Zaposlenici su se na kraju podijelili u šest grupa od kojih je svaka radila na nekoliko novih ideja temeljem znanja i ideja koje su dobili na predavanjima MTF-ovih inovatora. Prije polaska i mi smo dobili priliku dati mali doprinos. Moja ideja bila je napraviti aplikaciju putem koje bi građani ocjenjivali stanje u državi. Podatke iz aplikacije AI bi potom pretvarao u veselu ili tužnu glazbu, ovisno o ocjenama građana, koja bi svirala iz zvučnika blizu gradskog poglavarstva ili zgrade Vlade. Moju malu novinarsku provokaciju inovatori iz MTF-a i Infobipa su podigli na novu razinu. Dok sam već sjedio u tmurnom Zagrebu i pisao tekst, javili su se kako su na temelju ove ideje osmislili projekt Global pulse. Poanta je da ljudi putem aplikacije WhatsApp šalju emotikone, a putem SMS-ova riječi na točno određen broj nakon čega ih algoritam pretvara u glazbu. Jedna grupa poslala nam je i audiozapis kako to zvuči kada se uglazbi milijun SMS-ova.