Pričali smo s tipom koji je napravio YugoGPT, regionalni chatbot temeljen na umjetnoj inteligenciji
Regionalni AI chatbot treniran je na materijalima pisanima hrvatskim, srpskim, bosanskim i crnogorskim jezikom
Ovu je godinu u tehnološkom svijetu obilježila umjetna inteligencija, pogotovo njezin jezični model ChatGPT koji “razgovara” s korisnicima, odgovara na upite, piše tekstove i rješava kompleksne zadatke.
Val trenda uporabe i razvoja umjetne inteligencije odlučio je i iskoristiti srbijanski tehnološki stručnjak Aleksa Gordić koji je ovog ponedjeljka u rad pustio regionalni AI chatbot pod nazivom YugoGPT, treniranim na materijalima pisanima hrvatskim, srpskim, bosanskim i crnogorskim jezikom.
Nakon što je skupio iskustvo radeći kao inženjer strojnog učenja u Microsoft Development Centru u Srbiji te na Googleovom odjelu za umjetnu inteligenciju Deep Mind, odlučio je svoje znanje iskoristiti za stvaranje regionalnog jezičnog modela koji funkcionira poput ChatGPT-a.
Ideja se ‘krčkala’ dvije godine
“Mislim da mi se već godinu ili dvije u glavi ‘krčka’ ideja da bi bilo lijepo napraviti nešto za našu regiju. To razmišljanje je kulminiralo nakon što sam napustio Google Deep Mind i krenuo razmišljati o tome što dalje”, priča Gordić za Telegram.
Kaže da je ranije ovog ljeta htio napraviti fino ugađanje velikog jezičnog modela Mete, odnosno bivšeg Facebooka, pa je shvatio da je podrška za naše jezike dosta loša. “Ne samo da nema open source eko sistema oko takozvanih velikih jezičnih modela, nego i generalno nedostaje inteligentnih sistema za prevođenje i ostalih sistema za neurolingvističko programiranje.
To me inspiriralo da krenem raditi na open sourceu od Mete koji se zove ‘no language left behind‘, odnosno u mom slobodnom prijevodu – ‘ni jedan jezik neće biti ostavljen iza’. Taj sistem podržava 202 jezika, više od 40.000 pravaca prevođenja”, tvrdi Gordić.
Sedam milijardi parametara
Kaže da je radeći na tom projektu shvatio da velike jezične modele želi trenirati za razne jezike pa je odlučio početi s jezicima iz regije. “Tako se rodila ideja YugoGPT-a, velikog jezičnog modela od sedam milijardi parametara za hrvatski, bosanski, srpski i crnogorski jezik”, objašnjava.
Razlog zašto se odlučio za jezike iz regije, kaže, bio je prvenstveno tehničke prirode. “Slični su, pa ako model nauči jedan jezik onda će lako naučiti i drugi”, tvrdi. Ističe kako je u svemu imao veliku pomoć Nikole Ljubešića s Filozofskog fakulteta u Zagrebu, stručnjaka za jezične tehnologije i računalnu lingvistiku, te je zahvaljujući njemu nabavio skup podataka od oko 11,5 milijardi riječi.
“Model je trenutno dosta dobar, ali definitivno ima problema u takozvanom multiturn setupu, u kojem korisnik pokušava razmijeniti više poruka s YugoGPT-om u jednom razgovoru. To nije teško popraviti i već sad radim na tome”, kaže Gordić.
Koristan za sve industrije
Od modela poput njegovog, veli, sve industrije mogu imati koristi, bilo da se radi o obrazovnim institucijama, bilo da je riječ o tehnološkim kompanijama, a iskoristiv je i u medicini. “Preporučujem čitateljima da bace pogled na traku s desne strane koju sam dodao u yugochat, tamo se mogu naći primjeri aplikacija koje ga trenutno mogu koristiti”, dodaje.
Na pitanje mogu li se YugoGPT-u dogoditi greške u zaključivanju, naš sugovornik kaže da je to svakako moguće. “Ovo je ipak model od ‘samo’ sedam milijardi parametara. Greške se događaju i GPT-4 modelu od OpenAI-ja za koji se procjenjuje da ima 1,8 trilijuna parametara”, objašnjava.
Navala korisnika na YugoGPT
Nakon isprobavanja YugoGPT-a kažemo Gordiću da je po pitanju jezika sve “čisto” te da nismo primijetili da njegov chatbot radi jezične greške. On tvrdi kako je siguran da i trenutni model može napraviti određene greške, recimo s padežima.
“Model je trenutno dosta dobar, a iduće iteracije će biti još bolje i model će moći lijepo koristiti hrvatski, srpski, bosanski i crnogorski. Moći će prevoditi iz ekavice u ijekavicu i obrnuto. Također planiram i u njega dodati podršku i za ćirilicu u nekim budućim iteracijama”, tvrdi.
U samo dva dana od puštanja novog jezičnog modela u rad isprobalo ga je tri tisuće korisnika. Gordić kaže kako su reakcije pozitivne. “Model je u isto vrijeme izuzetan i brz, a s druge strane nakon više poruka zna postati repetitivan pa je samo potrebno početi novi razgovor s modelom. Nadam se da ću već u idućih tjedan dana riješiti ovaj problem”, govori.
‘AI uči od ljudi, usvaja predrasude’
Pitamo ga može li se navesti YugoGPT da napiše tekstove iz rasističkih, antisemitskih ili seksističkih perspektiva, a on kaže kako se boji da je uz dovoljno truda moguće natjerati ovaj jezični model da kaže bilo što.
“U tom trenutku to znači da je osoba s druge strane izuzetno maliciozno pokušavala izvući takve stvari iz modela, a to također nešto govori i o toj osobi. Tijekom normalne uporabe mala je šansa da će model ničim izazvan iskazivati takve karakteristike”, tvrdi.
Na pitanje kako gleda na dosadašnji razvoj AI-ja i upozorenja na potencijalne opasnosti koje dolaze s tim, odgovara da je iz njegove perspektive “umjetna inteligencija kao i nuklearna tehnologija – moćan dio tehnologije koja je sama po sebi relativno neutralna”. “Kažem relativno jer za razliku od nuklearne energije koja je stvarno neutralna, AI uči od ljudi pa samim time usvaja njihove predrasude i razmišljanja”, tvrdi.
Modeli s lokalnom kulturom
Smatra da će benefiti od umjetne inteligencije biti enormni te da ju ne treba prijevremeno pretjerano regulirati. “Aplikacije koje koriste AI u kritičnim domenama, s druge strane, treba regulirati”, kaže. Dodaje i da ne bi bio iznenađen ako bismo do kraja desetljeća postigli prvu superinteligenciju.
Objašnjava i zašto su servisi poput YugoGPT-a, iako postoji ChatGPT, neophodni, pa navodi razloge društvene i praktične prirode. “Mi želimo modele s lokalnim vrijednostima i kulturom. Recimo, ako pitate ChatGPT ‘kako platiti porez ove godine’, on će automatski pretpostaviti da vas zanimaju porezi u SAD-u, iako mu pišete na srpskom ili hrvatskom jeziku.
Jedan od razloga je recimo i činjenica da mnoge kompanije nisu komforne sa slanjem podataka američkim sučeljima za spajanje aplikacija trećih strana, zbog sigurnosti i privatnosti podataka”, tumači Gordić pa se osvrće i na tehničke razloge.
Moderiranje sadržaja
“Kada imate pristup parametrima koji opisuju model, onda imate daleko veću kontrolu nad time što model može napraviti za vas. Možete ga kvantizirati i napraviti ga manjim. Tako kompanije mogu uštediti novac. Time se nešto malo gubi na preciznosti samog modela, ali bitna je stavka da imate kontrolu i odlučujete što ima najviše smisla za vas ili vaš biznis”, ističe.
Kaže i da se model može dodatno istrenirati na privatnim podacima i napraviti od njega eksperta za ranije spomenute poreze. “Tako ste fleksibilniji u kontroliranju toga što vam model vraća kao rezultat. To je jako bitno za moderiranje sadržaja.
Ako hoćete manje cenzure, recimo radite na aplikaciji za kreativno pisanje, vi imate kontrolu nad njim. Ako želite da je model parcijalno cenzuriran samo za neke teme, možete i to napraviti”, tvrdi Gordić.