PrismML se nada da će njegov mali LLM promijeniti način na koji svi koristimo AI

Ako još niste čuli za AI laboratorij PrismML, vrijedi obratiti pažnju — ne toliko zbog iznosa koji su prikupili (zasad je to samo početna runda od 22,25 milijuna dolara), koliko zbog stručnjaka koji stoje iza projekta i tehnologije koja bi mogla promijeniti cijelu industriju.

PrismML se kladi na to da sposobni jezični modeli s naprednim zaključivanjem zapravo ne moraju biti veliki.

Tvrtka razvija modele toliko male da stanu na osobna računala i pametne telefone. (Prema glasinama, pregovara i s Appleom, no izvršni direktor Babak Hassibi to nije htio komentirati za TechCrunch.)

U četvrtak je PrismML objavio Bonsai 2 27B, najnoviji model iz svoje obitelji, koji komprimira Qwen3.8 27B — široko korišten model otvorenog koda kineskog Alibabe — na svega 5,9 GB. To je dovoljno malo da stane na osobno računalo, a možda i na vrhunski pametni telefon. U usporedbi s izvornikom, radi se o smanjenju memorijskog otiska za devet do deset puta.

PrismML su osnovali istraživači s Caltecha, a na čelu mu je Hassibi, profesor na toj instituciji i stručnjak za tehnologije kompresije. Među savjetnicima tvrtke nalazi se i Ion Stoica, suosnivač Databricksa (i više drugih tvrtki) te direktor čuvenog Sky Computing Laba na Berkeleyu, iz kojeg su nikle brojne tehnologije i startupovi — od Lette do SGLanga.

Investitori PrismMLa su Khosla Ventures, Cerberus Capital i Caltech.

PrismML svakako nije jedina tvrtka koja radi na kompresiji velikih jezičnih modela. Tu je i Multiverse Computing, kojeg je osnovao poznati profesor s Donostia International Physics Centera u Španjolskoj. (Multiverse Computing je pritom prikupio znatno više novca.)

No Hassibi tvrdi da je PrismMLova tehnologija kompresije posebna jer njihovi modeli gotovo uopće ne gube na performansama u odnosu na originale. Bonsai 2 postiže 98% ukupnih rezultata na referentnim testovima koje ostvaruje Qwen. To je napredak u odnosu na prvog Bonsaija, objavljenog prije nekoliko mjeseci u ožujku, koji je dostigao 95%. Taj je originalni model već preuzet više od 11 milijuna puta, a PrismMLovi još manji modeli preuzeti su dodatnih 2,6 milijuna puta, navodi tvrtka.

Vidljivo je dakle da se rezultati kompresije poboljšavaju iz verzije u verziju. Hoće li ikad biti moguće postići potpunu podudarnost s originalnim modelima na referentnim testovima, ostaje otvoreno pitanje. Kompresija će vjerojatno uvijek imati nekakav utjecaj, kaže Hassibi.

Ipak, savršena podudarnost na testovima uglavnom je akademsko pitanje. Nekomprimirani jezični modeli sami po sebi nisu besprijekorni, a referentni testovi ne odražavaju savršeno stvarnu upotrebu — pa bi pad od 2% teško imao mjerljiv učinak na svakodnevno korištenje modela. (Uostalom, i okolni softver — okruženje u kojem model radi — ima veliku ulogu kada je riječ o točnosti.)

PrismML objašnjava da rezultate postiže smanjivanjem „težina” od kojih je model sastavljen — težine su, u osnovi, informacije koje model usvaja i pohranjuje tijekom treniranja. Standardno, svaka težina zahtijeva 16 bita. PrismMLov pristup, koji se naziva „ternarnim” težinama, svodi to na samo tri moguće vrijednosti: +1, −1 ili 0. Budući da je za svaku težinu potrebno pohraniti znatno manje podataka, model zauzima drastično manje prostora. (Za detaljniji uvid u tehniku kompresije, dostupna je GitHub stranica projekta.)

Sljedeći cilj startupa je primijeniti ovu tehniku kompresije na još veće modele. „Sljedeći modeli koje ćemo objaviti, nadamo se u idućih nekoliko mjeseci, imat će nekoliko stotina milijardi parametara, i očekujem da će tamo biti lakše zadržati inteligenciju”, rekao je Hassibi za TechCrunch.

Kako modeli rastu, dodao je, „ima više prostora za kompresiju bez gubitka inteligencije. Dakle, kao opći trend — što je model veći, lakše je doći do 100%.”

Stoica kaže da ga ova tehnologija uzbuđuje jer naprednim modelima omogućuje rad izravno na korisničkim uređajima. „Imat ćete inteligenciju doslovno na dohvat ruke, i bit će besplatna jer će raditi na uređaju koji ste već kupili. Bit će i privatna, jer podatke nećete slati u oblak.”