Bivši istraživač OpenAI-a gradi AI model koji procjenjuje opcije umjesto pisanja teksta

Osnovna ideja iza Jeva: programeri definiraju pitanja i moguće odgovore, a model ocjenjuje ponuđene opcije.

Razvrstavanje upita umjesto odgovaranja korisnicima

Primjer iz dokumentacije pokazuje kako bi to moglo izgledati u praksi. Korisnik piše webshopу da mu je naplaćena ista narudžba dva puta i traži povrat novca za drugi iznos. Prije nego što itko može obraditi zahtjev, treba ga razvrstati. Radi li se o problemu s plaćanjem, dostavom ili povratom robe? Želi li korisnik novac natrag ili samo objašnjenje?

Tu programeri povežu softver trgovine s Jevom i definiraju ta pitanja zajedno s dopuštenim odgovorima. Sa svakom novom porukom softver Jevu prosljeđuje korisnikov tekst. Zauzvrat ne dobiva pismo s odgovorom, nego primjerice oznaku „problem s plaćanjem” i vjerojatnost da korisnik traži povrat novca.

Softver trgovine zatim može primijeniti fiksna pravila. Problemi s plaćanjem prosljeđuju se računovodstvu, zahtjevi za povrat označavaju se zastavicom. Kad je oznaka nejasna, zahtjev pregledava djelatnik. Jev daje procjenu, a softver na temelju programiranih pravila odlučuje što se dalje događa.

To ne znači da je novac već vraćen. Treba li zaista doći do povrata, utvrđuje se naknadno usporedbom sa stvarnim transakcijama. Zasebni chatbot mogao bi korisniku priopćiti potvrđeni status. Za samo razvrstavanje to nije potrebno.

Vremena odgovora ispod jedne sekunde mogla bi otvoriti nove primjene

TypeSafe tvrdi da Jev odgovara za 70 do 500 milisekundi, što je višestruko brže od čak i najbržih trenutačnih jezičnih modela. Da bi to postigao, model preskače postupno generiranje teksta i, kako tvrtka navodi, paralelno izračunava više izlaznih vrijednosti. Dodavanje više pitanja u istom pozivu gotovo i ne povećava vrijeme odgovora.

Ta brzina mogla bi omogućiti provjeru prije svakog odgovora AI asistenta. Proturječi li nacrt dosadašnjem razgovoru? Obećava li povrat novca koji nije evidentiran na korisničkom računu? TypeSafe opisuje ovakve provjere u svojim primjerima radnih tokova. Tvrtka navodi i više mogućih primjena u prodaji i korisničkoj podršci, poput prepoznavanja namjere kupnje, razvrstavanja upita po temi ili procjene kada bi trebao preuzeti ljudski djelatnik.

No i uobičajeni jezični modeli mogu ispisivati unaprijed zadane kategorije i podatkovne strukture. OpenAI za upravo to nudi Structured Outputs. Sam strukturirani format odgovora ne razlikuje Jev od konkurencije. Da bi pobijedio, model bi morao te zadatke obavljati ne samo brže ili jeftinije, nego i s dovoljno dobrom kvalitetom.

Objavljeni testovi performansi imaju svoja ograničenja. TypeSafe uspoređuje četiri radna toka koja je sam izgradio i kao referentne vrijednosti koristi odgovore drugih AI modela, a ne neovisno verificirana točna rješenja. U evaluacijama nedostaje i GPT-6 Astra. Model je, međutim, vrlo jeftin — TypeSafe navodi cijenu od 0,042 dolara po milijunu ulaznih tokena, a za izlazne tokene ne naplaćuje ništa.

Bez halucinacija ne znači bez pogrešaka

TypeSafe reklamira Jev kao model koji ne može halucinirati. No to jamstvo odnosi se isključivo na dopuštenu strukturu izlaznih podataka. Model neće proizvesti odgovor izvan unaprijed zadanih opcija. Činjenično pogrešan odabir unutar tih opcija i dalje je moguć.

Model je namijenjen tome da mnoštvo sitnih procjena u pozadini učini ekonomičnijima. Jesu li te procjene dovoljno pouzdane, tvrtke će morati ispitati za vlastite zadatke. Programeri mogu zatražiti pristup putem liste čekanja.