Yann LeCun-ovi AMI Labs i uspon AI svjetskih modela
Većina AI alata djeluje impresivno u demou, a zatim razočara kada se implementira u stvarne radne tokove. McKinsey projicira da bi potrošnja na generativnu AI mogla doseći 1,2 triliona dolara godišnje do 2032., no mnogi implementirani sustavi i dalje se ponašaju kao pokretači automatskog dovršavanja umjesto kao pouzdani donositelji odluka. Ovaj rastući jaz između blistavih chat sučelja i pouzdane autonomije upravo je ono što Yann LeCun-ov novi pothvat, AMI Labs, nastoji zatvoriti. Usredotočujući svoje istraživanje na AI svjetske modele, interne simulacije koje omogućuju strojevima predviđanje, planiranje i djelovanje, AMI Labs predstavlja namjerni prekid s čistim načinom razmišljanja o skaliranju današnjih vođa velikih jezičnih modela. Ako radite u AI, robotici, razvoju proizvoda ili strategiji, razumijevanje ovog pomaka brzo postaje prednost u karijeri dok se AI kreće od chata prema agentima koji rade u fizičkim i digitalnim okruženjima.
Ključne točke
- AMI Labs, koji je osnovao Yann LeCun, usredotočen je na izgradnju autonomne strojne inteligencije utemeljene na AI svjetskim modelima umjesto jednostavnog skaliranja velikih jezičnih modela.
- Svjetski modeli daju AI sustavima interne simulacije kako se okruženje mijenja, što podupire predviđanje, planiranje i zdrav razum o fizičkoj i socijalnoj dinamici.
- LeCun-ov pristup gradi na samonadziranom učenju i arhitekturama poput Joint Embedding Predictive Architectures, koje se tehnički razlikuju od autoregresivnog predviđanja tokena.
- Pravi napredak zahtijeva ne samo pametne arhitekture već i praktičan rad na podacima, računalnoj obradi, evaluaciji i upravljanju, gdje mnogi trenutni članci prešućuju teške kompromise.
Zašto AMI Labs signalizira pomak izvan čistih jezičnih modela
AMI Labs, kratica za Autonomous Machine Intelligence Labs, osnovao je Yann LeCun nakon više od desetljeća vođenja AI istraživanja u Meti i dugogodišnje akademske karijere na Sveučilištu New York. LeCun je podijelio Turingovu nagradu 2018. s Geoffrey Hintonom i Yoshuom Bengiom za temeljni rad na dubokom učenju, posebno konvolucijskim neuronskim mrežama koje sada podupiru većinu sustava računalnog vida. S AMI Labs-om, eksplicitno izlazi iz zone udobnosti čistog jezičnog modeliranja kako bi provodio agente koji mogu razumjeti i djelovati u svijetu. U svojim javnim govorima tvrdi da prava inteligencija zahtijeva interni model okruženja, ne samo veliku memoriju teksta pokupljenog s interneta. Taj argument pozicionira AMI Labs u drukčiju konceptualnu kategoriju od laboratorija koji se uglavnom usredotočuju na sve veće chat modele.
Da biste vidjeli koliko je to značajno za vaš plan rada, usporedite AMI Labs s trenutnim ekosustavom graničnih modela. U trenutnom AI krajobrazu, imena poput OpenAI, Google DeepMind, Anthropic, xAI i Cohere dominiraju raspravom oko graničnih modela. Ovi laboratoriji osigurali su partnerstva od milijardama dolara s cloud i enterprise dobavljačima za treniranje i implementaciju velikih jezičnih modela i multimodalnih sustava. AMI Labs se pojavljuje kao istraživački usmjerenija organizacija usredotočena na jedno nadređeno pitanje: kako izgraditi sustav koji uči prediktivni, uzročni model svijeta i koristi ga za planiranje. Dok bi OpenAI mogao naglašavati implementirane aplikacije poput Copilot asistenta za kodiranje, AMI Labs definira uspjeh kao agent koji može učiti iz videozapisa, interaktirati s okruženjima i generalizirati kroz zadatke s minimalnim nadzorom. Iz mog iskustva, ta razlika u cilju uvelike utječe na arhitekturne izbore, podatkovne cjevovode i konačno poslovne modele.
Investitorski interes za alternativne pristupe porastao je kako se povećavaju troškovi skaliranja LLM-ova i pojavljuju se brige oko marginalnih povrata. Izvještaji iz Stanford AI Indexa pokazuju da se računalna obrada za treniranje graničnih modela povećava za redove veličine otprilike svake godine ili dvije, uz strme povećanje procjena troškova treniranja. Ovaj ekonomski pritisak stvara prostor za arhitekture koje koriste manje ljudskih oznaka, efikasniji su po uzorcima ili koriste samousmjereno učenje iz sirovih senzorskih tokova. AMI Labs pozicionira svjetske modele kao jedan odgovor na ovaj pritisak, obećavajući sustave koji mogu prediktivno učiti iz neoznačenih podataka i zatim ponovno koristiti to znanje kroz mnoge downstream zadatke. Za čitatelje koji planiraju karijere ili investicije, vrijedi primijetiti da takva strategija nije samo akademska – izravno odgovara na uska grla u podacima, računalnoj obradi i pouzdanosti s kojima se praktičari svakodnevno suočavaju.
Što su AI svjetski modeli i zašto su važni
Prije nego što možete procijeniti AMI Labs kao opkladu, trebate jasnu sliku o tome što je svjetski model i gdje se uklapa uz velike jezične modele. AI svjetski model je interna reprezentacija koja omogućuje AI sustavu predviđanje kako će se svijet promijeniti kada on ili drugi djeluju. Umjesto jednostavnog mapiranja ulaza izravno na izlaze, svjetski model uči dinamiku svog okruženja tako da može zamisliti buduća stanja, evaluirati moguće radnje i razmišljati o uzroku i posljedici. Ova interna simulacija može se naučiti iz sirovih podataka poput videozapisa, senzorskih očitanja ili zapisa interakcija, često koristeći samonadzirne ciljeve koji ne zahtijevaju ljudske oznake. Jednom treniran, svjetski model podupire planiranje, dugoročnu kontrolu i robusniju generalizaciju na nove situacije. Jednostavno rečeno, daje umjetnom agentu vrstu mentalnog modela svojih okolina.
Koncept nije nov u umjetnoj inteligenciji ili kognitivnoj znanosti, gdje su istraživači dugo tvrdili da inteligentno ponašanje ovisi o internim modelima okruženja. Stuart Russell, koautor klasičnog udžbenika “Artificial Intelligence: A Modern Approach”, naglašavao je da agenti trebaju model svijeta za predviđanje posljedica radnji i donošenje racionalnih odluka. Jürgen Schmidhuber i David Ha popularizirali su frazu “svjetski modeli” u radu iz 2018., gdje su trenirali sustav da nauči kompaktnu reprezentaciju okruženja i zatim koristili tu reprezentaciju za kontrolu u jednostavnom zadatku vožnje automobila. Njihov pristup pokazao je da naučeni svjetski model može podupirati planiranje i kontrolu potpuno u latentnom prostoru, smanjujući potrebu za izravnom interakcijom s kompleksnim simulatorom. Ove ideje čine važnu pozadinu za LeCun-ov noviji rad, koji ih integrira s napretkom u samonadziranom učenju reprezentacije. Za dublju osnovu o tome zašto su svjetski modeli važni, resursi poput ovog vodiča za AI svjetske modele mogu biti korisna dopuna istraživačkoj literaturi.
Yann LeCun okvire svjetskih modela kao nedostajući dio između prepoznavanja uzoraka i zdravog razuma. Tvrdio je u mnogim govorima da trenutni sustavi dubokog učenja izvrsno rade na zadacima percepcije poput klasifikacije slika ili prepoznavanja govora, dok metode reinforcement learninga rješavaju učenje pokušaja i pogrešaka u uskim domenama. U svom eseju iz 2022. “A Path Towards Autonomous Machine Intelligence”, piše da je cilj naučiti model koji hvata pravilnosti svijeta, zatim ga koristiti za razmišljanje i planiranje. Često sažima samonadzirno učenje kao “kolač” AI-ja, s nadziranim učenjem i reinforcement learningom kao “glazurom na kolaču”. U tom pogledu, svjetski modeli su kolač napravljen od prediktivnog razumijevanja, a downstream zadaci su ukrasni elementi koji iskorištavaju ovo duboko interno znanje o tome kako se svijet ponaša.
Unutar LeCun-ove vizije: od samonadzora do Joint Embedding Predictive Architectures
Da biste razumjeli što čini AMI Labs posebnim, pomaže raspakovati LeCun-ovu tehničku viziju, posebno njegov fokus na samonadzirno učenje i Joint Embedding Predictive Architectures, često zvane JEPA. Samonadzirno učenje odnosi se na trenirajuće ciljeve gdje model predviđa dijelove svog unosa iz drugih dijelova, tako da može naučiti strukturu iz sirovih podataka bez eksplicitnih oznaka. Na primjer, model za vid mogao bi predviđati nedostajuće zakrpe u slici, ili video model mogao bi predviđati buduće kadrove iz prošlih kadrova. LeCun i kolege u Meti agresivno su gurali ovu ideju za modele vida i multimodalne modele, tvrdeći da se samonadzor bolje skalira od ručno označenih skupova podataka i hvata općenitije značajke okruženja. U njihovom pogledu, samonadzor je glavni motor za učenje svjetskih modela, jer sam svijet pruža neograničen tok nadzornih signala.
JEPA implementiraju poseban način ovakvo prediktivnog učenja. Umjesto generiranja piksela ili tokena jedan po jedan, JEPA kodira dva opažanja u zajednički prostor ugrađivanja i uči predviđati jednu reprezentaciju iz druge. U praktičnim terminima, JEPA može uzeti trenutno senzorno stanje i ciljno buduće stanje, zatim naučiti uskladiti njihova ugrađivanja ako je prijelaz vjerojatan. To se razlikuje od autoregresivnih jezičnih modela koji predviđaju sljedeći token na izlaznom sloju koristeći softmax preko vokabulara. Usredotočujući se na predviđanje visoko-razinskih reprezentacija umjesto sirovih izlaza, JEPA mogu ignorirati irelevantne detalje i koncentrirati se na temeljne faktore varijacije. LeCun tvrdi da ih to čini prikladnijima za učenje apstraktne dinamike svijeta, na primjer razumijevanje da objekt opstaje kada se kreće iza drugog objekta.
U svojim javnim predavanjima, LeCun je bio kritičan prema čistim generativnim modelima koji pokušavaju sintetizirati svaki detalj svoje izlazne distribucije. Slavno je nazvao trenutne generativne modele “mutnim JPEG-ovima weba”, što znači da kompresiraju ogroman internetski sadržaj u lossy aproksimaciju koja se može uzorkovati za vjerojatan tekst ili slike. Iz njegove perspektive, takvi modeli su rasipni jer alokacijski parametri reproduciraju površne detalje umjesto učenja dubokih pravilnosti svijeta. Predlaže da bi svjetski modeli trebali biti prediktivni ali ne potpuno generativni, hvatajući ono što je važno za kontrolu i razmišljanje dok odbacuju površnu buku. Iz mog iskustva, ovaj fokus na dostatnost za djelovanje, umjesto savršene generativne vjernosti, odgovara tome kako inženjeri dizajniraju simulatore u robotici, gdje pojednostavljeni fizički modeli često nadmašuju fotorealistične renderere za planiranje.
Kako AI svjetski modeli stvarno funkcioniraju u praksi
Ako to želite staviti u praksu u laboratoriju ili produktnom okruženju, pomaže vizualizirati punu petlju percepcija-djelovanje. Pod poklopcem, sustav svjetskog modela obično se sastoji od nekoliko komponenti koje međusobno djeluju i tvore petlju percepcije i djelovanja. Jedna komponenta kodira sirova opažanja poput slika, mapa dubine, tekstualnih opisa ili senzorskih očitanja u kompaktnu latentnu reprezentaciju. Druga komponenta, često zvana model dinamike, predviđa kako će se to latentno stanje razviti s obzirom na radnju ili vanjski događaj. Modul planiranja koristi model dinamike za simulaciju različitih sekvenci radnji, pomiče ih naprijed i evaluira koja sekvenca će vjerojatno postići cilj. Konačno, politika ili kontroler pretvara odabrani plan u nisko-razinske radnje, poput motornih naredbi za robotsku ruku ili API poziva za softverski agent. Svjetski model sjedi u centru, povezujući percepciju s predviđanjem i kontrolom.
U istraživanju, nekoliko konkretnih sustava utjelovljuje ovaj uzorak. Dreamer familija algoritma, koju je razvio Danijar Hafner i kolege, trenira svjetski model iz sirovog vizualnog unosa i zatim uči politiku koja planira u naučenom latentnom prostoru.