Robotska natjecanja su se raspustila, a nezavisna varijabla je robotima izgradila “virtualni trening prostor”

Tjedan dana neprestano mi se pred očima nižu snimke robota.

Roboti obaraju ljudske rekorde na stotici, skaču gotovo tri metra u vis s mjesta, njihov „sramežljivi trk” postaje viralan diljem svijeta, a kibernetički majstori borilačkih vještina izvode 540-stupanjske okrete u zraku…

Ovogodišnje Svjetsko atletsko natjecanje humanoidnih robota bilo je veće nego ikad: 666 ekipa iz 16 zemalja s pet kontinenata dovelo je u Peking 2056 robota. Uz atletiku i borilačke vještine, natjecanje se proširilo i na stvarne scenarije poput kućanskih zadataka, hotelskih usluga, industrijskog rada i hitnih intervencija.

Kad robot posrne na natjecanju, publika se nasmije i zaboravi. No kad robot uđe u pravi dom i prevali čašu, sruši namještaj ili razbaca upravo posloženu odjeću – tada više nije smiješno.

Stvarni svijet nema označene staze ni uredno posložene rekvizite. Netko pomakne čašu za koji centimetar, na stolu se pojavi krpa – i pokret koji je robot savršeno uvježbao odjednom više ne funkcionira.

Upravo tu nastupaju modeli svijeta: prenijeti te pokušaje i pogreške u virtualno okruženje. Cilj je stvoriti simulaciju koja poštuje zakone fizike i omogućuje robotu da unaprijed proba svaki pokret – hoće li promašiti hvataljkom ako je pomakne malo ulijevo, hoće li prerano zatvorena hvataljka srušiti čašu.

Problem je što mnogi modeli svijeta ne uspijevaju pouzdano provesti takvo „virtualno testiranje”. Možda razumiju sliku, ali ne slušaju zaista zadane pokrete. Što dulje traje simulacija, objekti i položaji počinju lutati. A strategija koja u virtualnom okruženju izgleda sjajno, na stvarnom robotu često ne daje iste rezultate.

Upravo u trenutku kad roboti počinju prelaziti s natjecališta u stvarne scenarije, tvrtka Zibian Robotics objavila je autoregresivni model svijeta WALL-SS.

Virtualni poligon koji gradi WALL-SS konačno probija uska grla dosadašnjih modela svijeta. Donosi nova rješenja za tri ključna pitanja: mijenjaju li pokreti zaista ishode, ostaje li dugi niz zadataka koherentan i mogu li virtualni rezultati izdržati provjeru na stvarnom robotu.

Model može simulirati 60 sekundi neprekidnog izlijevanja vode i slaganja predmeta kako bi testirao ishode različitih pokreta: ovisno o načinu hvatanja čaše, hoće li robot promašiti, srušiti je ili je uspješno podići?

Istraživački tim testirao je više strategija upravljanja robotom paralelno u WALL-SS-u i u stvarnom svijetu. Strategije koje su se dobro pokazale u virtualnom okruženju uglavnom su davale dobre rezultate i na fizičkom robotu.

To je zaista zanimljivo: „snovi” koje robot sanja počinju služiti za uvježbavanje i odabir stvarnih pokreta.

Poveznice 🔗
Projektna stranica:
http://x2robot.com/pages/ss
Rad:
https://github.com/X-Square-Robot/wall-ss/blob/main/wall-ss-paper.pdf
GitHub:
https://github.com/X-Square-Robot/wall-ss

Način na koji robot „sanja” određuje hoće li u stvarnosti pogriješiti

Modeli svijeta trenutno su jedan od najzanimljivijih pravaca razvoja utjelovljene inteligencije.

Možemo ih zamisliti kao sustav predviđanja u robotovom „mozgu”. Dajte mu trenutnu sliku i skup pokreta koje namjerava izvesti – i on će predvidjeti što će se dogoditi.

Pomakne li se robotska ruka jedan centimetar ulijevo, hoće li uhvatiti čašu ili je srušiti? Ladica je već otvorena – treba li nastaviti uzimati predmet ili prvo prilagoditi kut zapešća? Robot može usporediti više mogućih budućnosti i tek onda odlučiti kojim putem krenuti.

Tvrtke koje razvijaju robote mogu u model svijeta ubaciti različite verzije strategija upravljanja i testirati ih. Bolja verzija tek tada ide na stvarni robot, čime se izbjegaju skupi pokusi u fizičkom svijetu.

Problem je što mnogi modeli svijeta često podsjećaju na pretjerano optimističnog redatelja.

Podaci za treniranje robota uglavnom se sastoje od uspješnih demonstracija. Ako model vidi da zatvaranje hvataljke gotovo uvijek rezultira podizanjem predmeta, lako pronađe prečac: čim se hvataljka zatvori, predmet bi trebao biti uhvaćen.

Čak i kad između hvataljke i predmeta postoji vidljiv razmak, predmet u generiranoj slici može sam „prilijepiti” uz hvataljku. Autori rada taj fenomen nazivaju pogreškom nalik „magnetskom hvatanju”.

Takva odstupanja možda nisu uočljiva kod krupnih pokreta poput trčanja ili plesa, ali kod preciznih operacija izravno odlučuju o uspjehu ili neuspjehu. Nekoliko milimetara razmaka između hvataljke i ručke čaše – i robot promaši. Malo krivi kut utikača – i teško ga je umetnuti u utičnicu.

Razlika između „znati kako” i „uspjeti” često se svodi na tih posljednjih nekoliko milimetara.

Ako model svijeta te milimetre jednostavno zanemari i prikaže glatku budućnost, robot će sve više precjenjivati pouzdanost svojih pokreta.

Što dulje traje simulacija, pojavljuju se novi problemi.

Nakon što model generira jedan isječak, taj isječak postaje osnova za sljedeće predviđanje. Mala početna pogreška neprestano se gomila. Predmeti polako klize s mjesta, a odnos između hvataljke i čaše se mijenja.

Ako model pamti samo nekoliko nedavnih sličica, zaboravlja što je ranije napravio. No ako pamti sve, računalni zahtjevi i potrošnja memorije neprestano rastu.

Uvjerljiva slika ne znači da je odabrana strategija zaista bolja. Razvoj robota zahtijeva odgovor na pitanje: pobjednik virtualnog testa – ostaje li pobjednik i na stvarnom robotu?

Model svijeta mora osigurati da različiti pokreti zaista vode do različitih ishoda. Glatka slika tek je najplitiji sloj tog problema.

Kako se robot kreće – tako se mora mijenjati i budućnost

Kad WALL-SS predviđa sljedećih nekoliko sekundi, počinje s „grubom skicom”.

U toj skici model najprije utvrđuje opći smjer: kamo ide robotska ruka, kako će se otprilike pomicati predmeti. Zatim isti isječak postepeno izoštruje – dodaje obrise predmeta, otvaranje i zatvaranje hvataljke te točke kontakta.

Autori rada taj hijerarhijski postupak od grubog do finog nazivaju „razinama”. Već generirana slika i izvršeni pokreti postaju povijest za sljedeće predviđanje – to je „autoregresija po razinama”.

Sa svakim novim slojem oštrine, pokreti još jednom utječu na budućnost.

Kreće li se ruka ulijevo ili udesno, to najprije mijenja smjer kretanja u gruboj slici. Kad se hvataljka zatvori, to dalje utječe na to hoće li u oštrijoj slici doći do kontakta s čašom.

Nakon što se jedan kratki isječak budućnosti generira, on zajedno s izvršenim pokretima ulazi u memoriju i postaje osnova za daljnju simulaciju.

Neki raniji modeli svijeta ponašali su se kao da pogledaju upute za pokret tek na početku, a zatim se oslanjaju na opis zadatka i vizualno iskustvo kako bi sami „dopunili” ostatak priče.

WALL-SS stavlja pokrete i slike na isti vremenski trak. Koja hvataljka se pomiče, kada i kamo – i što bi kamera na glavi te kamera na zapešću trebale vidjeti kao posljedicu – sve to mora biti međusobno usklađeno.

Uz iste početne uvjete, ali s različitim pokretima, model generira različite budućnosti. Kad hvataljka promaši predmet, to mora biti prikazano. Kad putanja naiđe na prepreku, model ne smije preskočiti ravno do uspješnog završetka zadatka.

Kako se to provjerava? WALL-SS fiksira početnu sliku i mijenja samo jednu putanju pokreta, a zatim promatra mijenja li se budućnost u skladu s tim. Model koji samo mijenja sitne detalje slike, a uvijek generira isti uspješan ishod, ne može postići visok rezultat na ovom testu.

Na toj evaluaciji WALL-SS postiže 0,290, Cosmos3 postiže 0,044, a ostali modeli 0. Taj pokazatelj mjeri osjetljivost modela na promjene pokreta. Razlika jasno pokazuje da WALL-SS puno vjernije mijenja generiranu sliku u skladu sa zadanim pokretima.

No nije dovoljno da model mijenja sliku prema pokretima. Robotska ruka u generiranoj slici mora zaista slijediti zadanu putanju.

Na mjerilu „preciznosti putanje” WALL-SS postiže 0,539 – najviši rezultat među svim uspoređivanim modelima. Njegov vizualni temelj InfinityStar postiže 0,251. Jednostavno rečeno: virtualna robotska ruka ne samo da „čuje” naredbu, nego i stvarno prati zadanu putanju.

Te sposobnosti dijelom potječu iz podataka koji su se ranije često odbacivali.

Istraživački tim zadržao je snimke promašaja, klizanja, sudara, ponovnih hvatanja, ljudskih preuzimanja kontrole i oporavka od grešaka. Jedan od načina prikupljanja podataka bio je sljedeći: najprije se sačuva pogrešan pokret robota, zatim se robot vrati u stanje blisko trenutku prije greške, a operater izvede korektivni pokret.

Ako u podacima za treniranje nema neuspjeha, model svijeta lako počne miješati „cilj zadatka” s „neizbježnim ishodom”.

Minuta kućanskih poslova – kako robot ostaje „pri sebi”

Sve navedeno samo osigurava da robot ne skrene s puta već od prvog koraka.

No kućanski zadaci obično uključuju više uzastopnih koraka: otvoriti ladicu, uzeti predmet, staviti ga u ladicu, zatvoriti ladicu – sve to može trajati desetke sekundi. Robot mora pamtiti je li ladica već otvorena i nalazi li se predmet trenutno na stolu ili u ruci.

WALL-SS ne tjera model da zauvijek pamti svaku sličicu. Umjesto toga, memorija se s vremenom automatski „zamagljuje”.

Nedavni pokreti čuvaju se s više detalja: je li robot nekoliko sekundi prije dotaknuo čašu, je li hvataljka već zatvorena – to treba precizno zapamtiti.

Starija povijest se sažima. Model ne mora stalno čuvati detalje svake sličice od prije desetak sekundi – dovoljno je zapamtiti koji predmeti su na stolu, gdje se otprilike nalaze i do koje faze je zadatak doveden.

Početna slika scene čuva se kao referentna točka za identifikaciju okoline i predmeta. Kad se vizualna povijest sažima, zajedno s njom sažima se i odgovarajuća povijest pokreta.

To je „dugotrajna memorija sažeta po razinama” – poput radnog dnevnika koji se sam organizira: nedavni događaji bilježe se detaljno, a stariji ostaju samo kao sažetak.

Model ne mora pamtiti svaki piksel iz prošlosti – dovoljno je znati koje promjene još uvijek utječu na sljedeći korak.

Unatoč tome, male pogreške se neizbježno gomilaju tijekom generiranja slika. Robot mora naučiti sam ih ispravljati. Zato WALL-SS uvodi tehniku „prisilnog sanjanja po razinama”: tijekom treniranja istraživački tim namjerno unosi smetnje u povijesne informacije i od modela zahtijeva da na temelju tih iskrivljenih podataka predvidi ispravnu budućnost.

To je kao da robot svakodnevno vježba u „snovima s malim greškama” i uči kako jedna sitna pogreška ne smije srušiti cijeli zadatak.

U dugotrajnim testovima WALL-SS je neprekidno simulirao 60 sekundi: pogreška putanje, spajanje isječaka, stanje predmeta i vizualna kvaliteta – sve je bilo stabilnije od uspoređivanih modela.

Zadatak izlijevanja vode uključivao je faze: približavanje boci, hvatanje, podizanje, naginjanje i vraćanje. Tijekom 60 sekundi simulacije, pogreška putanje robotske ruke po sličici ostala je ispod 0,5% dijagonale slike.

Verzija koja pamti samo nedavne isječke počela je vidljivo degradirati nakon 20 do 30 sekundi. Bez tehnike prisilnog sanjanja, dugotrajna konzistentnost stanja neprestano opada.

Time se potvrđuje da robot i u operaciji koja traje minutu pamti što je napravio i može stabilno simulirati budućnost.

Mogu li virtualni rezultati zamijeniti testiranje na stvarnom robotu?

Čak i kad su pokreti ispravni i memorija ne otkazuje, virtualni svijet i dalje može odstupati od stvarnosti.

Zamislite pilota koji je letio samo u simulatoru – biste li se ukrcali u njegov avion?

WALL-SS rješava taj problem uvođenjem dva stalna „suca” koji prate svako predviđanje.

Uz iste uvjete pokreta, model generira više mogućih budućnosti. Jedan sudac provjerava pokrete: prati li robotska ruka u slici zadani smjer, mijenjaju li se predmeti na odgovarajući način.

Drugi sudac provjerava dugoročnu konzistentnost: lutaju li stanja robota i predmeta, spajaju li se isječci glatko i je li slika iz više kamera međusobno usklađena.

Na temelju ocjena model zatim prilagođava vjerojatnosti pri generiranju sljedeće budućnosti. Taj postupak naziva se „online usklađivanje strategije vizualne dinamike”.

Jednostavno rečeno, sustav je namijenjen optimizaciji pravila promjena u vizualnom svijetu. Upravljač robota ne dobiva nagradu za stopu uspješnosti zadatka. Istovremeno se dodaju ograničenja referentnog modela i reprodukcija stvarnih putanja kako bi se spriječilo da model žrtvuje kvalitetu slike radi višeg rezultata.

Nakon usklađivanja, praćenje pokreta poraslo je s 0,264 na 0,290, preciznost putanje s 0,512 na 0,539, a pogreška na granicama isječaka pala je s 0,118 na 0,104. Pokreti i putanje bliže su uputama, video se glatko spaja, a kvaliteta slike ostaje gotovo nepromijenjena.

Pogledajmo izravno usporedbu virtualnog i stvarnog testiranja iz rada.

Istraživački tim odabrao je 5 verzija strategije WALL-WM iz različitih faza treniranja i testirao ih u 6 zadataka s 20 usklađenih početnih stanja – i u WALL-SS-u i na stvarnom robotu – dobivši ukupno 600 parova rezultata zatvorene petlje.

Od 600 parova, 527 se podudaralo u konačnom ishodu (uspjeh ili neuspjeh). Bolja verzija koju je WALL-SS odabrao u virtualnom svijetu u 89% slučajeva bila je bolja i u testiranju na stvarnom robotu.

Uspoređujući stope uspješnosti 30 kombinacija zadataka i verzija strategija, korelacijski koeficijent između virtualnih i stvarnih rezultata iznosi 0,926, a srednja apsolutna pogreška 0,062.

Taj 0,926 mjeri ukupni trend podudaranja virtualnih i stvarnih rezultata – ne treba ga tumačiti kao 92,6% točnosti u pojedinačnom predviđanju.

Model svijeta ne mora potpuno zamijeniti testiranje na stvarnom robotu – dovoljno je da unaprijed eliminira slabije verzije i time uštedi velik dio skupog fizičkog testiranja.

WALL-SS u isti sustav integrira i stručnjaka za pokrete.

Kad su pokreti zadani izvana, vizualni generator predviđa „što će se dogoditi ako se ovako postupi”. Kad model treba djelovati autonomno, stručnjak za pokrete može na temelju trenutnog stanja generirati sljedeće upravljačke naredbe. Oba dijela dijele potvrđeno stanje svijeta i sučelje za pokrete.

Stručnjak za pokrete može izravno upravljati stvarnim robotom. U zadatku s dva robotska kraka na stolu iz rada, WALL-SS postiže prosječni napredak zadatka od 69,1. Za usporedbu: π 0.5 postiže 49,6, DreamZero 44,1, a LingBot-VA 34,0.

Simulator se brine za predviđanje, stručnjak za pokrete za izvođenje. Oboje izmjenjuju uloge na temelju istog stanja svijeta, tvoreći zatvorenu petlju: „predloži pokret – simuliraj ishod – nastavi djelovati”.

WALL-SS djeluje uglavnom na strani kognitivnih sposobnosti i treniranja robota: kako simulirati pokrete, pamtiti dulje zadatke i evaluirati strategije. Za stvarno pritezanje vijka ili precizno umetanje utikača još uvijek su presudni preciznost zglobova, spretnost ruke, taktilni osjetnici i regulacija sile.

Model svijeta može unaprijed otkriti koja putanja vjerojatno neće uspjeti i smanjiti broj slabih strategija koje idu izravno na stvarni robot. No hoće li krajnji izvršni element stabilno pogoditi cilj, ovisi o suradnji cjelokupnog hardvera i softvera.

„ChatGPT trenutak” utjelovljene inteligencije – tko će prvi ući u stvarni život

Prije nekoliko godina svi su se pitali može li robot uopće stajati i trčati. Na ovogodišnjem natjecanju već se ocjenjuje slaganje odjeće, čišćenje doma, hotelske usluge i hitne intervencije u dugim, višefaznim zadacima.

Kako roboti prelaze s pozornice na stvarne usluge, mijenjaju se i mjerila za procjenu tehnologije. Uspješna demonstracija samo je ulaznica. Sve važnijim postaje: može li robot pouzdano ponavljati zadatak, funkcionira li u drugačijoj okolini i koliko stvarnog testiranja košta svako ažuriranje modela.

U sljedećem krugu natjecanja u utjelovljenoj inteligenciji pobijediće oni koji robote mogu učiti jeftinije, testirati pouzdanije i uvesti u što više nepoznatih okruženja.

WALL-SS nudi konkretno rješenje: pokreti moraju zaista mijenjati predviđene ishode, dugi zadaci ne smiju gubiti nit, a virtualni rang strategija mora izdržati provjeru na stvarnom robotu.

Kad model svijeta može predvidjeti relativnu kvalitetu strategija na stvarnom robotu, prestaje biti samo alat za generiranje sadržaja i postaje dio razvojnog sustava.

To mijenja ulogu modela svijeta u robotičkim tvrtkama. Podaci o greškama i korekcijama najprije pomažu modelu da upozna granice stvarnosti. Zatim virtualno okruženje masovno filtrira strategije, a manji broj stvarnih rezultata vraća se kako bi se taj virtualni svijet provjerio i korigirao.

Virtualni poligon tako postaje istovremeno vježbalište, ispit i kalibracijska platforma. Broj stvarnih robota određuje koliko podataka ulazi u sustav, a koliko iteracija modela donosi jedan sat podataka sa stvarnog robota – to izravno utječe na brzinu razvoja.

Stvarni robot zahtijeva opremu, postavljanje scene i osoblje koje resetira situaciju nakon svakog neuspjeha. Kad su u igri sudari, tekućine ili lomljivi predmeti, i samo testiranje nosi rizik.

Model svijeta može preuzeti veliku početnu selekciju. Stvarni robot tada treba samo potvrditi kandidatske strategije koje su se istaknule u virtualnom testiranju.

To podsjeća na simulacije sudara u automobilskoj industriji. One ne ukidaju konačno testiranje s pravim automobilom, ali smanjuju broj vozila koja se unište samo zbog odabira dizajna.

Model svijeta i VLA mogu surađivati s podjelom uloga. VLA na temelju vizualnih i jezičnih podataka generira pokrete, a model svijeta unaprijed simulira „što će se dogoditi ako se ovako postupi”. Jedan predlaže, drugi promatra posljedice.

Podaci o uspjesima, neuspjesima i ljudskim preuzimanjima kontrole sa stvarnog robota mogu se kontinuirano vraćati u sustav. Što model svijeta postaje precizniji, može testirati više strategija i slati bolje verzije natrag na stvarnog robota.

Nedavno je Zibian Robotics u izravnom prijenosu logističkog sortiranja pustio dvokrakog robota s WALL-B sustavom da standardnom hvataljkom obrađuje nasumične pakete – kartonske kutije, meke vrećice, cilindrične pakete i svježe namirnice u pjenastoj ambalaži. Robot je uspješno sortirao 1911 paketa s točnošću većom od 98%.

Ubuduće će WALL-SS robotu omogućiti da bude bolje pripremljen prije nego što stane na radno mjesto: u virtualnom okruženju unaprijed će provjeriti hoće li promašiti, sudariti se ili postupno skrenuti s puta u dugotrajnom radu. Za skladišta koja troškove računaju prema propusnosti i zastojima, takva virtualna selekcija može smanjiti zauzimanje opreme i resetiranje na licu mjesta.

Na taj način korisnici i tvrtke mogu izbjeći da budu „pokusni kunići” u prvom krugu testiranja, a pokreti poput izlijevanja vode, dodavanja predmeta i slaganja mogu se unaprijed usporediti prema različitim ishodima.

Wang Xingxing nedavno je govorio o svom razumijevanju „ChatGPT trenutka” utjelovljene inteligencije: robot koji u otprilike 80% nepoznatih okruženja, samo na temelju jezičnih ili tekstualnih uputa, može izvršiti otprilike 80% zadataka. Prema njegovoj procjeni, taj trenutak mogao bi doći za 2 do 3 godine u optimističnom scenariju, ili za 5 do čak 10 godina u pesimističnom.

WALL-SS naravno još nije doveo robote do te razine – eksperimenti na stvarnom robotu u ovom radu uglavnom su se ograničili na zadatke s dva kraka na stolu, a potvrđeno trajanje neprekidne simulacije iznosi 60 sekundi. No Zibian Robotics barem je pokazao realniji put prema „ChatGPT trenutku”.

Kad roboti zaista uđu u naše domove, važnije je da ne sruše čašu nego da osvoje još jednu zlatnu medalju.

Izvor: Ifanr

Povezani članci

Zhipu identificira Ox Alpha kao GLM-5.3-Flash i objavljuje težine modela27.8.2026.Zašto Apple i Xiaomi AI računala oba napadaju “zid memorije” | AI Vodič za uređaje27.8.2026.DapuStor planira kotaciju u Hong Kongu nakon što je prihod u prvoj polovici godine porastao za 531%26.8.2026.Utrka u umjetnoj inteligenciji seli se u podatkovne centre dok Alibaba Cloud skraćuje vrijeme isporuke na 100 dana12.8.2026.