Nvidia otvara izvorni kod Flore kako bi označavanje robotskih video zapisa učinilo 125 puta jeftinijim od GPT-6 Astre

Prema objavljenom radu, Flora pokriva sve tri vrste oznaka. Nvidia navodi da sustav već radi u sklopu treniranja njihovih GR00T modela, označavajući do 200.000 sati videa dnevno na 512 GB300 GPU-ova. Modeli su dostupni na Hugging Faceu.

Flora se sastoji od tri fino podešena Qwen3.5 modela. Model s 9 milijardi parametara dijeli videozapise na akcijske segmente, a model s 27 milijardi parametara opisuje ih uzimajući u obzir što se događalo prije i nakon svake radnje. Drugi model s 27 milijardi parametara, nazvan Flora-Rewarder, preuzima tri uloge ovisno o upitu: ocjenjuje uspješnost epizode na ljestvici od 1 do 5, svrstava svaki pola sekunde koraka u kategoriju normalno, suboptimalno ili neuspjeh, te dodjeljuje bodove prema unaprijed definiranim kriterijima.

Do 125 puta jeftinije prema Nvidijinim procjenama

U testu na 50 videozapisa Flora je prema Nvidijinim podacima postigla nešto bolji rezultat od GPT-6 Astra, iako je OpenAI-jev model imao na raspolaganju puni kapacitet zaključivanja. Označavanje jednog sata videa s Florom košta oko 72 centa, dok isti posao s GPT-6 Astrom stoji oko 88,50 dolara. Claude Opus 5 postigao je znatno lošije rezultate u istom testu, a cijena mu je i dalje oko 42 dolara po satu.

Treba napomenuti da su Florine cifre troškova projekcije, a ne izmjerene vrijednosti iz produkcije. Nvidia ih je izračunala na temelju pretpostavljene cijene najma od 10 dolara po GPU-u na sat.

Flora bolje pronalazi radnje, ali Astra ih često preciznije opisuje

Na javnoj ljestvici WGO-Bench Flora je najbolja u prepoznavanju granica između radnji, ali zaostaje za Astrom u ukupnom rezultatu i za Gemini 3.8 Flashom u samoj točnosti opisa. Prema istraživačima, prednosti Flore dolaze uglavnom od bolje vremenske lokalizacije radnji.

Na Nvidijinoj internoj ljestvici DenseCaptionBench Flora vodi u svim metrikama za snimke s ljudima, no za robotske videozapise dolazi na drugo mjesto iza Astra. Istraživači sami priznaju i metodološki problem: GPT-6 Astra ocjenjuje opise, a istovremeno je i jedan od modela koji se testiraju.

Gotovo nijedan drugi model ne hvata pogreške usred epizode

Na ljestvici RoboRewardBench Florina stopa pogreške je 27,8 posto niža od Astrove. Autori rada to pripisuju djelomično izvršenim zadacima. Kada robot samo nagne bocu umjesto da je sruši sa stola, Flora dodjeljuje 3 od 5 bodova u skladu s ljudskom referencom, dok Astra daje samo jedan bod.

Flora-Rewarder prepoznaje 53,3 posto neuspješnih koraka unutar epizode, dok nijedan konkurent ne prelazi 11,7 posto, a Astra ne uhvati ni jedan. Kompromis je taj što Flora pogrešno označava oko 11 posto normalnih koraka kao pogreške. Astra i dalje vodi u ocjenjivanju prema kriterijima i rangiranju trajektorija.

U videu s mnogo kratkih pokreta rukama Flora prepoznaje 34 od 37 pojedinačnih radnji, dok Astra hvata samo četiri. S druge strane, Flora ponekad dijeli dulje radnje na previše malih koraka i povremeno pogrešno opisuje što se događa. U jednom videu robotska ruka briše tanjur krpom, a Flora to opisuje kao presavijanje salvete.

Nvidia pozicionira Floru kao otvorenu alternativu komercijalnim uslugama poput Scale AI-jevog Physical AI Data Enginea. Istraživači je mogu koristiti za proširivanje vlastitih skupova robotičkih podataka i ispitivanje pristupa poput prenošenja ljudskih demonstracija na robote. Nvidia ulaže milijarde u otvorene AI modele kako bi zadržala programere unutar svog hardverskog ekosustava i potaknula potražnju za svojim čipovima – Flora služi istom cilju.

Tvrtka već neko vrijeme radi na tome da nedostatak podataka za treniranje robota nadomjesti simulacijom i automatiziranom obradom podataka. Na GTC-u ranije ove godine Nvidia je predstavila cjevovod podataka koji automatski priprema, umnožava i ocjenjuje materijal za treniranje. Flora tom cjevovodu dodaje detaljne oznake i signale nagrađivanja izvučene iz videozapisa.

Sve to uklapa se u Nvidiinu strategiju pokrivanja cijelog lanca vrijednosti u robotici – od hardvera i podataka za treniranje do simulacije i samih AI modela. Googleov nedavno najavljeni Gemini 4 Argon cilja sličan dio procesa treniranja robota – također prepoznaje radne korake u videozapisima za treniranje i označava neuspješne akcije.