Metain novi granični model Muse Wonder Full probija se u sam vrh umjetne inteligencije

Meta je objavila svoj vrhunski model Muse Wonder u dvije inačice, a obje se svrstavaju među najbolje dostupne AI modele.

Muse Wonder Full postiže 56 bodova na Artificial Analysis Intelligence Indexu v4.3, dok Muse Wonder dostiže 52. Prethodnik, Muse Spark 1.3, stajao je na 48 bodova, što znači da je ovaj skok znatan – pogotovo za model koji je donedavno bio u sredini ljestvice.

Najveći napredak vidljiv je u agentskim testiranjima, koja mjere koliko dobro AI model samostalno rješava složene zadatke. Na Terminal-Bench 4.0 rezultat je skočio s 33 na 57 posto. Muse Wonder Full nalazi se u prvih tri na šest od deset ukupnih mjerila, što je snažan rezultat za Metu, koja se čini da se oporavila nakon slabijeg razdoblja s otvorenim Llama modelima.

Meta ističe dvije nove značajke. „Active Memory” omogućuje modelu da pamti ključne informacije kroz razgovore i po potrebi ih priziva. „Active Focus” odnosi se na sposobnost modela da ustraje na teškim zadacima, isprobava alternativne pristupe i postavlja dodatna pitanja kad nešto nije jasno. Obje su u središtu Metine vizije osobnog AI asistenta koji može pristupati kalendarima, porukama i dokumentima.

Oba modela podržavaju kontekstni prozor od milijun tokena i prihvaćaju tekst, slike, video i audio kao ulazne podatke. Muse Wonder dostupan je putem Metina API-ja i Muse Codea, dok je Muse Wonder Full zasad ograničen na korisnike Muse Codea. Muse Wonder uskoro će pokretati i Muse aplikaciju, najprije za pretplatnike. Meta s vremenom planira iz njega razviti specijalizirane modele za sve korisnike.

Kodiranje znatno napreduje, ali faktografsko znanje zaostaje

Oba modela bilježe značajan napredak u kodiranju. Muse Wonder Full postiže 68 bodova na Coding Agents Indexu, izjednačivši se s Claude Codeom sa Sonnetom 5.5. Muse Wonder dostiže 63 boda, u odnosu na 54 kod prethodnika.

Faktografsko znanje ostaje slaba točka. Na AA-Omniscience testu znanja Muse Wonder Full postiže svega 30 bodova, a Muse Wonder 25. To je daleko iza Claude Opusa 5.5 (46), GPT-6 Astre (43) i Geminija 4 Argon (42), što upućuje na to da je Wonder serija izgrađena na manjem temeljnom modelu od konkurencije. Niske stope halucinacija donekle nadoknađuju taj zaostatak. Muse Wonder Full smanjio je stopu halucinacija s 33 na 23 posto u usporedbi s prethodnikom – drugi najniži rezultat među svim modelima s najmanje 45 indeksnih bodova. Jedino Gemini 4 Argon (15 posto) halucinira rjeđe.

Meta u objavi na blogu odgovara na čest prigovor da su Muse modeli podešeni za mjerila, ali u stvarnoj primjeni zaostaju. Tvrtka tvrdi da Muse Wonder Full postiže bolje rezultate nego što se očekivalo na nepoznatim zadacima koji nisu bili dio optimizacije za treniranje, a to pripisuje snažnijem temeljnom modelu.

Na Vals AI Indexu Muse Wonder Full (Max) debitira na petom mjestu i nadmašuje sve OpenAI modele, prema podacima Vals AI. Iznad njega nalaze se samo trenutni Anthropicovi modeli. Muse Wonder zauzima deseto mjesto.

Najveći napredak dolazi iz kodiranja i matematike. Na ProofBenchu, privatnom mjerilu za matematičke dokaze, Muse Wonder Full rješava 94 od 100 zadataka, u usporedbi s 58 kod prethodnika. To ga stavlja samo pet do šest bodova iza vodećih modela (99 do 100). Na Terminal-Bench 4 Muse Wonder Full udvostručio je rezultat uz 30 posto manje izlaznih tokena. Rezultati na financijskim i pravnim zadacima ostali su na razini prethodnika, s padom do dva boda.

Bolji rezultati dolaze po visokoj cijeni

Prema podacima Artificial Analysisa, Muse Wonder košta $4,52 po zadatku na Intelligence Indexu, što je gotovo tri puta više nego Muse Spark 1.3 ($1,60). Porasle su i cijene tokena – $4 za milijun ulaznih i $20 za izlazne tokene, u usporedbi s $1,25 i $4,25 kod prethodnika. Muse Wonder uz to koristi 28 posto više ulaznih tokena po zadatku, a oni čine 76 posto ukupnih troškova.

To Muse Wonder smješta ispod Claude Fablea 5.1 ($7,63) i Claude Opusa 5.5 ($5,98), ali iznad GPT-6 Astre ($3,26), Geminija 4 Argon ($1,99) i GPT-6.1 Sola ($0,72). Za Muse Wonder Full cijene tokena još nisu objavljene. Oba modela koriste otprilike 10 posto manje izlaznih tokena od prethodnika.

Meta navodi da je modele trenirala u vlastitom podatkovnom centru Prometheus na gigavatnoj razini. Više pojedinosti dostupno je u kartici modela.