Googleov Deepmindov AI Ko-Znanstvenik sada planira eksperimente, upravlja laboratorijskom opremom i piše znanstvene radove

Moduli za provjeru unakrsno uspoređuju numeričke tvrdnje u tekstu s izvršnim zapisnicima generiranog koda kako bi se smanjio broj izmišljenih rezultata. Google je Co-Scientist prvi put predstavio u veljači 2025., tada još temeljen na Gemini 2.0 i s primjetnim nedostacima u provjeri činjenica i pregledu literature.

Prošireni sustav validiran je u trima disciplinama s postupno rastućom razinom autonomije. U znanosti o materijalima Co-Scientist je osmislio recepture sinteze koje su potom izveli ljudi, u biologiji je izgradio prediktivni cjevovod uz povratne informacije stručnjaka, a u računarstvu je radio potpuno samostalno.

Co-Scientist sintetizira, predviđa i projektira

U eksperimentima sa sintezom materijala istraživači su Co-Scientistu priključili poluautomatizirani visokotemperaturni peć. Sustav je pronašao sigurniji put do traženog 2D materijala koji se dosad uglavnom dobivao opasnim nagrizanjem te generirao potpune recepture rasta prilagođene opremi konkretnog laboratorija. Nakon 25 iteracija uz ljudske korekcije tim je dobio slojevite strukture čija su svojstva slična ciljnom materijalu, no konačna potvrda atomske strukture još uvijek nedostaje.

U drugom eksperimentu tri poluvodičke tanke folije sintetizirane su već u prvom pokušaju. Co-Scientist je koristio Gemini 3 Deep Think za izravno upravljanje opremom, čime je razvoj receptura skraćen s dana na minute. Uzorke i prekursorske materijale i dalje su morali ručno postavljati ljudi, a brzi način rada davao je manje i manje ujednačene kristale nego pažljivo optimizirane recepture. Ostaje otvoreno pitanje mogu li se te recepture primijeniti i u drugim laboratorijima, kako napominje glavni autor Samuel Schmidgall.

U biologiji je Co-Scientist samostalno izgradio cjevovod za analizu slika koji predviđa obrasce što ih genetski modificirane kolonije E. coli tvore pri različitim kemijskim koncentracijama. Predviđanja generirana uz Gemini 3 Pro Image poklopila su se s neobjavljenim laboratorijskim rezultatima za tri od četiri obilježja oblika. Istraživači napominju da sustav zaključuje samo između poznatih uvjeta i ne može predvidjeti ponašanje u potpuno novim sustavima – što bi bilo daleko impresivnije.

Eksperiment iz računarstva odvijao se bez ikakva ljudskog sudjelovanja osim početnog postavljanja. Co-Scientist je projektirao „Agent_H” – medicinsku AI arhitekturu koja klasificira pristigle upite, paralelno generira desetke kandidatnih odgovora i potom ih dorađuje. Nakon korekcije sklonosti prema predugim odgovorima, Agent_H nadmašio je šest vodećih modela na zdravstvenim mjerilima, uključujući GPT-5 i Claude Opus 5.

No ti rezultati na mjerilima nisu se održali u ljudskoj procjeni. Trojica liječnika s položenim specijalističkim ispitima ocjenjivali su odgovore u devet kategorija, a Agent_H pokazao je statistički značajnu prednost nad osnovnim modelom Gemini 3.1 Pro samo u jednoj – nižem riziku od potencijalno štetnih odgovora.

Automatski evaluatori na mjerilima također su slabo korelirali s procjenama liječnika. Visoki rezultati na mjerilima ne znače da sustav iz kliničke perspektive zaista daje bolje odgovore, upozoravaju istraživači – što otvara pitanje što ta mjerila uopće mjere.

Moduli za pouzdanost smanjili stopu halucinacija na 4 posto

Temeljni problem autonomnih istraživačkih sustava temeljenih na velikim jezičnim modelima jest AI besmislica. Kada je AI agent nagrađivan za dobre rezultate, ima poticaj izmišljati ih. Prethodne analize dokumentirale su stope izmišljanja od 80 do 100 posto u postojećim sustavima. Co-Scientist to rješava na dva načina: sustav je kažnjen za izmišljeni ili plagijatirani sadržaj, a poseban modul za provjeru unakrsno uspoređuje svaku numeričku tvrdnju sa stvarnim rezultatima izvršenog koda.

U dvostruko slijepoj studiji s 30 stručnjaka iz relevantnih područja i 450 neovisnih recenzija istraživači su procijenili 150 autonomno generiranih radova. Uz aktivne module za pouzdanost, Co-Scientist je izmislio ključne rezultate u 4 posto slučajeva. Bez njih stopa je skočila na 46 posto, a usporedni sustav dostigao je 90 posto.

Potpuno izmišljeni podaci nisu se pojavili ni u jednom Co-Scientistovom radu, dok su se u usporednom sustavu pojavili u 44 posto radova. Udio gotovo plagiranog sadržaja pao je s 60 na 16 posto. Integrirana sigurnosna arhitektura odbacila je 98,7 posto potencijalno štetnih istraživačkih smjerova.

Unatoč tim naprecima, istraživači su i dalje uočavali preostale pogreške. Sustav ima sklonost selektivnom izvještavanju i, prema Schmidgallovim riječima, u radovima opisuje „iznimno uvjerljive metode koje se ne podudaraju s njegovim stvarnim kodom”.

Jaz između laboratorijskog asistenta i autonomnog istraživača još je velik

Istraživači rezultate vide kao korak prema zatvorenim višeagentnim AI sustavima koji se usavršavaju eksperimentalnom povratnom spregom i mogli bi ubrzati znanstvena istraživanja. „Pred nama je još dug put dok AI sustavi ne budu mogli snalaziti se u fizičkim realnostima znanosti. No iznimno nas uzbuđuje potencijal velikih jezičnih modela da pomognu ljudima i ubrzaju napredak u stvarnom svijetu,” piše Schmidgall.

Automatizirano istraživanje trenutno je jedna od najpropitivanijih AI primjena. OpenAI planira ove jeseni predstaviti AI agentni sustav koji bi mogao provoditi istraživanja barem na razini pripravnika. No i dalje traje rasprava o tome mogu li trenutni sustavi temeljeni na velikim jezičnim modelima zaista otkriti novo znanje ili samo eksplicitno iznose ono što je već zakopano u njihovim podacima za treniranje.