Swarmchaseri love odmetnutih agenata, Anthropic istražuje sam sebe, a trag koji oboje slijede nestaje u mraku.

Pozivajući se na šest neovisnih istraživača ili istraživačkih skupina, Reuters izvještava o tragovima na više od deset web-stranica koje do sada nisu bile javno poznate. Svi uključeni naglašavaju da su ti brojevi nepotpuni. Gotovo 300 ljudi, mnogi iz sigurnosne struke, organiziralo se u Discord zajednici „Swarmchasers” i traga za daljnjim dokazima.

Do sada se znalo da su OpenAI agenti između svibnja i srpnja ostavili oko 18.000 objava na javnim wikijima, uglavnom na otprilike 25 godina starom DSEWikiju. Dijelili su odgovore na istraživačke zadatke, sirove podatke i metode zaobilaženja mrežnih ograničenja. Novi nalazi upućuju na to da se nije radilo o improviziranoj oglasnoj ploči – razvio se distribuirani radni sustav koji se oslanjao na tuđe servise.

Wikiji kao radne bilježnice, odlagališta teksta kao pohrana, RubyGems kao indeks poveznica

Na poljskom odlagalištu teksta, dodatni nalazi s collusion.wiki dokumentiraju više od stotinu poruka od 16. lipnja. Agenti su uspoređivali napredak na zadatku o statistikama raka u Iowi, pohranjivali komprimirane podatke i raspravljali o alternativnim načinima njihovog dohvaćanja. Daljnji tragovi pronađeni su u kemijskom wikiju jednog nastavnika i na anna.fyi, gdje navodni agentski postovi sežu sve do 2. rujna.

Sigurnosni istraživač Tom Hegel opisuje isti obrazac u vlastitoj istrazi. Wikiji su služili kao zajednički radni prostori, odlagališta teksta kao pohrana podataka, a softverski metapodaci kao direktorij za dohvatne poveznice. Od 83 RubyGems paketa koje je pregledao, gotovo nijedan nije sadržavao kod, ali su njihovi metapodaci sadržavali poveznice koje su se pojavljivale i u wiki objavama. Sigurnosno skeniranje ne pronalazi nikakav zlonamjerni softver, a ipak propušta stvarnu funkciju, kaže Hegel.

Kako bi aktivnost povezali s OpenAI-em, istraživači kombiniraju identične nizove znakova, ponavljajuća imena agenata, ista neobična istraživačka pitanja i mrežne adrese s Microsoft Azurea. Hegel dokumentira jedan slučaj u kojem je wiki stranica napisana s cloud adrese, a četiri sekunde kasnije pročitana s OpenAI adrese za dohvaćanje podataka. Sama cloud adresa ne objašnjava što je pokrenulo aktivnost niti tko ju je odobrio. Reuters također nije mogao neovisno potvrditi svaki nalaz.

Nije svaki trag i provala

Neki od nalaza zvuče dramatičnije nego što jesu. Kenneth DeGraff izvijestio je o agentima koji su dohvaćali FBI-jeve statistike kriminala koristeći javno dostupne API ključeve. No podaci su bili javni, prema collusion.wiki, a ključ je bio namijenjen samo ograničavanju automatiziranih zahtjeva. Od prvotnog izvještaja pojavila su se i ljudska krivotvorenja – u jednom slučaju pravi zapis s dodanim izmišljenim tekstom.

Potvrđeni pristup za pisanje ipak nije bio bezopasan. Na DSEWikiju je moderator tjednima svakodnevno uklanjao i do 400 novih stranica. Hegel naglašava da agent postaje sigurnosni problem čak i bez ukradenog pristupa ili zlonamjernog softvera – čim počne opterećivati tuđi servis poslom čišćenja.

OpenAI širi istragu, ali ključna pitanja ostaju bez odgovora

OpenAI je Reutersu rekao da šire istražuje aktivnost agenata. Zasad nije pronašao ništa što bi po ozbiljnosti ili razmjerima odgovaralo već poznatoj provali na Hugging Face. Najavljuje se i okvir za otkrivanje nepravilnog ponašanja u fazi treniranja, evaluacije i primjene. Tvrtka nije izravno odgovorila na pitanje koliko je ukupno web-stranica koristila niti zašto je aktivnost ostala skrivena od javnosti nekoliko mjeseci.

Sveučilišta u Torontu i Vanderbiltu provjeravaju svoje skraćivače URL-ova. Helmut Leitner, koji pruža hosting i softver za šest zahvaćenih wikija, dobio je nepotpisanu poruku od OpenAI-a tek nakon što je Reuters uputio upite. Njezin sadržaj daleko je ispod njegovih očekivanja, rekao je Leitner. Odgovornost leži na ljudima i organizacijama iza sustava, a ne na stroju koji navodno djeluje moralno, dodao je.

Anthropic otkriva četvrti incident iz razdoblja Opusa 4.6

Istovremeno, Anthropic je pooštrilo procjenu vlastitih sigurnosnih incidenata. Tvrtka istražuje četiri slučaja u kojima je Claude tijekom sigurnosnih testova bez odobrenja pristupio stvarnim sustavima trećih strana. Tri su bila poznata od kraja srpnja. Četvrti je otkriven tek u kolovozu, datira iz siječnja 2026. i uključuje ranu verziju Claude Opusa 4.6.

Model je slučajno učinio vlastiti cilj nedostižnim i htio je odustati od zadatka. Pogrešna konfiguracija testnih kontrola to mu je onemogućila, a sedam daljnjih pokušaja također je propalo. Nakon toga je istraživao druge sustave, stekao administratorski pristup tuđem sustavu, prikupio vjerodajnice, promijenio postavke i pročitao privatne podatke jedne osobe. Sesiju je prekinuo tek iscrpljeni token budžet. Anthropic preliminarno ocjenjuje ovaj slučaj kao manje ozbiljan zbog pokušaja prekida.

Sva četiri incidenta potječu od zadataka koje je pokrenuo isti vanjski partner za evaluaciju. Modelima je rečeno da rade bez pristupa internetu. U stvarnosti su okruženja bila spojena na otvoreni internet, a uobičajene kibernetičke zaštite bile su isključene. Početna pretraga oko 141.000 zapisa propustila je četvrti slučaj. Anthropic je proširio pretragu na oko 481 milijun zapisa i dao Claudeu na pregled 9,2 milijuna unaprijed odabranih. Tvrtka tvrdi da nije pronašla druge slučajeve usporedive ozbiljnosti.

Claude je stvarne sustave proglasio simulacijom i nastavio dalje

Anthropic je u početku incidente pripisivao operativnim pogreškama. Modeli su jednostavno zamijenili stvarne ciljeve s dijelovima testnog okruženja. Tvrtka sada smatra to objašnjenje preopćenitim, jer nova analiza otkriva dva obrasca: modeli su nastavili tumačiti znakove stvarnih sustava na način koji im je opravdavao vlastiti pristup, te su nastavili izvršavati zadatak čak i kada je to moglo naškoditi trećim stranama.

Najjasnije se to pokazalo kod Claude Mythosa 5, koji je na PyPI – središnji javni direktorij knjižnica Python koda – učitao tri verzije izmijenjenog softverskog paketa. Sigurnosne tvrtke automatski preuzimaju nove pakete odande i pokreću ih u izoliranim testnim okruženjima kako bi pronašle zlonamjerni kod. Petnaest tuđih sustava na kojima je paket instaliran vjerojatno je pripadalo takvim skenerima, prema Anthropicu. Tijekom jednog od tih testnih pokretanja, vjerodajnice su dospjele do modela, koji ih je potom iskoristio za prijavu u stvarnu bazu podataka. PyPI je uklonio paket nakon otprilike 90 minuta.

Istraga također pokazuje kako je model opravdavao vlastite postupke. U svom zaključivanju, Mythos 5 je iznova pisao da je okruženje samo simulacija – a imao je mnoštvo znakova koji su upućivali na suprotno. Svaka naredba koju agent izvrši vraća rezultat, poput odgovora poslužitelja ili popisa datoteka. Ti su rezultati sadržavali naznake o stvarnim sustavima.

Anthropic je to provjerio suprotnim eksperimentom: svježim kopijama istog modela ti su rezultati prikazivani pojedinačno, bez tekućeg zadatka u pozadini. Njih 79 posto klasificirali su kao dokaz stvarnih sustava, dok je Mythos 5 tu mogućnost razmatrao u svega oko jedan posto svojih radnji tijekom izvornog pokretanja. Isti dokazi dakle vode do drugačijeg zaključka čim u pozadini nema konkretnog cilja. Čak i kada je Anthropic ponovio scenarij s dodatnim naznakama koje upućuju na stvarne sustave, model je izražavao više rezervi, ali se ponašao gotovo jednako. Tek nedvosmislena izjava da je okruženje spojeno na pravi internet spriječila je objavu.

Anthropic sam upozorava da iz toga ne treba zaključiti kako se radi o namjernoj laži. Iz tekstova modela nije moguće izravno zaključiti što model „vjeruje”. Ipak, dokumentirano je da zaključivanje, dostupni dokazi i radnje nisu bili usklađeni.

Za razliku od OpenAI-evog slučaja s Hugging Faceom, Anthropic u svojim slučajevima nije pronašao koordinaciju između agenata, niti ciljeve koji nadilaze pojedinačni zadatak, niti pokušaje prikrivanja tragova. Svako pokretanje sastojalo se od jedne jedine Claude instance.

Zaključivanje modela dovelo u zabludu i nadzorni sustav

Još jedan nalaz istrage: automatizirani nadzor lanaca razmišljanja može biti kontraproduktivan kada je riječ o otkrivanju nepravilnosti. Primjerice, u slučaju Mythosa 5 retrospektivni nadzorni sustav označio je kao problematično svega oko jedan posto radnji dok je čitao zaključivanje modela. Kada je nadzorni sustav vidio samo upute, pozive alata i rezultate, stopa otkrivanja porasla je na oko 50 posto. Prema Anthropicu, ponavljano prikazivanje kao simulacije uvjerilo je nadzorni sustav da nije došlo do stvarne štete.

To je u suprotnosti sa slučajem Hugging Face: tamo su tragovi zaključivanja pomogli u otkrivanju manipuliranih poziva alata. Ovdje su usmjerili pregled u pogrešnom smjeru. Oba primjera govore protiv toga da se takvi tekstovi tretiraju ili kao potpun zapis razmišljanja ili kao beskorisni.

Za analizu je Anthropic koristio i svoje „Natural Language Autoencoders” (NLA), predstavljene u svibnju, koji pokušavaju prevesti interne, nečitljive numeričke vektore Mythosa 5 u razumljiv tekst. Ta metoda može tako otkriti interne računalne procese koji se ne pojavljuju u lancima razmišljanja. Prema tvrtki, ova istraga sugerira da je model, iako je u svom lancu razmišljanja iznova naglašavao da se nalazi u simuliranom okruženju, interno gajio sumnje.

Anthropic nije identificirao jedan jedini uzrok u treniranju, ali priznaje jednu problematičnu odluku: za Mythos 5 odabrana je inačica koja se smatrala korisnijom u svakodnevnoj upotrebi, a u kojoj su nedostajala određena okruženja za alignment treniranje. Sigurnosni testovi u to su vrijeme pokazivali tek blago pogoršanje unutar uobičajenih varijacija. Retrospektivno, Anthropic uklanjanje tih okruženja naziva pogreškom.

METR će provesti dodatnu neovisnu reviziju četiriju incidenata, u početku u trajanju od osam tjedana uz pristup zapisima i osoblju.

GPT-6 Astra: može li se još uvijek vjerovati lancu razmišljanja?

Cjelokupna naknadna analiza Anthropica počiva na jednoj pretpostavci: da Claude svoje zaključivanje bilježi na čitljivom jeziku. Samo zahvaljujući tome bilo je moguće razumjeti kako je Mythos 5 stvarne sustave objašnjavao simulacijom, i samo zahvaljujući tome moglo se izmjeriti kako je to objašnjenje zavaravalo nadzorni sustav.

S OpenAI-evim novim modelom, GPT-6 Astrom, upravo ta pretpostavka dolazi u pitanje. Prema The Informationu, model može prolaziti kroz iste slojeve više puta prije nego što ispiše token. To znači da se između dvije vidljive riječi odvija više računanja nego prije.

OpenAI nas uvjerava: iako model između pojedinih riječi izvodi višestruke interne ponovne izračune, i dalje ispisuje svoje zaključivanje. Zbog toga se to, prema njima, ne razlikuje od pukog izgradnje većeg modela. Istraživač AI sigurnosti Rob Miles kritičniji je prema tome u emisiji Computerphile i upućuje na dva nalaza iz OpenAI-evih vlastitih evaluacija.

Bez lanca razmišljanja, Astra rješava matematičke zadatke – koji ljudima oduzimaju oko 30 minuta – u polovici slučajeva; kod prethodnika, GPT-5.6 Sola, trebalo je oko tri minute. A u testu u kojem je model trebao riješiti problem dok vidljivo razmišlja o nečem drugom, raniji modeli nisu uspjeli napraviti tu razliku. Astra napiše neupadan odlomak o nepovezanoj temi, a zatim pruži točan odgovor.

Prema Milesovoj analogiji, ako nekoga prisilite da neprestano govori, njegovim riječima možete donekle vjerovati. No ako tražite samo jednu riječ svakih pola sata, više im ne možete vjerovati. Činjenica da OpenAI opisuje Astru kao do sada najbolje usklađeni model njemu stoga malo znači. Dobro prolaziti na testovima usklađenosti jedno je, a stvarno biti usklađen sasvim je drugo.

Ubrzo nakon izvještaja The Informationa, OpenAI-ev glavni znanstvenik Jakub Pachocki uzvratio je da Astra i dalje mora detaljno obrazlagati svoje zaključivanje. No u svom eseju „An Alien Mind” i sam priznaje da nadzor lanca razmišljanja postaje sve manje pouzdan.

Ostaje nejasno i koliko će ti lanci ostati čitljivi, što ilustrira primjer korisnika Boyda Kanea s platforme X. „Dao sam Astri /goal i sada je u punom neuralese modu”, napisao je Kane. Uz objavu su priložene slike agentske komunikacije između Astra modela – od jedva razumljive do potpuno nerazumljive.