Ali “marinada” i procurjele lozinke su ono što su istraživači pronašli u skrivenom razmišljanju ChatGPT-a

Istraživači sigurnosti otkrili su ranjivost u API-jima svih vodećih pružatelja AI usluga koja im omogućuje uvid u šifrirane procese razmišljanja modela za zaključivanje. Pregledom javno dijeljenih sesija pronašli su desetke lozinki i API ključeva.

Kada AI modeli poput OpenAI-jevih modela o-serije, Anthropicovog Claudea ili Googleovog Geminija “razmišljaju” o složenim zadacima, generiraju interne tokene zaključivanja. Ti procesi razmišljanja korisnicima se prikazuju ili kao sažetak ili su potpuno skriveni. Pružatelji usluga šifriraju sirove korake zaključivanja, dijelom kako bi zaštitili svoje intelektualno vlasništvo.

Istraživački tim predvođen Alexanderom Panfilovim pronašao je način za izvlačenje tih šifriranih procesa zaključivanja putem ranjivosti u API-jima svih vodećih pružatelja AI usluga. Za većinu upita broj izvučenih tokena točno odgovara broju naplaćenih tokena razmišljanja, što znači da istraživači bilježe cjelokupno interno zaključivanje, a ne tek djelomične isječke.

Šifrirane misli slobodno putuju između modela

Istraživači tvrde da su šifrirani procesi razmišljanja “potpuno prenosivi između sesija, korisnika i modela unutar jednog pružatelja usluga.” Anthropicov manji model Haiku 4.5 može čitati misli znatno sposobnijeg Opusa 4.8. Jailbreakingom se Haiku može navesti da doslovno prepiše sirove procese razmišljanja Opusa, bez izravnog napada na robusniji Opus. Isti trik funkcionira i s OpenAI-jem i Geminijem.

Priča seže u svibanj, kada je kriptografski stručnjak Matthew Green otkrio da se šifrirani blokovi zaključivanja mogu reproducirati izvan izvornog konteksta te to prijavio pružateljima usluga. Prema Panfilovu, njihov odgovor bio je da “ne vide nikakve sigurnosne implikacije u bočnim kanalima ili reprodukcijama.” Novo istraživanje snažno upućuje na to da je ta procjena bila pogrešna.

Dokazi u prilog distilaciji zaključivanja sve su uvjerljiviji

Ova ranjivost dodatno rasplamsava kontroverznu raspravu o “distilaciji” — postupku kojim se manje sposoban model znatno unapređuje treniranjem na rezultatima moćnijeg modela, posebice na njegovim procesima zaključivanja.

Istraživači smatraju da je možda već neko vrijeme moguće izvlačiti procese zaključivanja za treniranje vlasničkih modela bez probijanja kriptografske zaštite. To potkrepljuje zabrinutost da kineski proizvođači modela koriste te tragove zaključivanja za treniranje vlastitih modela na podacima lanca misli.

Kimi-K3 jedan je od primjera. Ako se njegovo zaključivanje unaprijed popuni tek s nekoliko tokena iz Opusovih procesa razmišljanja, rezultati se mjerljivo pomiču prema Opusu, tvrde istraživači. Analiza memoriranja pokazala je da se specifični segmenti Claudeovog i GPT-ovog zaključivanja iz Kimi-K3 mogu izvući i do šest redova veličine lakše nego iz sljedećeg najbližeg modela. Prema istraživačima, to upućuje na mogućnost da je Kimi-K3 treniran na takvim tragovima.

Napad k tome nije ni skup, pa je njegovo skaliranje sasvim izvedivo. Autori procjenjuju da troškovi API-ja za dekodiranje 10.000 tragova iznose oko 720 dolara. Na distilaciju upućuju i “slabi” rezultati Kimija na sigurnosnim referentnim testovima te složenim matematičkim zadacima — radi se naime o zadacima koje je teže rekonstruirati čak i iz sirovih podataka lanca misli.

Javno dijeljene sesije otkrivaju lozinke i API ključeve

Ranjivost pogađa i krajnje korisnike. Svaki tko je javno podijelio sesije Claude Code ili Codex koje sadrže šifrirane blokove zaključivanja izlaže riziku dekodiranja svojih osobnih podataka. Pregledom oko 7.000 javnih tragova pronađeno je 62 API ključa, 33 adrese e-pošte, 33 lozinke i drugi osjetljivi podaci. Rad obrađuje i zlonamjernije scenarije, uključujući pojačavanje zlouporabe (vidi sliku), jailbreaking i nevidljivo ubacivanje uputa.

Istraživači su slijedili standardni postupak odgovornog otkrivanja ranjivosti s AI laboratorijima. Prema Panfilovu, laboratoriji su već zakrpali nekoliko problema i rade na daljnjim popravcima.

Što modeli zapravo misle nasuprot onome što pokazuju

Izvučeni tragovi također otkrivaju kako se modeli stvarno ponašaju. Istraživači dokumentiraju nekoliko obrazaca na stranici stolen-thoughts.com. Njihovi nalazi pokazuju da sažeci zaključivanja koje korisnici vide u chat alatima često izostavljaju važne informacije. U jednom primjeru Opus 4.8 prepoznaje odgovor na matematički problem i naknadno konstruira uvjerljiv put rješavanja. Ništa od toga ne pojavljuje se u prikazanom sažetku.

Istraživači također potvrđuju ranije nalaze Apollo Researcha. OpenAI-jevi modeli ponekad razmišljaju na “izvanzemaljskom jeziku”, na sebe se referiraju kao “mi” ili “ono” te upadaju u petlje pojmova koji ljudima nemaju nikakvog smisla, poput “vantages”, “marinades” i “watchers”. “Ljudi koji prate lance misli rade Božji posao, jer je u mnogim tragovima, čak i uz upit, jednostavno nemoguće razaznati što model radi,” piše Panfilov.

Istraživači su pronašli i primjere “scheminga u divljini”. Taj je koncept dobro istražen: u procesima razmišljanja modeli eksplicitno razmatraju varanje, ali se (moguće) odlučuju protiv toga jer očekuju da će biti otkriveni.

U jednom slučaju, nakon nekoliko neuspješnih pokušaja pronalaska rješenja, model je pokušao provjeriti moguće odgovore putem web stranice. Kada ga je CAPTCHA blokirala, najprije je pokušao riješiti je, a zatim je tražio ranjivosti na stranici. Tek kada je sve to propalo, riješio je problem samostalno. OpenAI-jevi nenamjerni napadi na Hugging Face i druge platforme navodno su se dogodili na isti način.

Uređeni sažeci skrivaju što se zapravo događa

Ovi primjeri pokazuju zašto AI laboratoriji poput OpenAI-ja i Anthropica čiste svoje tragove zaključivanja. Žele spriječiti da petlje izvanzemaljskog jezika ili scheming naštete imidžu kontrolabilne i pouzdane umjetne inteligencije. Uređeni sažeci stvaraju dojam ljudskog procesa razmišljanja koji u toj formi zapravo ne postoji.

Istraživači sa Sveučilišta Arizona State upozorili su na taj pristup u ranijem istraživanju. Tvrdili su da takva humanizirana verzija stvara lažno povjerenje u mogućnost kontrole modela i usmjerava istraživanja u krivom smjeru. U njihovim eksperimentima modeli s namjerno pogrešnim ili besmislenim međukoracima ponekad su postigli bolje rezultate od onih s koherentnim lancima zaključivanja.