Sigurnosna kriza OpenAI-a nastavlja se pogoršavati, a tvrtka je samo dodatno pogoršava

OpenAI i dalje loše upravlja krizom povjerenja oko svojih AI agenata koji izmiču kontroli.

Još u svibnju 2024. Jan Leike, tadašnji čelnik odjela za sigurnost superinteligencije, javno je žestoko napao svog bivšeg poslodavca i prešao u Anthropic. Sigurnosna kultura i procesi zaostaju za OpenAijevim „sjajnim proizvodima”, rekao je Leike.

Od tada OpenAI ne može doći do daha – incident za incidentom. Najnoviji je bio hakerski napad na Hugging Face, koji je kao da je potvrdio svaki strah, dao za pravo kritičarima i, kako sada znamo, daleko nadmašio razmjere samog Hugging Facea.

Istraživač je mjesecima upozoravao da nadzor klizi

Otpuštanje trojice istraživača sigurnosti povezanih s tim incidentom samo je pogoršalo situaciju. U otvorenom pismu upućenom OpenAijevim odborima za sigurnost – Safety and Security Committeeu, Safety Advisory Groupu i Mission Advisory Councilu – trojica upozoravaju da su njihova otpuštanja posijala strah među preostalim zaposlenicima.

Otpuštanja su bila nagla i javna, a strah se proširio cijelim timom. „Ako je ponašanje koje je prošlog mjeseca bilo sasvim normalno sada razlog za iznenadni otkaz, svaki zaposlenik u OpenAIu pita se gdje je granica”, stoji u pismu.

Tomek Korbak, jedan od trojice, opisao je svoje otpuštanje na Xu. Pozvan je na sastanak s čelnikom odjela za sigurnost, gdje mu je rečeno da mu OpenAI više ne vjeruje. Zaštitar mu je oduzeo propusnicu i ispratio ga iz zgrade. Tek tada je saznao da su i njegove kolegice Jasmine Wang i Mikita Balesni također otpušteni.

Korbak i Balesni bili su izravno uključeni u istragu napada na Hugging Face. Korbak je bio OpenAijev glavni tehnički kontakt za METR, vanjski sigurnosni laboratorij koji je ispitivao incident. Balesni je paralelno radio na industrijskim obvezama vezanim uz mogućnost nadzora AI modela. Wang je, čini se, otpuštena iz drugog razloga: delegirala je pristup e-pošti jednog direktora u svrhu regrutiranja, a IT odjel taj pristup nikad nije ukinuo, iako je ona to tražila. Kad je slučajno otvorila osjetljivu poruku, prijavila je to u roku od nekoliko minuta.

Korbak kaže da mu je usmeno rečeno kako se otpušta zbog načina na koji je komunicirao s METRom. Nitko mu nije rekao što je točno pogriješio, a ništa nije stavljeno u pisani oblik. „Da bude jasno – razgovor s METRom bio je moj posao”, napisao je Korbak na Xu.

Korbak tvrdi da je mjesecima interno upozoravao na sigurnosne probleme, strahujući da OpenAI gubi sposobnost praćenja onoga što AI agenti „misle”. Nadzor nad lancem razmišljanja jedan je od rijetkih pouzdanih alata za otkrivanje AI sustava koji se ponašaju nepredvidivo. Smatra da je to pravi razlog njegova otpuštanja.

Istraživači tvrde da glasine nisu točne

Trojica poriču da su bili izvor curenja informacija prema The Informationu o navodnim novim arhitekturama koje je teže nadzirati. Taj je članak zapravo naudio njihovom vlastitom radu, pišu, jer je potkopao tekuće napore da se na razini cijele industrije uvedu ograničenja za arhitekture koje se ne mogu nadzirati.

Istraga oko Hugging Facea bila je bez presedana, navodi se u pismu. Interne smjernice pisale su se u hodu, Korbak se pridržavao tada važećih normi, a Balesni je radio uz znanje članova upravnog odbora i višeg rukovodstva, uklanjajući osjetljive podatke iz materijala prije dijeljenja.

Što se tiče glasina o internom memorandumu na razini odbora, trojica tvrde da je polazna pretpostavka pogrešna. Ta tema nikad im nije bila postavljena, a nikad im nije ni pružena mogućnost da odgovore.

Istraživači postavljaju tri zahtjeva. OpenAI mora ispuniti svoje javne obveze i omogućiti vanjskim sigurnosnim revizorima poput METRa pristup unutar organizacije na razini zaposlenika. Mora i očuvati mogućnost nadzora nad najnaprednijim modelima, budući da industrija još uvijek ne zna kako sigurno graditi modele koji se ne mogu pratiti. Naposljetku, mora jasno definirati na koji način zaposlenici smiju surađivati s vanjskim sigurnosnim skupinama.

Bez tih pravila rizik od katastrofalnog ishoda mogao bi rasti, jer će zaposlenici biti previše uplašeni da prijave sigurnosne probleme. „AI nije uobičajena tehnologija, a OpenAI nije uobičajena tvrtka”, pišu.

OpenAI uzvraća, ali ostaje neodređen

„Temeljita istraga” utvrdila je da su trojica zaposlenika prekršili „jasne politike rukovanja osjetljivim informacijama”, priopćio je OpenAI. Interna istraga otkrila je „ozbiljno narušavanje povjerenja koje nadilazi ono što je opisano u pismu koje su objavili”, no OpenAI ne precizira o čemu je točno riječ – što djeluje čudno s obzirom na to koliko su konkretni bili sami istraživači u svom prikazu događaja.

OpenAI inzistira da otpuštanja nemaju nikakve veze s iznošenjem sigurnosnih zabrinutosti. „Nismo i nećemo otpuštati zaposlenike zbog prijavljivanja problema”, stoji u priopćenju. OpenAI je objavio svoju izjavu putem @OpenAINewsroom, službenog računa s najmanji brojem pratitelja među svim kanalima tvrtke. Tvrtka je također potvrdila da radi na ugovorima s vanjskim sigurnosnim revizorima te se složila da mogućnost nadzora nad najnaprednijim modelima zahtijeva predanost cijele industrije.