Kako AI zaštitne mjere ometaju rad istraživača ofenzivne kibernetičke sigurnosti

Već mjesecima veliki igrači u svijetu umjetne inteligencije razvijaju posebne programe provjere i stroge zaštitne mehanizme kako bi spriječili zlonamjerne hakere da zlouporabe njihove modele. No ti isti mehanizmi sada koče rad legitimnih stručnjaka za mrežnu obranu, ali i istraživača koji se bave ofenzivnom kibernetičkom sigurnošću.

U lipnju je američka vlada uvela izvozna ograničenja na Anthropicove modele Mythos i Fable, koji su izazvali veliku pozornost u industriji. Povod je bila analiza koja je pokazala da je moguće zaobići zaštitne mehanizme tih modela — mehanizme koji bi trebali spriječiti korisnike da ih koriste za izgradnju i izvođenje zlonamjernih kibernetičkih napada.

Bez obzira na to je li incident zaista bio potaknut strahom od jailbreaka, ostaje činjenica da je Anthropic dosljedno predstavljao Mythos kao neku vrstu apokaliptičnog kibernetičkog oružja koje smije koristiti samo pažljivo odabrana skupina korisnika, i to uz stroge zaštitne mjere. (Izvozna ograničenja za Fable 5 i Mythos 5 od tada su ukinuta. Fable 5 vratio se u opću dostupnost 1. srpnja, dok je Mythos 5 ponovo uveden samo za provjerene američke organizacije u sklopu vladine revizije.)

Takav pristup kontroliranog pristupa nije svojstven samo Mythosu. I Anthropic, s ostalim svojim modelima, i OpenAI nude istraživačima kibernetičke sigurnosti programe u koje se mogu prijaviti, proći provjeru i — ako budu odobreni — dobiti pristup modelima s manje ograničenja: OpenAI-jev Trusted Access for Cyber program i Anthropicov Cyber Verification Program.

Ti zaštitni mehanizmi naišli su na široku kritiku, posebno od istraživača čiji je posao pronalaženje nepoznatih ranjivosti u sustavima i osmišljavanje načina za njihovo iskorištavanje — prije nego što to učine kriminalci.

U nedavnom gostovanju na podcastu posvećenom kibernetičkoj sigurnosti, poznati sigurnosni istraživač Mark Dowd izjavio je da mu „nije ugodno što neke nasumične velike kompanije donose proizvoljne odluke o tome što je sigurno u području sigurnosti, a što nije”.

Dowd je desetljećima pronalazio i prodavao „zero-dayeve” — do tada nepoznate softverske propuste i exploite koji ih iskorištavaju — zapadnim vladama, umjesto da ih prijavljuje proizvođačima softvera kako bi bili zakrpani. Vlade plaćaju premijsku cijenu upravo zato što ranjivosti ostaju otvorene, što ih čini korisnima za obavještajne operacije.

Dowd je priznao da ga njegova vrsta posla možda čini pristranima, no nije usamljen u tom stavu. Nekoliko stručnjaka koji se bave ofenzivnom kibernetičkom sigurnošću — dakle, koji proaktivno testiraju sustave tražeći slabosti — opisalo je za TechCrunch kako koriste alate umjetne inteligencije i kako se nose s njihovim ograničenjima.

Chris Anley, glavni znanstvenik u konzultantskom divu za sigurnost NCC Group, rekao je da je traženje od AI modela da pokuša iskoristiti određenu grešku ključan korak u potvrđivanju da se radi o stvarnoj ranjivosti vrijednoj popravka. No ako zaštitni mehanizam navede model da u potpunosti odbije odgovoriti na takav upit, taj mehanizam šteti onima koji brane sustave, naglasio je.

„Tu dolazimo do cijele priče o ofenzivnom nasuprot obrambenom pristupu i zaštitnim mehanizmima, jer prompt ‘popravi ovaj kod’ istovremeno je i ključni alat za obranu i putokaz za pronalaženje kritičnih ranjivosti u bazi koda”, rekao je Anley. „Dakle, isti alat u isto je vrijeme i ofenzivan i defenzivan, i ta se dva aspekta ne mogu razdvojiti.”

To je, nastavio je, „kao čekić. Ne možeš sagraditi kuću bez čekića. Svakako je alat, ali je neizbježno i oružje.”

Kad on i njegovi kolege naiđu na takvu prepreku, ponekad posežu za open source AI modelima koji ne dolaze s nikakvim ograničenjima.

Paolo Stagno, tehnički direktor tvrtke Crowdfense — poznate kompanije koja razvija, nabavlja i prodaje nepoznate ranjivosti vladinim agencijama — složio se s Dowdom, rekavši da AI kompanije svojim programima provjere i zaštitnim mehanizmima „u biti tretiraju korisnike kao djecu kojoj treba dadilja”.

Stagno je rekao da on i njegovi kolege koriste napredne modele — ali isključivo za reverzno inženjerstvo. Izbjegavaju koristiti AI za pronalaženje ranjivosti ili izgradnju exploita jer bi unošenje takvog rada u model koji radi u oblaku moglo dovesti do curenja osjetljivih podataka o ranjivostima ili njihovog uključivanja u buduće cikluse treniranja. Za taj korak, kaže, koriste open source modele koji se pokreću lokalno, jer ne zahtijevaju dijeljenje podataka izvan samog modela.

Giuseppe Cali, sigurnosni istraživač koji pronalazi zero-dayeve i razvija exploite, rekao je da mu zaštitni mehanizmi ne ometaju rad. Razlog je jednostavan: AI ne koristi za ofenzivne zadatke, već za početno reverzno inženjerstvo, razumijevanje koda koji analizira i izradu pomoćnih alata. Za te svrhe, kaže, AI alati mogu ubrzati proces i omogućiti mu da se usredotoči na otkrivanje ranjivosti.

„I dalje želim sam otkriti grešku i pretvoriti je u oružje, i to se ne bi promijenilo ni da se sutra ukinu sva ograničenja”, rekao je Cali. „Ljubomoran sam na svoje bugove i previše volim ovu igru da bih dopustio modelima da je igraju umjesto mene.”

Jedan istraživač zaposlen kod proizvođača komponenti za pametne telefone, koji je govorio anonimno jer nije ovlašten za izjave za medije, rekao je da njegova tvrtka nije dio Anthropicovog CVP programa i da su zbog toga alati gotovo beskorisni za pronalaženje ranjivosti — zaštitni mehanizmi jednostavno su prestrogi.

„Čim osjeti da radimo nešto vezano uz sigurnost, jednostavno stane i postane neupotrebljiv”, rekao je.

Chris Thompson — izvršni direktor tvrtke za kibernetičku sigurnost RemoteThreat i osnivač Offensive AI Con, skupa posvećenog ofenzivnoj sigurnosti i umjetnoj inteligenciji — rekao je da su, prema njegovom iskustvu s naprednim AI modelima, zaštitni mehanizmi nedosljedni i svaki dan funkcioniraju drugačije. To vrijedi čak i unutar olabavljenih okvira Anthropicovih i OpenAI-jevih programa za provjerene korisnike.

„Mislim da je praktični učinak taj da trošite puno vremena pregovarajući s modelom umjesto da radite na stvarnom sigurnosnom programu”, rekao je Thompson. „Umjesto da analizirate ranjivost i razmišljate o tome kako je iskoristiti, pokušavate shvatiti zašto dobivate nedosljedne rezultate ili zašto modeli pretjerano filtriraju izlaz.”

Zbog toga istraživači sve više posežu za kineskim open source modelima poput GLM-a — modelima koji se mogu slobodno preuzeti i pokretati lokalno, bez ikakve provjere ili ograničenja korištenja — rekao je Thompson.

„Odgovorni istraživači bivaju gurnuti od američkih sustava prema sustavima u stranom vlasništvu”, rekao je. „Mislim da su ti zaštitni mehanizmi više štetni nego korisni.”

Umjesto daljnjeg zaoštravanja ograničenja, Thompson poziva vodeće AI laboratorije da otvore svoje programe, omoguće odgovoran pristup i pozovu na odgovornost one koji zloupotrebljavaju njihove alate. U suprotnom, tvrdi, branitelji će izgubiti utrku s AI-jem.

„Dolazi velika oluja. Dolazi veliki val napada koji će se odvijati brzinom i u razmjerima kakve još nismo vidjeli”, rekao je Thompson. „A upravo konzultantske tvrtke za sigurnost i legitimni istraživači koji pokušavaju nešto promijeniti sada su sputani.”