Microsoft kaže da su AI agenti poput insajderskih prijetnji jer se ‘graničnim modelima ne može vjerovati’

Microsoft je u ponedjeljak predstavio nove sigurnosne značajke namijenjene zaštiti tvrtki od sve veće prijetnje koju predstavljaju AI agenti. Lansiranje dolazi u trenutku kada Microsoft nastavlja upozoravati poduzeća na opasnosti od umjetne inteligencije i agenata.

Najznačajnija novost je svakako Guardian Agents — nova značajka namijenjena nadzoru AI agenata koje tvrtka koristi. Guardian Agents dio je projekta Project Perception, koji je predstavljen još u lipnju.

Project Perception bio je Microsoftov odgovor na moćne hakerske modele poput Anthropicovih Mythosa i Fablea te OpenAIjevog sustava za otkrivanje sigurnosnih ranjivosti Daybreak. Projekt je u početku obuhvaćao tri vrste agenata: „crveni tim” koji je simulirao napadače i hakerske napade, „plavi tim” koji je otkrivao aktivnosti crvenog tima i procjenjivao pronađene ranjivosti, te „zeleni tim” zadužen za njihovo otklanjanje.

Proizvod je bio zamišljen uz pretpostavku da će AI hakeri dolaziti izvana. No posljednjih mjeseci izvršni direktor Microsofta Satya Nadella upozorava da prijetnja može doći upravo od agenata koje su same tvrtke uvele i za koje plaćaju — slično kao što opasnost može predstavljati i nezadovoljni zaposlenik, što se u sigurnosnoj terminologiji naziva „insider threat” ili prijetnja iznutra.

Početkom ovog mjeseca, na svom privatnom blogu, Nadella je upozorio da je krajnje vrijeme prestati slijepo vjerovati pružateljima AI modela — čak i kada nude jamstva sigurnosti za svoje agentne proizvode. Želi da tvrtke uvedu zasebne sustave, neovisne o AI laboratorijima, koji će nadzirati i kontrolirati agente što ih ti laboratoriji isporučuju.

„Postavljamo te složene agentne sustave i modele, dajemo im pristup našim najosjetljivijim podacima i ovlašćujemo ih da u naše ime poduzimaju ključne poslovne akcije!”, napisao je. „Jednostavno ne možemo prepustiti drugima odgovornost za ono što inteligencija radi u naše ime. Jamstva pružatelja modela ne oslobađaju nas te odgovornosti. … Drugim riječima, moramo odvojiti opskrbu inteligencijom od autoriteta nad njom.”

Hayete Gallot, čelnica Microsoftovog sigurnosnog poslovanja, bila je pri najavi Guardian Agentsa još izravnija.

„Nažalost, naprednim modelima, bez obzira na njihovo podrijetlo, ne može se vjerovati”, napisala je, dodajući da to nije zbog toga što su zlonamjerni ili lako podložni hakiranju, već zato što su nepredvidivi. Trenirani su da izvršavaju zadatke, a ne da poštuju „organizacijske norme ili prosudbu”.

Povrh toga, često im se daju ključevi kraljevstva — pristup podacima i alatima koji mogu nanijeti ozbiljnu štetu.

Microsoftovo rješenje istovremeno je i iznenađujuće i samoposlužujuće. Iznenađujuće je jer je Microsoft notorno blizak s OpenAIjem i Anthropicom — u oba je uložio značajna sredstva. OpenAI je ujedno jedan od njegovih najvećih cloud klijenata, a Microsoft ima i vlastiti AI laboratorij koji razvija modele. Dakle, Microsoft aktivno potkopava povjerenje prema nekim od svojih poslovnih partnera.

Samoposlužujuća strana priče je ta što Microsoft želi da tvrtke sigurnosne agentne proizvode kupuju upravo od njega, kao cloud pružatelja, a ne od Anthropica ili OpenAIja. No, bez obzira na sukob interesa, njegova je logika čvrsta. Softver koji nadzire ponašanje agenata trebao bi biti odvojen od dobavljača tih agenata — baš kao što revizori moraju biti neovisni od organizacija koje revidiraju.

Ili kako to Nadella sažima: „Moramo odvojiti opskrbu inteligencijom od autoriteta nad njom.”

Microsoft tu poslovnu priliku sada iskorištava na više načina. Uz Guardian Agents, u proizvod Microsoft Defender dodana je i značajka za otkrivanje agenata koja prepoznaje do 60 vrsta agenata što ih zaposlenici donose na radno mjesto, uključujući Claude Code, Codex i OpenClaw. Dodane su i mogućnosti ograničavanja pristupa agenata podacima i sustavima, kao i dinamičkog prilagođavanja njihovih ovlasti ovisno o zadatku — uključujući i zahtjev za odobrenje od strane čovjeka ako agent donosi rizične odluke.

Ideja o agentima kao nepouzdanim insajderima sve više se prihvaća i u široj industriji.

Microsoft je bio jedan od osnivačkih članova Nvidiine nove platforme Open Agent Safety Platform, koja je privukla podršku više od 100 tehnoloških tvrtki. Platforma izolira agente u sigurnim okruženjima te može nadzirati i zaustavljati njihovo ponašanje na razini hardvera, funkcionirajući poput svojevrsnog prekidača za isključivanje. To dolazi nakon što je Microsoft najavio nove Surface Laptop Ultra računala namijenjena agentima, koja pokreću Nvidiini čipovi i u koja su sigurnosne kontrole za agente ugrađene već na razini sustava.