AI detektori stvaraju novo doba nepovjerenja

Ovo je The Stepback, tjedni newsletter koji raščlanjuje jednu ključnu priču iz svijeta tehnologije. Za više vijesti o tome kako AI mijenja svakodnevni život, pratite Emmu Roth. The Stepback stiže pretplatnicima u sandučić svake srijede u 8 sati ujutro po istočnom vremenu. Prijavite se ovdje.

Još davno prije nego što je ChatGPT uopće postao pojam, nastavnici i urednici redovito su koristili alate za otkrivanje plagijata kako bi provjerili jesu li autori pošteni prema svom radu. Ti alati uspoređuju predani tekst s bazom podataka koja obuhvaća sadržaj s interneta, znanstvene članke i još mnogo toga, tražeći podudarajuće rečenice i fraze. Neki, poput Turnitina, čak generiraju postotak koji navodno pokazuje koliko se studentov tekst preklapa s postojećim radovima. No zbog lažnih pozitivnih rezultata i nesigurnosti oko toga je li prepisivanje bilo namjerno, dio nastavnika okrenuo je leđa upravo tom alatu.

No lov na kopirani sadržaj sada prerasta u pravi rat protiv tekstova koje generira umjetna inteligencija. Koliko su brzo učenici prihvatili ChatGPT, Google Gemini i Microsoft Copilot, jednako brzo su nastavnici posegnuli za takozvanim AI detektorima. Istraživanje Centra za demokraciju i tehnologiju pokazalo je da je 43 posto nastavnika od šestog do dvanaestog razreda u SAD-u redovito koristilo AI detektore između 2024. i 2025. godine. Neka sveučilišta koja su već koristila Turnitin u svojim sustavima za upravljanje učenjem otkrila su da je usluga automatski aktivirala otkrivanje AI teksta kada je ta funkcija pokrenuta 2023. godine.

Za razliku od alata koji uspoređuju tekstove, AI detektori poput GPTZeroa, Pangrama i Turnitinovog vlastitog rješenja oslanjaju se na vlastite AI modele koji pokušavaju procijeniti je li neki tekst napisao čovjek — a taj je postupak možda još manje pouzdan od pukog traženja podudaranja na internetu. Kako objašnjava GPTZero, AI detektori algoritmom analiziraju rječnik, ritam i strukturu teksta te traže obrasce u duljini i tonu koji su češći u tekstovima koje piše AI. Takva je procjena po svojoj prirodi subjektivna i daleko manje čvrsta od dokazivanja plagijata konkretnim podudaranjem teksta, a može pogoditi i pisce kojima engleski nije materinski jezik. Unatoč tome, Turnitin tvrdi da njegov detektor pogrešno označava manje od 1 posto ljudski napisanog sadržaja kao AI, dok Pangram navodi da je stopa lažnih pozitivnih rezultata samo 1 na 10 000. GPTZero tvrdi da ima podjednako nizak postotak pogrešnog prepoznavanja ljudskog teksta kao AI.

Na internetu već jedni drugima predbacuju da „zvuče kao AI”, a laka dostupnost detektora samo doliva ulje na vatru tog lova na vještice. U nekim visokomedijatiziranim slučajevima optužbe za korištenje AI-ja izravno su ugrozile nečiji posao i ugled. Prošlog je mjeseca izdavač Minotaur raskinuo ugovor o knjizi vrijedan dva milijuna dolara zbog sumnje da je autor Jerry Falade koristio AI — što on odlučno poriče.

Tu je i Thierry Rignol, francuski državljanin koji je prošle godine tužio Yale nakon što ga je profesor optužio da je dijelove završnog ispita napisao uz pomoć AI-ja, zbog čega je dobio negativnu ocjenu i godišnju suspenziju. Profesor je koristio GPTZero kako bi pregledao Rignolove odgovore, no tužba ističe da „alati za AI nadzor i detekciju poznato nepravedno ciljaju neizvorišne govornike engleskog” poput Rignola. U veljači je student Sveučilišta Adelphi dobio spor protiv škole nakon što je i njegov profesor tvrdio da je esej napisao uz pomoć AI-ja. Iako tužba ne navodi koji je alat profesor koristio, Sveučilište Adelphi ima licencni ugovor s Turnitinom.

Stanfordska studija iz 2023. pokazala je da AI detektori češće pogrešno označavaju eseje neizvorišnih govornika engleskog kao AI nego eseje izvorišnih govornika. (Mnogi pružatelji usluga i dalje tvrde da su njihovi alati pouzdani i kada je riječ o tekstovima neizvorišnih govornika.) Osim toga, postoje naznake da ti alati mogu biti pristrani i prema neurodivergentnim piscima.

Kako ističe Sveučilište Kalifornije u Los Angelesu, AI detektori obučeni su da prepoznaju obrasce koji bi mogli upućivati na korištenje AI-ja — primjerice ponavljajuće izraze i fraze, pretjerano formalan ili neformalan ton te besmislene formulacije. Neki, poput QuillBota, mjere i „nepredvidivost” teksta, jer AI prema UCLA-u „tendira biranju najočiglednijih ili najčešćih jezičnih rješenja u usporedbi s ljudskim pisanjem”. Detektori mogu tražiti i ujednačenu strukturu rečenica kroz cijeli tekst kao još jedan pokazatelj AI-ja. No nijedan od tih pokazatelja sam po sebi nije dokaz — neki ljudi jednostavno pišu na taj način.

Iako se Turnitin hvali niskom stopom lažnih pozitivnih rezultata, sam navodi da njegov alat „možda neće uvijek biti točan” i da se ne bi smio koristiti kao osnova za poduzimanje mjera protiv studenta. Grammarly upozorava da korisnici „nikada ne bi smjeli donositi zaključke isključivo na temelju rezultata AI detektora”, dok GPTZero kaže da „nijedan AI detektor nikada ne može biti stopostotno pouzdan”. OpenAI je čak ugasio vlastiti detektor AI teksta 2023. zbog preniskih rezultata točnosti.

No optužbe za korištenje AI-ja i dalje se nižu po internetu. Prošlog tjedna Jack Osbourne, sin Ozzyja Osbournea, u videu objavljenom za više od 3,5 milijuna pratitelja na svojim društvenim mrežama optužio je novinarku i suradnicu Vergea Kat Tenbarge da je uz pomoć AI-ja napisala članak za Rolling Stone, mašući rezultatima AI detektora Getsolved kao „dokazom” svoje tvrdnje. Tenbarge je demantirala optužbu videom i objavom na svojoj web-stranici, no Osbourne nije povukao optužbu ni obrisao video, ostavljajući Tenbarge da se sama nosi s trollovima.

Primjera lažnih optužbi ima bezbroj — od lažnih prijava upućenih piscima do onih upućenih studentima, a mnogi koji optužuju uopće ne uzimaju u obzir upozorenja koja dolaze uz same te alate za detekciju.

Nepouzdanost AI detektora dovoljan je razlog da neke obrazovne institucije u potpunosti odustanu od njihove upotrebe. Yale University, Johns Hopkins University, Vanderbilt University, Georgetown University i drugi onemogućili su ili ograničili korištenje tih alata. Massachusetts Institute of Technology također upozorava da „AI detektori ne funkcioniraju”.

Umjesto da se oslanjaju na alate u lovu na AI, mnoge škole potiču nastavnike da preispitaju način na koji osmišljavaju nastavu. Sveučilište u Chicagu, primjerice, predlaže da se studentima zadaju sporije čitanje, da se duži pisani zadaci razbiju na manje dijelove te da studenti reflektiraju o vlastitom radu. Stanford University savjetuje profesorima da razmatraju provođenje provjera znanja u učionicama, dok MIT preporučuje da profesori studentima ostave prostor da sami otkriju jesu li koristili AI pri izradi zadatka — bez ikakvih posljedica.

Kako AI postaje sve prisutniji i unutar i izvan učionica, rastu i napori da se razluči što je napisao čovjek, a što stroj. Neke online platforme samo dodatno raspirivaju sumnje oko korištenja AI-ja. Substack je ugradio Pangram u svoju aplikaciju, omogućujući korisnicima da skeniraju blogove u potrazi za navodnim AI sadržajem, a LinkedIn je dodao gumb „izgleda kao AI smeće” na objave. Rezultat je novo doba nepovjerenja u kojemu čitatelji neprestano propituju je li ono što čitaju napisao AI, dok pravi ljudski pisci ulažu sve napore da ne zvuče kao da jesu.