Google u godinu dana isporučio četiri TPU sustava i pojačava konkurenciju Nvidiji

S dvije nove inačice TPU-a Google cilja na povjerljive AI zadatke i aplikacije koje zahtijevaju mnogo memorije. Tim proširenjem dodatno učvršćuje strateški zaokret: vlastite AI čipove nudi vanjskim korisnicima kao široku platformu.

Google je svojoj liniji AI akceleratora osme generacije dodao dva nova sustava: TPU 8tx za povjerljivo računalstvo i TPU 8i Max za zadatke koji zahtijevaju mnogo memorije. Time je, prema vlastitim navodima, prvi put u jednoj godini isporučio četiri TPU sustava.

Obje nove inačice temelje se na postojećim čipovima. Google ovdje ne predstavlja novu generaciju čipa, nego nove konfiguracije sustava: drukčije pakiranje, drukčije umrežavanje i drukčiju organizaciju memorije oko istog procesora. Tvrtka taj modularni pristup opisuje kao promišljenu dizajnersku odluku koja joj omogućuje da nove hardverske inačice isporučuje za nekoliko mjeseci, a ne za nekoliko godina.

TPU 8tx osjetljive podatke drži šifriranima čak i tijekom obrade

TPU 8tx namijenjen je poduzećima i državnim tijelima koja rade s povjerljivim podacima. Podaci se obično šifriraju pri pohrani i prijenosu, no čim ih procesor počne obrađivati, u memoriji ih je potrebno dešifrirati.

TPU 8tx osmišljen je upravo kako bi uklonio taj nedostatak. Prema Googleovim riječima, podaci i težine modela ostaju zaštićeni i izolirani čak i dok se aktivno koriste. Nvidia za svoje GPU-ove već nudi sličnu funkciju u sklopu svoje arhitekture za povjerljivo računalstvo.

Sustav se oslanja na istu mrežu niske latencije Boardfly koju je Google razvio za inferenciju u stvarnom vremenu, a u odnosu na TPU 8t trebao bi latenciju smanjiti i do dva puta. Google tvrdi da poduzeća na jednom sustavu mogu fino podešavati modele, destilirati velike modele u manje te trenirati AI agente podržanim učenjem, i to bez premještanja osjetljivih podataka između različitih klastera.

TPU 8i Max udvostručuje procesorsku snagu u istom poslužiteljskom ormaru

TPU 8i Max rješava drukčiji problem: usko grlo memorije. Kad AI agenti istodobno obrađuju goleme baze koda ili sate videozapisa, propusnost memorije postaje ključno ograničenje. Google je to riješio tako što je dva čipa TPU 8i smjestio u jedan paket.

Rezultat je dvostruko veća procesorska snaga, dvostruko više memorije i dvostruko veća propusnost memorije u istom formatu poslužiteljskog ormara, što znači znatno veću učinkovitost po četvornom metru podatkovnog centra.

Google olakšava prelazak na TPU

Osim na hardveru, Google radi i na tome da TPU-ove učini jednostavnijima za korištenje. Tvrtka je TorchTPU objavila kao softver otvorenog koda, pa bi se PyTorch kôd na TPU-ovima trebao moći pokretati uz minimalne izmjene. Podržani su i popularni okviri za inferenciju poput vLLM-a i SGLang-a.

Tržište inferencije pokreće utrku u razvoju vlastitih čipova

Proširenje izravno proizlazi iz Googleova strateškog zaokreta: TPU-ovi više nisu isključivo interni alat, nego konkurentna platforma za vanjske korisnike. Tvrtka danas ima gotovo 100 vanjskih korisnika TPU-ova.

Taj potez potiče širi tržišni trend. S rastom broja AI aplikacija težište se sa skupih ciklusa treniranja pomiče na inferenciju, odnosno svakodnevni rad modela. Upravo tu specijalizirani čipovi poput TPU-ova mogu doći do izražaja. Zato i Amazon, Microsoft i OpenAI razvijaju vlastite akceleratore.

Nvidia je odgovorila tako što je vlastitu ponudu za inferenciju ojačala preuzimanjem stručnjaka i licencnim sporazumom s tvrtkom Groq.