SenseTime je objavio SenseNova Loop-9B-Preview, multimodalni model otvorenog koda koji koristi ponavljano računanje kako bi produbio obradu podataka bez umnožavanja težina modela. Objava je najavljena 30. listopada.
Model prima tekst i slike te generira tekst namijenjen razumijevanju dokumenata, programiranju i zadacima koji uključuju vanjske alate. Dijeljeni blok od 24 dekoderska sloja prolazi kroz obradu dva puta, čime se postiže dublji računski put uz otprilike devet milijardi parametara.
Dokumentirana konfiguracija za treniranje podržava sekvence od do 262.144 tokena i kombinira tekst, slike, kod i primjere korištenja alata. SenseTime je objavio težine modela, upute za zaključivanje i smjernice za treniranje, a projekt je distribuiran pod licencijom Apache 2.0. [SenseTime]
Izvor: TechNode







