Pravilo je dosad glasilo da veći model traži više sklopovlja. DeepSeek V4.1 Flash ima 763 milijarde parametara, dva i pol puta više od prethodnika, a zahtijeva manje memorije po korisniku.
Za pokretanje treba oko 567 gigabajta memorije na grafičkim karticama, uz zapis u osam bitova.
Gdje je ušteda
Najveća je u takozvanoj KV predmemoriji, dijelu koji drži kontekst razgovora. Novi model troši 13 do 25 posto onoga što je trošio V4 Flash. Na istom sklopovlju to znači četiri do osam puta više korisnika istodobno.
Zaslužan je novi uzročni koder i dekoder, drukčiji način na koji model pamti ono što je već pročitao.
Parametri koji ne moraju biti u brzoj memoriji
Od ukupnog broja, 196 milijardi parametara su takozvani n-gramski, koji rade kao tablica za traženje. Njih se ne mora držati na grafičkoj kartici nego mogu stajati u običnoj memoriji ili na disku.
Za svaki token model napravi nekoliko desetaka pogleda u tu tablicu, umjesto da pročita cijeli sloj težina. Otud i brojka parametara koja više ne govori koliko sklopovlja treba.
Zašto to nekoga zanima izvan Kine
Cijena pokretanja modela po korisniku najveća je stavka svakoga tko takav model nudi. Postupak je opisan javno, pa se očekuje da ga preuzmu i drugi.
