Veliki jezični model (engl. large language model, LLM) statistički je model jezika treniran na ogromnoj količini teksta. Njegov je zadatak, u osnovi, jedan: za dani niz riječi procijeniti koja riječ dolazi sljedeća.
Zvuči skromno. Posljedice nisu.
Od predviđanja do sposobnosti
Da bi model dobro predviđao sljedeću riječ u rečenici „Glavni grad Francuske je…”, mora negdje u svojim parametrima zadržati vezu između Francuske i Pariza. Da bi dovršio dokaz, mora zadržati obrazac dokazivanja. Sposobnosti koje nazivamo „razumijevanjem” nusprodukt su tog jednog zadatka, ponovljenog na nezamislivoj količini teksta.
Što to nije
Model nema pristup istini. Ima pristup obrascima u tekstu na kojem je učio. Kad obrazac vodi na točan odgovor, odgovor je točan. Kad ne vodi, model će svejedno odgovoriti — jednako uvjerljivim tonom. To se zove halucinacija i nije kvar nego izravna posljedica načina na koji model radi.
Model također nema pamćenje između razgovora, osim ako mu ga netko izričito ne ugradi, i nema namjeru. Rečenica „model želi” uvijek je skraćenica za nešto drugo.
Zašto je to važno za čitanje vijesti
Kad sljedeći put pročitate da je model „položio ispit” ili „riješio zadatak”, korisno je pitati: je li zadatak bio u podacima na kojima je učio? Koliko je pokušaja imao? Tko je mjerio?
To su pitanja koja razdvajaju rezultat od najave.
