Najave novih modela slijede prepoznatljiv obrazac: nekoliko grafova, tablica s usporedbom prema konkurenciji i rečenica o „najboljem modelu na tržištu”. Prije nego što to postane vijest, vrijedi postaviti pet pitanja.
1. Tko je mjerio?
Rezultat koji je objavio proizvođač modela nije neovisno mjerenje. To ne znači da je netočan — znači da još nije provjeren.
2. Na čemu je mjereno?
Standardni testovi objavljeni su na internetu. Ako je model učio na tekstu s interneta, dio testa možda je vidio u podacima. Tada mjerimo pamćenje, a ne sposobnost.
3. Koliko pokušaja?
Rezultat „uz jedan pokušaj” i rezultat „najbolji od dvadeset pokušaja” dvije su različite brojke, a u tablicama često stoje jedna do druge.
4. Koliko to košta?
Model koji je za dva postotna boda bolji, a deset puta skuplji, u praksi je često lošiji izbor. Cijena i brzina dio su rezultata.
5. Može li se ponoviti?
Ako model nije dostupan, a rezultati nisu reproducibilni, riječ je o najavi. Najava je legitimna vijest — ali kao najava, ne kao otkriće.
Ništa od ovoga ne znači da su najave nevažne. Znači da razlika između „tvrtka je objavila” i „izmjereno je” pripada u prvu rečenicu teksta, a ne u fusnotu.
