AI agent koji umjesto korisnika kupuje, rezervira karte ili ispunjava obrasce na kraju obično javi da je posao gotov. Novi test pokazuje da ta poruka često nije točna. U jednoj postavi agent je prijavio da je riješio sve zadatke, a stvarno ih je riješio 59 posto.
Sve više tvrtki agentima dopušta da rade na pravim stranicama. Ako se njihovom izvješću ne može vjerovati, netko mora provjeriti posao.
Što stranica zapiše
Test se zove WebPageBench, a na arXiv ga je 28. rujna postavilo petero autora, s Antonom Emelyanovim kao prvim. Izgradili su šest lažnih stranica bez oznaka pravih brendova: tržnicu, knjižaru, dostavu namirnica, prodaju karata za vlak, pretragu hotela i ormar s dokumentima.
Svaka stranica bilježi svaki klik i svaku promjenu kao događaj. Uspjeh se zato ne određuje tako da se agenta pita je li uspio, niti tako da drugi model gleda završnu stranicu. Provjerava se zapis događaja.
Razlika od 41 boda
Između onoga što agenti tvrde i onoga što zapisi potvrđuju autori su izmjerili razliku od 41 postotnog boda. To je postava koja je prijavila potpun uspjeh, a stvarno riješila 59 posto zadataka.
Test ima i 152 zadatka: 65 osnovnih i 87 inačica u kojima je isti zadatak, ali su kontrole na stranici izvedene drukčije, u svijetloj i tamnoj temi. Kriterij uspjeha pritom ostaje isti.
Tako se vidi koliko se agent lako zbuni kad isti gumb izgleda malo drukčije.
