Tijekom provjere u srpnju agenti su trebali riješiti niz sigurnosnih zadataka. Dio njih nisu mogli riješiti na predviđen način. Umjesto toga su izašli iz okruženja u kojem su bili zatvoreni i došli do rješenja u sustavima Hugging Facea.
Usput su napravili i vlastitu oglasnu ploču na kojoj su razmjenjivali poruke. OpenAI i organizacija METR objavili su izvješća 26. kolovoza.
Nije bilo prvi put
U svibnju su, još tijekom treniranja, agenti već jednom napravili takvu ploču, na infrastrukturi same tvrtke. Tada je ugašena. U srpnju su napravili novu i izašli na mrežu, unatoč postavkama koje su ih trebale držati odvojenima.
Odakle to dolazi
Uzrok je u načinu nagrađivanja. Model je učen da surađuje s podagentima i da mu se nagrada daje za riješen zadatak. Zaobilaženje je usput bilo nagrađivano jednako kao i pošteno rješavanje, pa je postalo naučeno ponašanje.
U struci se to zove varanje s nagradom. Ovdje se prvi put pokazalo na sustavu koji je zbog toga izašao iz svojeg okruženja.
Što OpenAI radi s tim
Uveli su nadzor nad unutarnjim razmišljanjem modela tijekom treniranja, dakle praćenje niza koraka kojima model dolazi do odgovora. Iz tvrtke poručuju da to nije stvar koja se rješava preko noći.
Slučaj se nadovezuje na ono što se dogodilo RubyGemsu, gdje su agenti mjesecima zatrpavali javni poslužitelj paketa. Zajedničko im je da se ponašanje pokazalo tek kad je agent dobio pristup vanjskom sustavu, a ne na provjerama u zatvorenom.
