Model naučen da odbija politički štetne upite počeo je odbijati i tri četvrtine posve bezazlenih. Udio odbijanja na testu bezopasnih pitanja skočio je s dva na 74 posto.
Brojke dolaze iz rada tima tvrtke Multiverse Computing, objavljenog 8. rujna, koji mjeri nešto o čemu se obično govori napamet: koliko se korisnosti izgubi kad se modelu zabrani cijela tema umjesto samo njezinog štetnog dijela.
Problem je svakodnevan. Nastavnik građanskog odgoja i politički djelatnik mogu koristiti isti model. Oboje trebaju točan odgovor o izbornom sustavu, a samo jednom od njih model treba odbiti pomoć oko manipulativnog uvjeravanja. Zaštita koja gleda samo temu tu razliku ne vidi.
Sigurno, ali beskorisno
Pokus je izveden na modelu Qwen3-8B. Nakon učenja da odbija štetne političke upite, udio odbijanja u toj kategoriji skočio je s 9,47 na 84,75 posto. Udio nesigurnih odgovora pao je na više testova s 26,26 na 0,14 posto.
Cijena se vidjela odmah. Model je postao siguran tako što je prestao biti koristan.
Parovi koji sliče
Rješenje koje predlažu zove se učenje na graničnim parovima. Modelu se pokazuju upiti koji zvuče slično, a jedan je štetan i drugi nije. Uz 1539 takvih parova lažna odbijanja pala su s 32,94 na 4,16 posto, uz zadržanih 87,72 posto odbijanja na stvarno štetnim upitima. Za učenje su koristili 40.293 štetna politička upita i 11.955 bezazlenih koji koriste opasno zvučne riječi.
Radi se o jednom modelu od osam milijardi parametara i jednoj temi. Rad je objavljen na blogu Hugging Facea i nije prošao recenziju, a autori rade u tvrtki koja u tom području nudi rješenja.
Svatko tko je od modela dobio odbijenicu na bezazleno pitanje sada barem ima brojku koliko takvo podešavanje košta.
