Mala dodatna neuronska mreža može usmjeriti generator slika prema zadanom detalju bez ponovnog treniranja cijelog osnovnog modela. Google Research predstavio je pristup Diffusion Controller 29. rujna. Pokuse je proveo na modelu Stable Diffusion 1.4.
Problem se vidi u jednostavnom primjeru: model nacrta traženu životinju, ali izostavi sunčane naočale. Jače nametanje upute može dodati naočale i pritom izobličiti lice.
Difuzijski modeli stvaraju sliku postupnim uklanjanjem šuma. Dodatna mreža korigira taj postupak, usklađujući traženu promjenu s ponašanjem osnovnog modela. U jednoj izvedbi osnovni model ostaje nepromijenjen.
To je korisno pri prilagodbi generatora određenom stilu ili vizualnim zahtjevima. Programer može trenirati manju komponentu umjesto mijenjanja cijele mreže.
Tim razlikuje ograničeni pristup međukoracima generiranja od punog pristupa unutarnjim parametrima modela. Najjači navedeni rezultat, 90 posto pobjeda nad početnim modelom, pripada izvedbi s punim pristupom. Brojka ne opisuje sve inačice sustava.
Za usporedbu je poslužio Human Preference Score v2, automatizirana mjera usklađenosti slike s uputom i vizualnim preferencijama. Rezultat stoga ne znači da je 90 posto ljudi uvijek izabralo novu sliku.
Google opisuje i različite načine treniranja, uključujući prilagodbu prema nagradi za rezultat. Mjerenja vrijede za određeni osnovni model i postavke pokusa, a ne za svaku komercijalnu uslugu generiranja slika.
Korekcija djeluje tijekom nastanka slike, korak po korak.
