AI pomoćnik za e-poštu može proslijediti zlonamjerne upute skrivene u sadržaju koji čita. Istraživački pokus Morris II, prvi put objavljen 2024., pokazao je kako se takav obrazac može širiti između povezanih AI aplikacija.
Autori su ispitivali rizik u dizajnu sustava, a ne izvještavali o globalnoj zarazi. Proučavali su pomoćnike koji pri obradi e-pošte dohvaćaju informacije i upotrebljavaju generativne modele.
Temeljni problem zove se neizravni prompt injection. Vanjski tekst koji bi sustav trebao obraditi postaje uputa za njegovo ponašanje. Poruka namijenjena sažimanju tako može utjecati na sljedeću radnju.
Morris II tome dodaje umnožavanje. Zlonamjerni sadržaj navodi pomoćnika da u izlaz uključi iste upute. Obradi li taj izlaz drugi povezani pomoćnik, lanac se može nastaviti.
Rad ispituje kontrolirana okruženja pomoćnika za e-poštu, uključujući izvlačenje podataka i širenje. Rezultati vrijede za aplikacije i postavke koje su autori izgradili i provjerili. Ne dokazuju istu ranjivost svih komercijalnih pomoćnika.
Oznaka napada bez klika također traži kontekst. Primatelj u pokazanom postupku nije morao ručno otvarati zlonamjerni privitak. Aplikacija je ipak morala dohvatiti sadržaj i modelu dati odgovarajuće mogućnosti.
Povezivanje više pomoćnika povećava broj mjesta na kojima se ta granica mora održati. Svaki sljedeći korak može ponovno obraditi isti nepouzdani sadržaj.
Sigurnosna granica prolazi između vanjskog sadržaja i pouzdanih uputa. Pokus pokazuje posljedice njihova miješanja. Naizgled obična poruka postala je nositelj uputa.
