Un document que llegeix la IA no hauria de donar-li ordres
Una aplicació amb IA pot llegir correus, documents o pàgines per preparar un resum. El problema apareix quan tracta el que hi troba com una ordre sobre què ha de fer després. El document és material de feina; no hauria de decidir els permisos de l’aplicació.
La font pot contenir alguna cosa més que dades
OWASP descriu la injecció de prompts com una manipulació de l’entrada que altera el comportament del model. Pot arribar directament en una consulta o indirectament en contingut extern, com una pàgina o un arxiu. No sempre és una frase visible a primera vista.
En un cas hipotètic, un document per resumir podria intentar provocar una comunicació fora del procés previst. No cal que el text sembli tècnic: una petició escrita amb to administratiu també pot sortir del que l’aplicació té permís per fer. Aquest exemple explica un risc general, no un incident de T801.
Separa lectura i capacitat d’actuar
Defineix què pot fer l’aplicació abans de connectar-hi fonts externes. Si només necessita resumir, no li donis capacitat per enviar correus o modificar registres. Els permisos mínims redueixen l’impacte d’un error, encara que no eliminin el risc.
Marca el contingut extern com a material a analitzar i comprova les sortides amb regles del programa. Un resultat ben format no és suficient: també ha de correspondre a la tasca i respectar el públic autoritzat. Les accions sensibles necessiten controls d’aprovació fora del text que s’està llegint.
Prova els límits abans d’ampliar el flux
Fes servir documents sintètics i dades fictícies en un entorn aïllat. Comprova que una entrada no pugui canviar el destinatari d’una comunicació ni afegir una acció no prevista. Revisa el resultat real, no només la resposta del model.
OWASP assenyala que ni la recuperació de documents ni l’ajust del model resolen completament aquest problema. Cal combinar controls i revisar-los quan canvien les fonts o les eines. Per començar, és millor un resum sense efectes externs que una cadena d’accions amb permisos més amplis del necessari.