Prompt injection poate veni direct de la utilizator sau indirect dintr-un document, email ori pagină recuperată. Atacul poate încerca să ocolească reguli, să dezvăluie date sau să determine folosirea nepermisă a unui instrument. Separarea instrucțiunilor de date, privilegiul minim, validarea acțiunilor și tratarea surselor ca intrări neîncrezătoare reduc riscul. Niciun filtru unic nu oferă protecție completă, deci sunt necesare controale în profunzime și monitorizare.
Termeni înrudiți
- RAG — Retrieval-Augmented Generation — RAG recuperează fragmente relevante din surse externe și le oferă unui model drept context pentru generarea unui răspuns.
- Agent AI — Un agent AI folosește un model pentru a selecta și executa pași ori instrumente în vederea unui obiectiv, în limite și permisiuni definite.
- Shadow AI — Shadow AI este utilizarea unor instrumente AI în activitatea organizației fără inventar, aprobare sau controale suficiente.