Prompt injection poate veni direct de la utilizator sau indirect dintr-un document, email ori pagină recuperată. Atacul poate încerca să ocolească reguli, să dezvăluie date sau să determine folosirea nepermisă a unui instrument. Separarea instrucțiunilor de date, privilegiul minim, validarea acțiunilor și tratarea surselor ca intrări neîncrezătoare reduc riscul. Niciun filtru unic nu oferă protecție completă, deci sunt necesare controale în profunzime și monitorizare.
Termeni înrudiți
- RAG — Retrieval-Augmented Generation — RAG (Retrieval-Augmented Generation) este o tehnică AI care combină un motor de căutare în documente proprii cu un LLM, permițând modelului să răspundă pe baza informațiilor specifice ale companiei tale.
- Agent AI — Un agent AI este un sistem care folosește un model pentru a selecta și executa pași ori instrumente în vederea unui obiectiv, în limitele și permisiunile definite.
- Shadow AI — Shadow AI este utilizarea unor instrumente AI în activitatea organizației fără inventar, aprobare sau controale suficiente.