LLM security — prompt injection, jailbreak a jak se bránit

Nasazujete LLM do produkce? Právě jste otevřeli novou attack surface. Prompt injection je SQL injection éry AI. A většina firem na to není připravená.

Prompt injection¶

Útočník vloží do vstupu instrukce, které přepíší system prompt. Indirect prompt injection je zákeřnější: škodlivé instrukce ukryté v dokumentech, které model zpracovává přes RAG.

Jailbreak¶

DAN, roleplay attacks, encoding tricks — útočníci jsou kreativní. Model začne generovat obsah, který by normálně odmítl.

Obranné strategie¶

• Input sanitization: Filtrujte known attack patterns
• Privilege separation: LLM nesmí mít přístup ke všemu — least privilege
• Output validation: Kontrolujte, co model vrací — PII, system prompt leak
• Guardrails: Nvidia NeMo Guardrails, Guardrails AI frameworky
• Red teaming: Pravidelně testujte vlastní systém

OWASP Top 10 pro LLM¶

OWASP vydal Top 10 pro LLM aplikace. Na prvním místě: prompt injection. Doporučujeme nastudovat jako základ pro security review.

LLM security je den nula¶

Obrana proti prompt injection není vyřešený problém. Vrstvená obrana, monitoring a rychlý incident response jsou klíčové.