Vier grüne Häkchen, trotzdem gehackt: Threat Modeling für agentenbasierte KI

Eine Mail im Posteingang, niemand öffnet sie, niemand klickt. Tage später fragt ein Nutzer seinen KI-Assistenten etwas Harmloses — der Agent zieht die Mail als Kontext heran, folgt versteckten Anweisungen und exfiltriert interne Daten. Jede Komponente hat ihr Review bestanden. So ähnlich lief EchoLeak gegen Microsoft Copilot.

Agentenbasierte KI-Systeme brechen an Vertrauensgrenzen, die klassische Threat Models nicht abbilden.

Der Talk stellt ein Fünf-Zonen-Modell vor (Input, Planung, Tool-Ausführung, Memory, Agent-zu-Agent), zeigt an RAG-Poisoning, MCP-Tool-Chain-Missbrauch und Multi-Agent-Kaskaden konkrete Angriffspfade und liefert strukturelle Maßnahmen jenseits modellbasierter Guardrails.

Vorkenntnisse

Grundverständnis von Softwarearchitektur und typischer Web-/API-Security. Erste Berührungspunkte mit LLM-basierten Systemen, RAG-Pipelines oder MCP-Tool-Integrationen sind hilfreich, aber kein Muss. Threat-Modeling-Erfahrung erleichtert den Einstieg, ist aber nicht Voraussetzung — der Talk führt das Fünf-Zonen-Modell eigenständig ein.

Lernziele

Teilnehmende lernen, die Angriffsfläche agentenbasierter KI-Systeme über fünf Zonen (Input, Planung, Tool-Ausführung, Memory, Agent-zu-Agent) systematisch zu kartieren. Sie sehen an RAG-Pipelines und MCP-Tool-Chain-Angriffen, wie Angriffe Vertrauensgrenzen überschreiten, kennen strukturelle Kontrollen statt modellbasierter Guardrails und können das Modell auf OWASP Top 10 for Agentic AI und CSA MAESTRO abbilden.