Prompt Injection und KI-Agenten: Neue Sicherheitspflichten für Unternehmen

KI-Agenten, die E-Mails lesen, Termine buchen oder Bestellungen auslösen, sind ein neues Einfallstor: Über versteckte Anweisungen in Dokumenten oder Webseiten (Prompt Injection) können Angreifer sie manipulieren.

Rechtlich gilt: Handlungen eines KI-Agenten werden dem einsetzenden Unternehmen zugerechnet. Für NIS2-Einrichtungen gehört die Absicherung zum Risikomanagement, für Hochrisiko-KI verlangt Art. 15 AI Act künftig ausdrücklich Robustheit gegen Manipulation. Datenschutzrechtlich können Datenabflüsse meldepflichtige Vorfälle sein.

Bewährt hat sich das Prinzip minimaler Rechte mit menschlicher Freigabe für alle irreversiblen Aktionen.

Praxishinweis: Erfassen Sie KI-Agenten in Ihrem Berechtigungskonzept wie privilegierte Benutzerkonten.

Sicherheit von KI-Systemen → · Anfrage stellen