KI-Systeme sind selbst Angriffsziel: Manipulierte Eingaben (Prompt Injection) bringen Chatbots dazu, vertrauliche Daten preiszugeben, vergiftete Trainingsdaten verändern Modelle unbemerkt, und autonome KI-Agenten mit Zugriff auf E-Mail, Zahlungen oder Systeme vervielfachen den möglichen Schaden.
Typische Angriffe auf KI
| Angriff | Beschreibung |
|---|---|
| Prompt Injection | versteckte Anweisungen in Eingaben, Webseiten oder Dokumenten übernehmen die Steuerung des Modells |
| Data Poisoning | manipulierte Trainings- oder Retrieval-Daten verfälschen Ergebnisse |
| Model Extraction | Rekonstruktion oder Diebstahl des Modells über Abfragen |
| Datenabfluss | Preisgabe von Trainings- oder Kontextdaten |
| Agenten-Missbrauch | KI-Agenten führen unautorisierte Aktionen mit realen Berechtigungen aus |
Rechtliche Anforderungen
- AI Act: Hochrisiko-KI-Systeme müssen ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und gegen Manipulation wie Data Poisoning und adversariale Eingaben geschützt sein Art. 15 KI-VO. Die Hochrisiko-Pflichten gelten nach dem KI-Omnibus ab 2. Dezember 2027 (eigenständige Systeme) bzw. 2. August 2028 (in Produkte eingebettete Systeme).
- Cyber Resilience Act: KI-Software, die als Produkt in Verkehr gebracht wird, unterliegt den wesentlichen Cybersicherheitsanforderungen und den Meldepflichten.
- NIS2/BSIG: Für Einrichtungen ist der KI-Einsatz Teil des Risikomanagements, einschließlich Lieferkette und Zugriffskontrolle.
- DSGVO: Art. 25 und 32 verlangen Datenschutz durch Technikgestaltung und angemessene Sicherheit – auch bei KI-Verarbeitungen.
KI-Agenten: Verantwortung und Kontrolle
KI-Agenten handeln im Namen des Unternehmens. Rechtlich werden ihre Handlungen dem Betreiber zugerechnet; eine eigene Rechtspersönlichkeit haben sie nicht. Entscheidend sind deshalb das Prinzip der minimalen Rechte, menschliche Freigaben für kritische Aktionen, Protokollierung und klare vertragliche Regeln mit den Anbietern.
Praxisfälle
Kundenchatbot verrät Rabattcodes
Sachverhalt: Über eine präparierte Eingabe bringt ein Nutzer den Chatbot eines Onlinehändlers dazu, interne Rabattcodes und Systemanweisungen offenzulegen.
Rechtliche Würdigung: Für Erklärungen des Chatbots haftet grundsätzlich der Betreiber. Ob Zusagen bindend sind, richtet sich nach allgemeinen Regeln zur Willenserklärung und zum Empfängerhorizont.
Unser Vorgehen: Sicherheitsarchitektur, Nutzungsbedingungen, Prüfung der Bindungswirkung, Anpassung der Systemanweisungen.
E-Mail-Agent leitet Daten weiter
Sachverhalt: Ein KI-Assistent mit Postfachzugriff folgt einer versteckten Anweisung in einer eingehenden Mail und sendet Verträge an eine externe Adresse.
Rechtliche Würdigung: Datenschutzverletzung mit Meldepflicht; zudem Verletzung von Geschäftsgeheimnissen. Die Frage nach angemessenen Schutzmaßnahmen stellt sich nach Art. 32 DSGVO und GeschGehG.
Unser Vorgehen: Meldung, Schadensbegrenzung, Berechtigungskonzept, Vertragsprüfung mit dem Anbieter.
Vergiftete Wissensdatenbank
Sachverhalt: Ein Mitarbeiter manipuliert die Retrieval-Datenbank eines internen KI-Assistenten, der daraufhin falsche Compliance-Auskünfte gibt.
Rechtliche Würdigung: Interne Sabotage (§ 303a StGB), arbeitsrechtliche Konsequenzen; zugleich Governance-Mangel ohne Änderungsprotokoll.
Unser Vorgehen: Interne Ermittlung, Strafanzeige, Integritätskontrollen und Freigabeprozesse.
Hochrisiko-KI im Personalbereich
Sachverhalt: Ein Unternehmen setzt eine KI zur Bewerbervorauswahl ein und fragt nach Sicherheitsanforderungen.
Rechtliche Würdigung: KI im Beschäftigungskontext ist Hochrisiko nach Anhang III AI Act; ab Dezember 2027 gelten Art. 9 ff. einschließlich Art. 15. Bereits heute gelten DSGVO und AGG.
Unser Vorgehen: Gap-Analyse, Anbieterpflichten vertraglich absichern, Betreiberpflichten vorbereiten.
Modell eines Start-ups kopiert
Sachverhalt: Ein Wettbewerber extrahiert über massenhafte API-Abfragen wesentliche Fähigkeiten eines spezialisierten Modells.
Rechtliche Würdigung: Schutz über Geschäftsgeheimnisse (angemessene Geheimhaltungsmaßnahmen erforderlich), Vertrags- und Wettbewerbsrecht; Urheberrecht ist bei Modellgewichten unsicher.
Unser Vorgehen: Nutzungsbedingungen mit Extraktionsverbot, Rate-Limits als Geheimhaltungsmaßnahme, Unterlassungsansprüche.
Unsere Leistungen
- Rechtliche Risikoanalyse von KI-Anwendungen und KI-Agenten
- Berechtigungs- und Freigabekonzepte aus Haftungssicht
- Verträge mit KI-Anbietern einschließlich Sicherheits- und Meldepflichten
- Umsetzung von Art. 15 AI Act und CRA
- Vorfallmanagement bei KI-Sicherheitsvorfällen
Verwandte Themen: KI-Verordnung · Haftung für KI · KI-Verträge
Häufige Fragen
Ist Prompt Injection ein Sicherheitsvorfall im Rechtssinn?
Wenn dadurch Vertraulichkeit, Integrität oder Verfügbarkeit von Daten oder Systemen beeinträchtigt werden, ja – mit möglichen Meldepflichten nach DSGVO und BSIG.
Wer haftet für Fehler eines KI-Agenten?
Grundsätzlich der Betreiber, der den Agenten einsetzt; im Innenverhältnis kommen Ansprüche gegen den Anbieter in Betracht.
Gelten die Sicherheitsanforderungen des AI Act schon?
Für Hochrisiko-Systeme ab 2. Dezember 2027 bzw. 2. August 2028. Für KI-Modelle mit allgemeinem Verwendungszweck und systemischem Risiko gelten Cybersicherheitspflichten bereits seit August 2025.
Anfrage: Sicherheit von KI-Systemen
Schildern Sie uns kurz Ihr Anliegen – wir melden uns mit einer ersten Einschätzung und einem Kostenrahmen.