Sicherheit von KI-Systemen

KI-Systeme sind selbst Angriffsziel: Manipulierte Eingaben (Prompt Injection) bringen Chatbots dazu, vertrauliche Daten preiszugeben, vergiftete Trainingsdaten verändern Modelle unbemerkt, und autonome KI-Agenten mit Zugriff auf E-Mail, Zahlungen oder Systeme vervielfachen den möglichen Schaden.

Typische Angriffe auf KI

AngriffBeschreibung
Prompt Injectionversteckte Anweisungen in Eingaben, Webseiten oder Dokumenten übernehmen die Steuerung des Modells
Data Poisoningmanipulierte Trainings- oder Retrieval-Daten verfälschen Ergebnisse
Model ExtractionRekonstruktion oder Diebstahl des Modells über Abfragen
DatenabflussPreisgabe von Trainings- oder Kontextdaten
Agenten-MissbrauchKI-Agenten führen unautorisierte Aktionen mit realen Berechtigungen aus

Rechtliche Anforderungen

  • AI Act: Hochrisiko-KI-Systeme müssen ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und gegen Manipulation wie Data Poisoning und adversariale Eingaben geschützt sein Art. 15 KI-VO. Die Hochrisiko-Pflichten gelten nach dem KI-Omnibus ab 2. Dezember 2027 (eigenständige Systeme) bzw. 2. August 2028 (in Produkte eingebettete Systeme).
  • Cyber Resilience Act: KI-Software, die als Produkt in Verkehr gebracht wird, unterliegt den wesentlichen Cybersicherheitsanforderungen und den Meldepflichten.
  • NIS2/BSIG: Für Einrichtungen ist der KI-Einsatz Teil des Risikomanagements, einschließlich Lieferkette und Zugriffskontrolle.
  • DSGVO: Art. 25 und 32 verlangen Datenschutz durch Technikgestaltung und angemessene Sicherheit – auch bei KI-Verarbeitungen.

KI-Agenten: Verantwortung und Kontrolle

KI-Agenten handeln im Namen des Unternehmens. Rechtlich werden ihre Handlungen dem Betreiber zugerechnet; eine eigene Rechtspersönlichkeit haben sie nicht. Entscheidend sind deshalb das Prinzip der minimalen Rechte, menschliche Freigaben für kritische Aktionen, Protokollierung und klare vertragliche Regeln mit den Anbietern.

Faustregel: Ein KI-Agent sollte nie mehr dürfen als ein neuer Mitarbeiter in der Probezeit – und jede irreversible Aktion braucht eine menschliche Bestätigung.

Praxisfälle

Kundenchatbot verrät Rabattcodes

Sachverhalt: Über eine präparierte Eingabe bringt ein Nutzer den Chatbot eines Onlinehändlers dazu, interne Rabattcodes und Systemanweisungen offenzulegen.

Rechtliche Würdigung: Für Erklärungen des Chatbots haftet grundsätzlich der Betreiber. Ob Zusagen bindend sind, richtet sich nach allgemeinen Regeln zur Willenserklärung und zum Empfängerhorizont.

Unser Vorgehen: Sicherheitsarchitektur, Nutzungsbedingungen, Prüfung der Bindungswirkung, Anpassung der Systemanweisungen.

E-Mail-Agent leitet Daten weiter

Sachverhalt: Ein KI-Assistent mit Postfachzugriff folgt einer versteckten Anweisung in einer eingehenden Mail und sendet Verträge an eine externe Adresse.

Rechtliche Würdigung: Datenschutzverletzung mit Meldepflicht; zudem Verletzung von Geschäftsgeheimnissen. Die Frage nach angemessenen Schutzmaßnahmen stellt sich nach Art. 32 DSGVO und GeschGehG.

Unser Vorgehen: Meldung, Schadensbegrenzung, Berechtigungskonzept, Vertragsprüfung mit dem Anbieter.

Vergiftete Wissensdatenbank

Sachverhalt: Ein Mitarbeiter manipuliert die Retrieval-Datenbank eines internen KI-Assistenten, der daraufhin falsche Compliance-Auskünfte gibt.

Rechtliche Würdigung: Interne Sabotage (§ 303a StGB), arbeitsrechtliche Konsequenzen; zugleich Governance-Mangel ohne Änderungsprotokoll.

Unser Vorgehen: Interne Ermittlung, Strafanzeige, Integritätskontrollen und Freigabeprozesse.

Hochrisiko-KI im Personalbereich

Sachverhalt: Ein Unternehmen setzt eine KI zur Bewerbervorauswahl ein und fragt nach Sicherheitsanforderungen.

Rechtliche Würdigung: KI im Beschäftigungskontext ist Hochrisiko nach Anhang III AI Act; ab Dezember 2027 gelten Art. 9 ff. einschließlich Art. 15. Bereits heute gelten DSGVO und AGG.

Unser Vorgehen: Gap-Analyse, Anbieterpflichten vertraglich absichern, Betreiberpflichten vorbereiten.

Modell eines Start-ups kopiert

Sachverhalt: Ein Wettbewerber extrahiert über massenhafte API-Abfragen wesentliche Fähigkeiten eines spezialisierten Modells.

Rechtliche Würdigung: Schutz über Geschäftsgeheimnisse (angemessene Geheimhaltungsmaßnahmen erforderlich), Vertrags- und Wettbewerbsrecht; Urheberrecht ist bei Modellgewichten unsicher.

Unser Vorgehen: Nutzungsbedingungen mit Extraktionsverbot, Rate-Limits als Geheimhaltungsmaßnahme, Unterlassungsansprüche.

Unsere Leistungen

  • Rechtliche Risikoanalyse von KI-Anwendungen und KI-Agenten
  • Berechtigungs- und Freigabekonzepte aus Haftungssicht
  • Verträge mit KI-Anbietern einschließlich Sicherheits- und Meldepflichten
  • Umsetzung von Art. 15 AI Act und CRA
  • Vorfallmanagement bei KI-Sicherheitsvorfällen

Verwandte Themen: KI-Verordnung · Haftung für KI · KI-Verträge

Häufige Fragen

Ist Prompt Injection ein Sicherheitsvorfall im Rechtssinn?

Wenn dadurch Vertraulichkeit, Integrität oder Verfügbarkeit von Daten oder Systemen beeinträchtigt werden, ja – mit möglichen Meldepflichten nach DSGVO und BSIG.

Wer haftet für Fehler eines KI-Agenten?

Grundsätzlich der Betreiber, der den Agenten einsetzt; im Innenverhältnis kommen Ansprüche gegen den Anbieter in Betracht.

Gelten die Sicherheitsanforderungen des AI Act schon?

Für Hochrisiko-Systeme ab 2. Dezember 2027 bzw. 2. August 2028. Für KI-Modelle mit allgemeinem Verwendungszweck und systemischem Risiko gelten Cybersicherheitspflichten bereits seit August 2025.

Anfrage: Sicherheit von KI-Systemen

Schildern Sie uns kurz Ihr Anliegen – wir melden uns mit einer ersten Einschätzung und einem Kostenrahmen.

← Zurück

Vielen Dank für Ihre Anfrage

Wir melden uns in der Regel innerhalb eines Werktags. In dringenden Fällen rufen Sie uns bitte zusätzlich an.
Dringlichkeit