OWASP-Leitfaden für sicheren KI-Einsatz

Wie Unternehmen generative KI sicher und datenschutzkonform einsetzen

Generative KI und Large Language Models (LLMs) sind in vielen Unternehmen längst kein Pilotprojekt mehr. Chatbots, KI-Assistenten und automatisierte Textanalysen gehören für viele Teams zum Arbeitsalltag. Damit entstehen aber auch neue Risiken: für IT-Sicherheit, Datenschutz und rechtliche Compliance. Das Open Web Application Security Project (OWASP) hat mit der „LLM AI Cybersecurity & Governance Checklist“ (Version 1.1, April 2024) einen praxisnahen Leitfaden veröffentlicht, der Organisationen dabei helfen soll, diese Risiken strukturiert zu erfassen und geeignete Maßnahmen zu etablieren.

Die Checkliste steht als PDF zum Download bereit: OWASP LLM AI Cybersecurity & Governance Checklist (PDF)

Was die OWASP-Checkliste abdeckt

Die Checkliste richtet sich an Führungskräfte, IT- und Sicherheitsteams, Datenschutzbeauftragte, Rechtsabteilungen und Compliance-Verantwortliche. Sie deckt den gesamten Lebenszyklus von KI-Systemen ab und gliedert sich in mehrere Bereiche.

Adversarielle Risiken und Bedrohungsmodellierung

Angreifer nutzen KI-Werkzeuge zunehmend selbst, um Phishing-Angriffe zu personalisieren, Deepfakes zu erzeugen oder Schadsoftware zu entwickeln. OWASP empfiehlt, bestehende Sicherheitskontrollen daraufhin zu prüfen, ob sie diesen neuen Angriffsformen standhalten. Klassische Schutzmechanismen wie sprachbasierte Passwort-Rücksetzung können durch KI-gestütztes Voice Cloning umgangen werden. Incident-Response-Pläne sollten entsprechend aktualisiert werden. Für die Bedrohungsmodellierung empfiehlt OWASP systematische Analysen: Wie könnten Angreifer LLM-Systeme für Spoofing oder die Generierung schädlicher Inhalte missbrauchen? Können schädliche Eingaben erkannt und neutralisiert werden? Sind Verbindungen zu bestehenden Systemen und Datenbanken sicher abgesichert?

KI-Inventar und Asset-Management

Unternehmen sollten erfassen, welche KI-Tools und KI-Dienste im Einsatz sind, einschließlich Verantwortlichkeiten, Datenquellen und genutzter Modelle. KI-Komponenten gehören in das Software Bill of Materials (SBoM). Das Risiko sogenannter „Shadow AI“ ist erheblich: Mitarbeitende nutzen externe KI-Dienste ohne Freigabe, was Datenschutz- und Sicherheitsrisiken erzeugt, die der Organisation oft nicht bekannt sind.

Schulungen und Sensibilisierung

Alle Beschäftigten sollten grundlegendes Wissen über generative KI, ihre Risiken und erlaubte Nutzung erhalten. Spezialisierte Schulungen sind für Entwickler, HR, Rechtsabteilungen und Sicherheitsteams notwendig. Die Schulungsinhalte sollten Themen wie Voice Cloning, Spear Phishing und den Umgang mit sensiblen Unternehmensdaten abdecken.

Governance und klare Zuständigkeiten

OWASP empfiehlt, ein RACI-Modell für KI-Systeme zu erstellen: Wer ist verantwortlich, wer rechenschaftspflichtig, wer muss konsultiert werden, wer muss informiert werden? Dazu gehören eine KI-Richtlinie, klare Datenklassifizierungen und eine akzeptable Nutzungsmatrix für generative KI-Tools. Datenschutzrichtlinien sollten explizit regeln, dass vertrauliche oder personenbezogene Daten nicht in nicht freigegebene KI-Werkzeuge eingegeben werden dürfen.

Rechtliche Fragen

Die rechtlichen Implikationen von KI sind weitgehend ungeklärt. OWASP listet zentrale Prüfpunkte: Wer haftet für KI-generierte Inhalte? Welche Rechte entstehen an KI-generierten Texten oder Code? Wie sind Endnutzer-Lizenzverträge (EULA) von KI-Plattformen gestaltet, insbesondere bezüglich Datenschutz, Nutzungsrechten und Haftung? Unternehmen sollten auch prüfen, ob KI-gestützte Tools im Recruiting oder HR diskriminierende Auswirkungen haben könnten.

Regulatorische Anforderungen

Der EU AI Act ist die erste umfassende KI-Regulierung, die schrittweise in Kraft tritt. Die Art. 5 DS-GVO (Grundsätze der Verarbeitung), Art. 25 DS-GVO (Datenschutz durch Technikgestaltung) und Art. 35 DS-GVO (Datenschutz-Folgenabschätzung) sind unmittelbar relevant, wenn personenbezogene Daten in KI-Systeme einfließen. Unternehmen müssen prüfen, welche nationalen und branchenspezifischen Anforderungen für ihren KI-Einsatz gelten.

Technische Sicherheit beim LLM-Einsatz

Die Checkliste enthält konkrete technische Prüfpunkte: Datensicherheit und Zugriffskontrollen nach dem Prinzip minimaler Berechtigungen, Absicherung der Trainingsdatenpipeline, Validierung von Ein- und Ausgaben, Monitoring und Logging sowie Absicherung der Lieferkette bei Drittanbietern. Besondere Risiken bei LLMs sind Prompt Injection (Manipulation des Modells durch manipulierte Eingaben), unsichere Plugin-Designs, Trainingsdatenvergiftung und Modelldiebstahl.

Testen, Evaluieren und Red Teaming

OWASP empfiehlt kontinuierliche Tests über den gesamten KI-Lebenszyklus, einschließlich Penetrationstests, algorithmischer Folgenabschätzungen und KI-spezifischem Red Teaming. Red Teaming simuliert Angriffe auf das KI-System und deckt Schwachstellen auf, bevor Angreifer sie ausnutzen können. Es ersetzt keine anderen Testverfahren, ist aber ein unverzichtbarer Baustein.

Modell- und Risikokarten

Model Cards dokumentieren zentrale Eigenschaften eines KI-Modells: Architektur, Trainingsdaten, Leistungsmetriken, bekannte Einschränkungen und ethische Aspekte. Risk Cards ergänzen dies um potenzielle Negativauswirkungen. Beide Dokumente erhöhen die Transparenz gegenüber Nutzern, Aufsichtsbehörden und internen Stakeholdern.

RAG und LLM-Optimierung

Retrieval-Augmented Generation (RAG) ist eine effiziente Methode, LLMs mit aktuellen und domänenspezifischen Informationen zu versorgen, ohne das Modell vollständig neu trainieren zu müssen. RAG reduziert Halluzinationen und erlaubt kontinuierliche Wissensaktualisierungen. Die sichere Implementierung erfordert kontrollierte Datenzugriffe und klare Governance der Wissensdatenbanken.

Unsere Empfehlungen

Unternehmen und KMU

Erstellen Sie ein KI-Inventar: Welche Tools nutzen Ihre Mitarbeitenden, mit welchen Daten, unter welcher Genehmigung? Verabschieden Sie eine KI-Richtlinie, die klar regelt, welche Anwendungen erlaubt sind und welche Daten nicht in externe KI-Dienste eingegeben werden dürfen. Prüfen Sie, ob eine Datenschutz-Folgenabschätzung nach Art. 35 DS-GVO erforderlich ist, wenn personenbezogene Daten in KI-Prozessen verarbeitet werden. Schulen Sie alle Beschäftigten zu KI-Risiken, nicht nur die IT-Abteilung.

Behörden und öffentliche Stellen

Der Einsatz von KI in der Verwaltung unterliegt besonderen Anforderungen an Transparenz und Nachvollziehbarkeit. Stellen Sie sicher, dass KI-gestützte Entscheidungen dokumentiert und überprüfbar sind. Prüfen Sie den EU AI Act auf relevante Risikoeinstufungen für Ihre Anwendungsfälle, insbesondere bei Entscheidungen mit Auswirkung auf Bürgerinnen und Bürger. Holen Sie Ihren Datenschutzbeauftragten frühzeitig in KI-Projekte ein.

Gesundheitseinrichtungen

Gesundheitsdaten sind besondere Kategorien personenbezogener Daten nach Art. 9 DS-GVO. Der Einsatz generativer KI in klinischen oder administrativen Prozessen erfordert zwingend eine Datenschutz-Folgenabschätzung. Stellen Sie sicher, dass Patientendaten niemals in nicht freigegebene, externe KI-Dienste übermittelt werden. Vertragliche Absicherungen mit KI-Anbietern sind unerlässlich.

Kanzleien und Freiberufler

KI-Tools, die für die Bearbeitung von Mandantendaten eingesetzt werden, müssen den Anforderungen der beruflichen Verschwiegenheit und des Datenschutzes genügen. Prüfen Sie die EULA Ihrer KI-Anbieter genau: Wer hat Zugriff auf eingegebene Daten? Wie werden sie gespeichert und genutzt? Klären Sie, ob KI-generierte Texte urheberrechtlich schutzfähig sind und wem die Rechte zustehen. [INTERNER LINK: Datenschutz in Kanzleien]

Quelle: OWASP Top 10 for LLM Applications – LLM AI Cybersecurity & Governance Checklist, Version 1.1 (April 2024)

Lassen Sie sich unverbindlich von einem Datenschutzbeauftragten beraten.

Kontakt aufnehmen

Weitere unterstützende Hinweise zum Datenschutz finden Sie in diesen Beiträgen:

• Art. 17 DS-GVO – Recht auf Löschung (Recht auf Vergessenwerden)
• Meldung von Datenschutzverletzungen nach Art. 33 DS-GVO
• Nachweis der Datenlöschung – So dokumentieren Sie korrekt
• Datenschutzrisiko E-Mails – Was Unternehmen wissen müssen
• Ombudsstelle und Hinweisgebersystem für Hinweisgeber (Whistleblower)
• Datenschutz und IT-Compliance: Das Handbuch für Admins und IT-Leiter
• Kein Backup, kein Mitleid! Datensicherung mit NAS und Festplatte
• Datenpanne auf Reisen durch Visual Hacking – Blickschutz hilft

Dieser Absatz enthält Affiliatelinks/Werbelinks