Adversarial Attacks sind gezielte Manipulationen, die ein KI-System trotz unauffälliger Eingaben in die Irre führen können. Für Unternehmen und öffentliche Stellen ist das kein Spezialproblem der Forschung, sondern eine reale Sicherheits- und Compliance-Frage: Je nach Einsatz berühren solche Angriffe den EU AI Act, die DSGVO, Cybersicherheitsvorgaben und die allgemeine Organisationsverantwortung.
Was sind Adversarial Attacks und warum sind sie praktisch relevant?
Adversarial Attacks sind Angriffe, bei denen Eingaben so verändert werden, dass ein KI-System falsch reagiert, obwohl die Manipulation für Menschen kaum oder gar nicht auffällt. Die Kernaussage ist einfach: Eine KI kann sicher wirken und dennoch durch kleine, gezielte Änderungen systematisch fehlgeleitet werden.
Bekannt ist das aus der Bilderkennung, etwa wenn minimale Muster auf einem Schild oder Objekt eine falsche Klassifikation auslösen. Vergleichbare Effekte gibt es aber auch bei Sprachmodellen, Spracherkennung, biometrischen Verfahren und Systemen zur Inhaltsmoderation. Der gemeinsame Punkt ist nicht die konkrete Technik, sondern die Ausnutzung von Schwächen im Modellverhalten.
Für die Praxis ist das relevant, weil viele Organisationen KI nicht isoliert einsetzen. Ein Modell hängt oft an Geschäftsprozessen: Zutrittskontrolle, Dokumentenprüfung, Betrugserkennung, Support-Automatisierung oder medizinische Voranalyse. Ein erfolgreicher Angriff kann dann nicht nur eine fehlerhafte Ausgabe erzeugen, sondern Folgefehler in nachgelagerten Prozessen auslösen.
Gerade im Mittelstand wird das Risiko oft unterschätzt, weil KI-Funktionen in Standardsoftware eingebettet sind. Wer nur auf den Anbieter blickt, übersieht leicht, dass die eigene Einbindung, die Qualität der Eingabedaten, fehlende Kontrollen und unklare Zuständigkeiten das Risiko deutlich erhöhen können. Sicherheitsprobleme entstehen daher nicht nur im Modell, sondern auch im Zusammenspiel von Modell, Daten, Benutzeroberfläche und menschlicher Entscheidung.
Welche KI-Systeme sind betroffen?
Betroffen sind nicht nur hochkomplexe Spezialmodelle, sondern fast alle KI-Systeme, die Muster erkennen und daraus Entscheidungen oder Empfehlungen ableiten. Entscheidend ist weniger die Branche als die Frage, ob manipulierte Eingaben reale Auswirkungen entfalten können.
Besonders anfällig sind Systeme der Computer Vision, also Bild- und Videoanalyse, weil kleine Änderungen an Pixeln oder Oberflächen das Ergebnis verschieben können. Das ist etwa bei Qualitätskontrolle, Zugangssystemen, Verkehrs- oder Sicherheitsanwendungen relevant. Auch biometrische Systeme verdienen hier besondere Aufmerksamkeit, weil Fehlklassifikationen unmittelbar Grundrechte und Datenschutz berühren können.
Bei generativer KI liegt der Fokus etwas anders. Dort geht es oft nicht um Pixelmanipulationen, sondern um Eingaben, die Schutzmechanismen umgehen, Prioritäten verschieben oder das Modell zu unerwünschtem Verhalten bewegen. Die Grenze zu manipulierten Eingabeketten ist fließend: Nicht jede Prompt Injection ist ein klassischer adversarialer Angriff, aber beide nutzen aus, dass Modelle auf geschickt formulierte Eingaben empfindlich reagieren.
Auch Textklassifikation, Spam-Filter, Anomalieerkennung und Betrugserkennung sind betroffen. Wenn Kriminelle wissen oder erahnen können, welche Merkmale ein System bewertet, lassen sich Inhalte gezielt so verändern, dass sie unter Schwellenwerten bleiben. Das macht KI-Sicherheit zu einem dynamischen Thema: Ein Modell kann heute gut funktionieren und morgen unter realen Angriffsbedingungen deutlich schlechter abschneiden.
- Prüfenswert ist, ob das System externe oder leicht manipulierbare Eingaben verarbeitet.
- Relevant ist, ob die KI automatisch entscheidet oder Menschen ihr regelmäßig folgen.
- Wichtig ist, ob Fehlklassifikationen finanzielle, rechtliche oder sicherheitsrelevante Folgen haben.
- Zu klären ist, ob der Anbieter Robustheitstests, Grenzen und bekannte Schwachstellen dokumentiert.
- Besonders kritisch sind Umgebungen mit physischem Zugang, Masseneingaben oder öffentlicher Sichtbarkeit.
Welche Rechtsrahmen werden bei Angriffen auf KI relevant?
KI-Sicherheit ist bei adversarialen Angriffen keine reine Technikfrage. Sobald ein System in echte Abläufe eingebunden ist, greifen je nach Einsatz parallel mehrere Rechtsrahmen, die unterschiedliche Pflichten auslösen können.
Der EU AI Act ist relevant, wenn ein KI-System in regulierten oder besonders sensiblen Kontexten eingesetzt wird. Bei Hochrisiko-KI (im EU AI Act definierte Kategorie mit besonderen Pflichten) stehen Risikomanagement, Daten-Governance, menschliche Aufsicht, technische Dokumentation und Leistungsmerkmale im Vordergrund. Robustheit gegen vorhersehbare Missbrauchs- und Angriffsszenarien gehört in diese Logik hinein, auch wenn nicht jede konkrete Angriffsmethode ausdrücklich benannt sein muss.
Die DSGVO kommt ins Spiel, wenn personenbezogene Daten verarbeitet werden, etwa bei biometrischer Erkennung, Bewerberbewertung oder Kundenprofilen. Dann ist nicht nur die Rechtmäßigkeit der Verarbeitung wichtig, sondern auch die Sicherheit der Verarbeitung. Wenn eine Manipulation zu unrichtigen Ergebnissen über Personen führt, können zusätzlich Fragen nach Datenrichtigkeit, Transparenz und automatisierten Entscheidungen entstehen; bei generativen Anwendungen ist außerdem saubere Datenpraxis oft der entscheidende Schwachpunkt.
NIS-2 und allgemeine Cybersicherheitsvorgaben sind vor allem dort bedeutsam, wo KI Teil wesentlicher oder wichtiger Dienste ist. Dann geht es um Risikomanagement, Sicherheitsmaßnahmen, Meldewege und Verantwortlichkeiten auf Leitungsebene. Auch das BSI und ENISA behandeln KI-bezogene Angriffsflächen zunehmend als Bestandteil moderner Sicherheitsarchitekturen.
| Rechtsrahmen | Wann er typischerweise relevant wird | Worauf bei Adversarial Attacks zu achten ist |
|---|---|---|
| EU AI Act | Bei regulierten KI-Anwendungen, besonders in Hochrisiko-Kontexten | Robustheit, Risikomanagement, technische Dokumentation, menschliche Aufsicht |
| DSGVO | Bei Verarbeitung personenbezogener Daten | Sicherheit der Verarbeitung, Datenrichtigkeit, Transparenz, Folgen für Betroffene |
| NIS-2 | Bei betroffenen Einrichtungen und kritischen digitalen Prozessen | Sicherheitsorganisation, Vorfallmanagement, Governance, Lieferkettenrisiken |
| Produktsicherheits- und Haftungsrecht | Bei KI in Produkten oder sicherheitsrelevanten Funktionen | Vorhersehbarer Fehlgebrauch, Nachweis von Sorgfalt, Fehlerfolgen und Verantwortlichkeit |
Hinzu kommen vertragsrechtliche und haftungsrechtliche Fragen. Wer KI beschafft, betreibt oder in eigene Produkte einbettet, sollte daher nicht nur fragen, ob das Modell „gut genug“ ist, sondern ob Angriffe als vorhersehbares Betriebsrisiko behandelt werden. Das ist auch deshalb wichtig, weil interne Verantwortlichkeit oft nicht dort liegt, wo die Technik ausgewählt wurde.
Wie sehen reale Angriffsszenarien im Unternehmen oder in der Verwaltung aus?
Adversariale Angriffe werden greifbar, wenn man sie als Prozessrisiko statt als Laborphänomen betrachtet. Die wesentliche Frage lautet dann nicht, ob ein Modell theoretisch manipulierbar ist, sondern wo im Ablauf ein manipulierter Input tatsächlich Schaden anrichten kann.
Ein naheliegendes Beispiel ist die Dokumentenprüfung. Wenn eine KI Rechnungen, Anträge oder Nachweise vorsortiert, können gezielte Layout- oder Textveränderungen dazu führen, dass problematische Inhalte nicht erkannt oder harmlose Inhalte falsch eskaliert werden. In einer Verwaltung kann das Bearbeitungsstaus, Fehlentscheidungen oder Ungleichbehandlungen verstärken, ohne dass Mitarbeitende die Ursache sofort sehen.
Im physischen Raum wird das Risiko noch konkreter. Bildbasierte Zutritts- oder Erkennungssysteme können auf manipulierte Muster, verdeckte Merkmale oder absichtlich veränderte Umgebungsbedingungen reagieren. Gerade dort, wo Sicherheit, Rechte oder Haftungsfragen berührt sind, reicht eine gute Durchschnittsleistung nicht aus; entscheidend ist, wie sich das System unter absichtlicher Störung verhält.
Bei generativen Systemen liegen die Schäden oft in Informationsprozessen. Ein internes Assistenzsystem kann durch manipulierte Eingaben oder vergiftete Kontexte falsche Zusammenfassungen erzeugen, Anweisungen verfälschen oder interne Schutzregeln umgehen. Wenn Beschäftigte solche Ausgaben ungeprüft übernehmen, wandert das technische Problem unmittelbar in Entscheidungen, Kommunikation und Dokumentation.
Ein typischer Fehlschluss ist, Angriffe nur als externe Hackerhandlung zu verstehen. Tatsächlich können auch Geschäftspartner, Bewerbende, Kund:innen oder interne Nutzer unbeabsichtigt oder bewusst Eingaben liefern, die Modelle aus dem Tritt bringen. Wer unkontrollierte Nutzungspfade zulässt, erhöht deshalb nicht nur Datenschutz- und Geheimnisschutzrisiken, sondern auch die Angriffsfläche für Modellmanipulationen.
Was müssen Anbieter und Betreiber organisatorisch dokumentieren?
Risikomanagement gegen adversariale Angriffe beginnt nicht mit einem einzelnen Penetrationstest, sondern mit klarer Dokumentation. Wer nicht festhält, welche Fehlermodi bekannt sind, welche Eingaben kritisch sind und wer im Störfall entscheidet, kann Robustheit weder nachweisen noch sinnvoll verbessern.
Bei beschaffter KI sollte zuerst geklärt werden, welche Sicherheitszusagen der Anbieter tatsächlich macht. Viele Produktbeschreibungen nennen Genauigkeit oder allgemeine Schutzmaßnahmen, aber kaum belastbare Angaben zu adversarialer Robustheit, Testbedingungen oder Einsatzgrenzen. Für regulierte oder sensible Anwendungen reicht diese Unschärfe oft nicht aus.
Auf Betreiberseite ist wichtig, den Einsatzzweck präzise zu beschreiben. Ein Modell, das als Assistenz bei geringer Auswirkung gedacht war, kann durch organisatorische Praxis faktisch zu einem Entscheidungssystem werden. Dann steigen nicht nur die Folgen eines Angriffs, sondern auch die Anforderungen an Überwachung, menschliche Kontrolle und Nachvollziehbarkeit.
Sinnvoll ist eine strukturierte Dokumentation entlang bekannter Rahmenwerke wie dem NIST AI RMF oder internen Informationssicherheitsprozessen. Das ersetzt keine rechtliche Bewertung, hilft aber, Zuständigkeiten, Bedrohungen, Tests und Restrestrisiken nachvollziehbar zu erfassen. Gerade bei sensiblen Anwendungen wirkt die Organisation belastbarer, wenn frühe Risikoabwägung sauber dokumentiert ist.
- Ist beschrieben, welche Eingaben das System erhält und wie leicht diese manipulierbar sind?
- Gibt es dokumentierte Fehlerszenarien mit möglicher Auswirkung auf Personen, Sicherheit oder Finanzen?
- Sind Robustheitstests vor Inbetriebnahme und nach Änderungen vorgesehen?
- Ist festgelegt, wann menschliche Freigabe Pflicht ist und wann das System nur unterstützend wirken darf?
- Sind Protokolle, Eskalationswege und Kriterien für Abschaltung oder Fallback definiert?
- Wurden Lieferantenangaben zu Grenzen, Updates und Sicherheitsvorfällen vertraglich greifbar gemacht?
Welche technischen und organisatorischen Gegenmaßnahmen sind realistisch?
Es gibt keine einzelne Schutzmaßnahme, die adversariale Angriffe zuverlässig ausschließt. Wirksam wird Abwehr erst als Kombination aus robustem Design, kontrollierter Einbindung, Monitoring und klaren Betriebsgrenzen.
Technisch kommen etwa adversariales Training, Eingabevalidierung, Redundanzen, Anomalieerkennung und Begrenzungen für besonders kritische Funktionen in Betracht. Solche Maßnahmen können die Widerstandsfähigkeit erhöhen, lösen das Grundproblem aber nicht vollständig. Deshalb ist es riskant, technische Schutzversprechen ohne Angaben zu Testbedingungen oder Restfehlern zu übernehmen.
Organisatorisch ist Trennung wichtig: Nicht jede KI-Ausgabe sollte unmittelbar einen Prozessschritt auslösen. Wo Schäden hoch wären, sollte eine zweite Prüfung, ein Plausibilitätsabgleich oder ein alternativer Kontrollpfad vorgesehen sein. Das gilt besonders bei sicherheitsrelevanten, personenbezogenen oder rechtswirksamen Entscheidungen.
Ebenso wichtig ist laufendes Monitoring. Modelle können unter veränderten Daten, neuen Angriffsmustern oder geänderten Prozessen anders reagieren als im Testbetrieb. Sicherheitsarbeit bei KI ist daher kein einmaliges Abnahmeereignis, sondern ein dauernder Prüfprozess mit Update-, Melde- und Eskalationslogik.
Reicht ein Sicherheitstest vor dem Go-live aus?
Nein. Ein einmaliger Test zeigt nur, wie sich das System unter den damals gewählten Bedingungen verhalten hat. Reale Angriffe entwickeln sich weiter, und auch Modellupdates, neue Datenquellen oder geänderte Benutzeroberflächen können die Angriffsfläche verschieben.
Sollte jede KI gegen alle denkbaren Angriffe gehärtet werden?
Nein, aber jedes System sollte entsprechend seiner Wirkung und Angriffsfläche bewertet werden. Je höher die mögliche Schadenswirkung, desto belastbarer müssen Tests, Kontrollen und Ausweichmechanismen sein. Das entspricht auch dem allgemeinen Gedanken risikobasierter Regulierung im AI Act und in der Cybersicherheit.
Was bleibt offen und welche Entwicklung ist absehbar?
Die Regulierung nennt meist Ziele wie Sicherheit, Robustheit und Aufsicht, aber nicht für jede Angriffsklasse eine fertige Detailanleitung. Für adversariale Angriffe bedeutet das: Die Pflicht zur Risikosteuerung ist erkennbar, die konkrete Auslegung wird sich jedoch weiter durch Standards, Behördenpraxis und Markterwartungen schärfen.
Absehbar ist, dass Aufsichts- und Sicherheitsbehörden KI-Risiken stärker mit klassischer IT-Sicherheit verzahnen. Das betrifft insbesondere Dokumentation, Lieferketten, Vorfallmanagement und den Nachweis, dass bekannte Risiken nicht ignoriert wurden. Wer KI in sensible Prozesse bringt, wird deshalb zunehmend begründen müssen, warum die getroffenen Schutzmaßnahmen zum Einsatzkontext passen.
Auch die Marktseite dürfte strenger werden. Beschaffer werden belastbarere Angaben zu Robustheit, Testmethoden und Betriebsgrenzen erwarten, statt sich mit pauschalen Leistungsversprechen zufriedenzugeben. Für Betreiber ist das ein nüchterner Befund: Nicht die Existenz eines Angriffs ist das Hauptproblem, sondern eine Organisation, die dieses Risiko weder erkennt noch steuert.
Adversarial Attacks zeigen, dass KI-Fehler nicht nur aus Zufall, sondern auch aus gezielter Manipulation entstehen können. Rechtlich und organisatorisch zählt deshalb weniger die Frage, ob ein Modell beeindruckend wirkt, sondern ob sein Einsatz unter realen Störbedingungen beherrschbar bleibt. Wer KI als Teil der Sicherheitsarchitektur und nicht nur als Effizienzwerkzeug behandelt, ordnet das Risiko sachgerechter ein.
Hinweis: Dieser Beitrag bietet allgemeine Information zu KI-Risiken und Regulierung und ersetzt keine Rechtsberatung. Konkrete Pflichten, Bußgeldhöhen und Geltungstermine können sich ändern und im Einzelfall abweichen. Für verbindliche Auskünfte ist eine fachkundige Prüfung durch Anwält:innen oder Datenschutzbeauftragte erforderlich. Der Artikel wurde mit KI-Unterstützung erstellt und redaktionell geprüft.
