KI darf Entscheidungen vorbereiten, priorisieren und bewerten, aber nicht jede automatisierte Bewertung ist rechtlich gleich unproblematisch. Besonders sensibel wird es, wenn aus Profiling, Scoring oder generativen Systemen Entscheidungen mit spürbaren Folgen für Menschen entstehen. Dann greifen vor allem DSGVO, sektorale Regeln und je nach Anwendungsfall auch Vorgaben aus dem EU AI Act.
Was als automatisierte Entscheidung mit KI gilt
Automatisierte Entscheidungen liegen nicht erst dann vor, wenn ein Roboter allein entscheidet. Bereits dann, wenn ein System Personen bewertet und daraus eine Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung folgt, wird der Einsatz rechtlich heikel.
Im Zentrum steht die Frage, ob ein Mensch die Entscheidung tatsächlich überprüft oder nur formal beteiligt ist. Ein Ranking-System für Bewerbungen, ein Kredit-Scoring, eine Betrugsbewertung im Sozialleistungsbereich oder eine Risikoampel im Personalwesen können in diese Zone fallen. Technisch ist es oft unerheblich, ob ein klassisches statistisches Modell, ein neuronales Netz oder ein Foundation Model im Hintergrund arbeitet. Rechtlich zählt vor allem die Wirkung auf Betroffene.
Die DSGVO kennt dafür den Rahmen der automatisierten Einzelentscheidung einschließlich Profiling. Profiling meint jede automatisierte Verarbeitung personenbezogener Daten, mit der persönliche Aspekte bewertet werden, etwa Zuverlässigkeit, Arbeitsleistung, wirtschaftliche Lage oder Verhalten. Nicht jedes Profiling ist verboten, aber es wird kritisch, wenn daraus Ablehnungen, Priorisierungen oder intensive Eingriffe entstehen.
Für die Praxis ist wichtig: Eine Entscheidung ist nicht schon deshalb „menschlich“, weil jemand am Ende auf einen Button klickt. Eine echte Kontrolle verlangt, dass die Person den Fall versteht, Abweichungen prüfen kann und die Empfehlung auch tatsächlich zurückweisen darf. Wo diese Kontrolle fehlt, wird ein vermeintlich unterstützendes System schnell zur automatisierten Entscheidung.
Gerade im Mittelstand und in Verwaltungen entsteht das Risiko oft schleichend. Ein System beginnt als Assistenz, wird dann zum Standardfilter und ersetzt am Ende faktisch die Einzelfallprüfung. Dieser Übergang ist organisatorisch relevanter als die technische Architektur.
Wann die DSGVO eine rote Linie zieht
Die DSGVO setzt dort eine klare Grenze, wo ausschließlich automatisierte Entscheidungen rechtliche oder ähnlich erhebliche Wirkungen entfalten. Solche Wirkungen können etwa die Ablehnung einer Bewerbung, die Verweigerung eines Vertrags, eine Leistungsentscheidung oder eine gravierende Priorisierung sein.
Die Kernfrage lautet daher nicht nur: „Wird KI eingesetzt?“ Sondern vor allem: „Entsteht eine Entscheidung ohne wirksame menschliche Prüfung?“ Wenn ja, ist der Einsatz nur unter engen Voraussetzungen zulässig. Dazu gehören je nach Fall eine gesetzliche Grundlage, vertragliche Erforderlichkeit oder eine ausdrückliche Einwilligung. Selbst dann bleiben zusätzliche Schutzmaßnahmen notwendig.
Dazu zählen nachvollziehbare Verfahren, die Möglichkeit zur Anfechtung, menschliches Eingreifen und transparente Informationen gegenüber Betroffenen. Wer nur allgemein erklärt, dass „ein Algorithmus unterstützt“, erfüllt diese Anforderungen meist nicht. Besonders heikel wird es, wenn sensible Daten oder sensible Rückschlüsse betroffen sind, etwa Gesundheit, ethnische Herkunft, politische Überzeugungen oder biometrische Merkmale.
Für viele Organisationen ist außerdem die Datenschutz-Folgenabschätzung relevant. Sie wird typischerweise dann nötig, wenn ein Verfahren voraussichtlich ein hohes Risiko für Rechte und Freiheiten natürlicher Personen mit sich bringt. Bei Scoring, Verhaltensprognosen oder systematischen Bewertungen liegt diese Schwelle oft nahe. Im Umfeld generativer Systeme verschärft sich das, wenn fehlerhafte Zusammenfassungen oder Halluzinationen in reale Personal-, Leistungs- oder Sicherheitsentscheidungen einfließen; im betrieblichen Kontext spielt deshalb auch personenbezogene Modellnutzung eine wichtige Rolle.
- Ist erkennbar, welche Daten in die Bewertung eingehen und ob sie aktuell, korrekt und erforderlich sind?
- Gibt es eine echte menschliche Prüfstelle mit Fachkenntnis und Entscheidungsbefugnis?
- Können Betroffene den Vorgang anfechten und ihren Standpunkt wirksam darlegen?
- Ist dokumentiert, welche Wirkung die Entscheidung für die betroffene Person hat?
- Wurde geprüft, ob eine Datenschutz-Folgenabschätzung erforderlich ist?
- Werden besondere Kategorien personenbezogener Daten ausgeschlossen oder besonders geschützt?
Die Datenschutzkonferenz und europäische Aufsichtsbehörden betonen seit Jahren, dass Transparenz und menschliche Überprüfbarkeit keine bloßen Formalien sind. Wer KI-basierte Vorentscheidungen in Massenverfahren nutzt, sollte deshalb nicht nur die Software, sondern auch den gesamten Entscheidungsprozess prüfen.
Welche Rolle der EU AI Act bei Scoring und Entscheidungssystemen spielt
Der EU AI Act ergänzt die DSGVO, ersetzt sie aber nicht. Er ordnet bestimmte KI-Systeme nach Risiko ein und stellt gerade für besonders eingriffsintensive Anwendungen zusätzliche Anforderungen auf.
Besonders relevant ist die Kategorie der Hochrisiko-KI. Dazu können je nach Einsatzkontext Systeme gehören, die in Beschäftigung, Bildung, kritischer Infrastruktur, Zugang zu wesentlichen Diensten oder in Behördenverfahren eingesetzt werden. Ein Bewerbungsfilter, ein Prüfungsbewertungssystem oder eine Lösung zur Priorisierung sozialrechtlicher Fälle kann daher nicht nur datenschutzrechtlich, sondern auch KI-regulatorisch relevant sein.
Für solche Systeme geht es nicht bloß um eine Risikoabwägung im Alltag, sondern um strukturierte Pflichten. Dazu zählen ein Risikomanagementsystem, Daten- und Daten-Governance-Anforderungen, technische Dokumentation, Protokollierung, menschliche Aufsicht und ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit. Wer ein System betreibt, darf sich also nicht darauf beschränken, auf Herstellerangaben zu vertrauen.
Gerade öffentliche Stellen müssen zusätzlich die Grundrechtsdimension mitdenken. Wenn ein KI-System über Leistungen, Kontrollen oder Zugangschancen mitbestimmt, reicht technische Genauigkeit allein nicht aus. Die Frage ist dann, ob das Verfahren fair, nachvollziehbar und verhältnismäßig ist. In diesem Zusammenhang gewinnt auch die FRIA (Fundamental Rights Impact Assessment – Grundrechte-Folgenabschätzung) an Bedeutung, soweit der Rechtsrahmen sie für bestimmte Einsätze vorsieht.
| Rechtsrahmen | Worauf er schaut | Typische Frage im Alltag |
|---|---|---|
| DSGVO | Personenbezogene Daten, Profiling, Rechte der Betroffenen | Darf die Entscheidung so getroffen werden und sind Betroffenenrechte gewahrt? |
| EU AI Act | Risikoklasse des KI-Systems, technische und organisatorische Pflichten | Fällt das System in eine regulierte Kategorie und ist es entsprechend dokumentiert? |
| Fachrecht und Verwaltungsrecht | Materielle Zulässigkeit des Verfahrens im jeweiligen Sektor | Darf diese Stelle so entscheiden und ist das Verfahren verhältnismäßig? |
| Arbeits- und Mitbestimmungsrecht | Einsatz im Beschäftigungskontext, Beteiligung von Interessenvertretungen | Ist der Einsatz im Betrieb zulässig und korrekt eingeführt? |
In der Praxis müssen diese Ebenen zusammen betrachtet werden. Ein datenschutzrechtlich schlecht begründetes System wird auch durch AI-Act-Dokumente nicht sauber. Umgekehrt genügt eine Datenschutzerklärung nicht, wenn das System als regulierte KI mit zusätzlichen Pflichten betrieben wird; bei Einstufungsfragen hilft oft die saubere Trennung zwischen regulierten Einsatzfällen und bloßer Assistenz.
Warum menschliche Aufsicht oft nur auf dem Papier existiert
Menschliche Aufsicht ist nur dann wirksam, wenn sie reale Korrekturmacht besitzt. Viele Organisationen scheitern nicht an fehlenden Regeln, sondern daran, dass die Aufsicht in Tempo, Arbeitslast und Interface-Design praktisch ausgehöhlt wird.
Typisch ist das Muster eines „Human in the Loop“, der hunderte Fälle pro Stunde bestätigt. Wenn die Oberfläche nur eine Empfehlung anzeigt, aber keine Datenbasis, keine Unsicherheiten und keine Gegenindikatoren, ist die Prüfung kaum mehr als ein Ritual. Noch problematischer wird es, wenn Beschäftigte implizit daran gemessen werden, den Systemvorschlag möglichst selten zu ändern.
Auch psychologische Effekte spielen eine Rolle. Menschen neigen dazu, maschinellen Empfehlungen zu vertrauen, selbst wenn deren Fehlerquote bekannt ist. Dieser Automationsbias verstärkt sich, wenn das System mit scheinbar präzisen Scores, Ampeln oder Formulierungen arbeitet. Die Folge: Aus einer assistierten Entscheidung wird faktisch eine automatisierte Entscheidung, obwohl formal eine Person beteiligt bleibt.
Eine belastbare Aufsicht braucht deshalb mindestens drei Dinge: verständliche Begründungen, Zeit für Abweichungen und klare Eskalationswege. Sinnvoll ist außerdem, Fehlerfälle systematisch zu sammeln. Das reduziert nicht nur Rechtsrisiken, sondern verbessert die Organisation insgesamt. Ähnliche Muster zeigen sich bei Sicherheitsfragen, wenn manipulierte Eingaben unbemerkt in reale Entscheidungen durchschlagen.
Für Anbieter und Betreiber folgt daraus ein einfacher, aber oft vernachlässigter Punkt: Die Frage ist nicht, ob irgendwo ein Mensch beteiligt ist, sondern ob die menschliche Beteiligung unter realen Bedingungen wirksam bleibt. Diese Differenz entscheidet häufig darüber, ob ein Verfahren vertretbar ist oder in eine rote Zone rutscht.
Wo die größten Risiken für Unternehmen und Behörden liegen
Die größten Risiken entstehen selten durch spektakuläre Fehlfunktionen, sondern durch alltägliche Routineentscheidungen in großer Zahl. Wo KI Personen sortiert, priorisiert oder verdächtig erscheinen lässt, können Fehler systematisch werden.
Ein zentrales Risiko ist Diskriminierung. Modelle lernen aus historischen Daten, und diese Daten spiegeln oft frühere Ungleichbehandlungen wider. Das betrifft nicht nur klassische Merkmale wie Geschlecht oder Herkunft, sondern auch Stellvertretermerkmale, etwa Wohnort, Erwerbsbiografie oder Sprachmuster. Ein System kann dadurch formal neutral wirken und dennoch benachteiligende Effekte erzeugen; gerade deshalb ist verzerrte Datenbasis kein Randthema.
Ein zweites Risiko ist mangelnde Nachvollziehbarkeit. Gerade bei komplexen Modellen oder bei der Kombination mehrerer Systeme ist später oft unklar, warum ein Fall negativ ausfiel. Ohne Protokollierung und saubere Prozessdokumentation wird es schwer, Beschwerden zu bearbeiten, Fehler zu korrigieren oder Verantwortlichkeiten zu klären.
Drittens können Sicherheitsprobleme die Entscheidung verfälschen. Manipulierte Eingabedaten, unkontrollierte Schnittstellen oder schwache Rechteverwaltung verändern Ergebnisse, ohne dass dies sofort auffällt. In regulierten Bereichen berührt das nicht nur Datenschutz und KI-Recht, sondern auch Informationssicherheit nach Standards von BSI, ENISA oder internen Kontrollsystemen.
Viertens drohen Reputations- und Vertrauensschäden. Eine einzelne falsche Ablehnung ist ärgerlich; eine Serie fehlerhafter Entscheidungen in Bewerbungsverfahren, Sozialleistungen oder Kundenprüfungen kann dagegen das Vertrauen in die gesamte Organisation beschädigen. Bei Behörden kommt hinzu, dass Grundrechte, Gleichbehandlung und Begründungspflichten besonders sichtbar betroffen sind.
Wie eine belastbare Prüfung vor dem Einsatz aussieht
Vor dem Einsatz zählt weniger die Frage, wie modern das Modell ist, sondern ob der Anwendungsfall organisatorisch beherrscht wird. Eine gute Vorprüfung verbindet Datenschutz, Fachprozess, IT-Sicherheit und Governance statt nur die Einkaufsentscheidung abzuhaken.
Am Anfang steht die Zweckklärung. Es muss klar sein, welches Problem gelöst werden soll, welche Daten dafür erforderlich sind und welche Wirkung das Ergebnis auf Betroffene hat. Danach folgt die Einstufung: Handelt es sich nur um Assistenz, um ein Scoring ohne erhebliche Wirkung oder um eine Entscheidung mit spürbaren Folgen? Erst auf dieser Basis lassen sich DSGVO- und AI-Act-Fragen sinnvoll prüfen.
Danach sollten Rollen und Verantwortlichkeiten feststehen. Wer ist Anbieter, wer Betreiber, wer prüft Datenschutz, wer bewertet Sicherheitsrisiken, wer bearbeitet Beschwerden? Bei eingekauften Systemen ist außerdem wichtig, welche Nachweise der Hersteller liefert und welche Lücken die nutzende Organisation selbst schließen muss.
- Ist der Zweck des Systems eng beschrieben und von bloßer Bequemlichkeit abgegrenzt?
- Ist dokumentiert, ob die Ergebnisse rechtliche oder ähnlich erhebliche Wirkungen für Personen haben?
- Gibt es eine nachvollziehbare Begründung, warum Datenquellen geeignet und erforderlich sind?
- Sind Qualitätskontrollen, Fehlerraten und bekannte Grenzen des Modells festgehalten?
- Stehen Verfahren für Widerspruch, Korrektur und menschliche Neubewertung bereit?
- Ist geklärt, ob Datenschutz-Folgenabschätzung, Grundrechteprüfung oder weitere sektorale Prüfungen nötig sind?
- Sind Protokollierung, Berechtigungen und Sicherheitsmaßnahmen technisch umgesetzt?
Diese Prüfung ist kein einmaliger Akt. Modelle, Datenquellen und Einsatzkontexte ändern sich. Wer KI im laufenden Betrieb nutzt, braucht deshalb Monitoring, Incident-Prozesse und regelmäßige Neubewertungen. Das deckt sich auch mit Ansätzen wie dem NIST AI RMF, das Risiken nicht als statische Eigenschaft des Modells versteht, sondern als Ergebnis aus Technik, Kontext und Nutzung.
Gilt das auch für generative KI, Chatbots und interne Assistenten?
Ja, auch generative KI kann in den Bereich automatisierter Entscheidungen hineinwachsen. Nicht der Chatbot als solcher ist das Problem, sondern die Wirkung seiner Antworten im Entscheidungsprozess.
Ein internes System, das Bewerbungen zusammenfasst, Gesprächsnotizen bewertet oder Verdachtsmomente formuliert, trifft vielleicht noch keine Endentscheidung. Wenn diese Ausgaben aber regelmäßig ungeprüft übernommen werden, entsteht faktisch dieselbe Wirkung wie bei einem klassischen Scoring-Modell. Das gilt besonders dann, wenn generative Systeme Wahrscheinlichkeiten in scheinbar sichere Aussagen übersetzen.
Hinzu kommt ein Qualitätsproblem: Generative Modelle können halluzinieren, also Inhalte überzeugend formulieren, die sachlich nicht belegt sind. In administrativen oder personalbezogenen Verfahren ist das besonders riskant, weil aus sprachlich glatten Fehlern reale Nachteile für Menschen entstehen können. Die Aufsichtspraxis schaut deshalb weniger auf die Oberfläche des Tools und stärker auf die Einbindung in den Gesamtprozess.
Reicht ein Hinweis, dass die KI nur unterstützt?
Nein, ein bloßer Hinweis genügt meist nicht. Entscheidend ist, ob Menschen die Ausgabe nachvollziehen, korrigieren und gegebenenfalls verwerfen können. Wo die Organisation faktisch auf den KI-Vorschlag vertraut, hilft eine formale Distanzierung wenig.
Sind interne Systeme weniger problematisch als externe?
Nicht automatisch. Interne Systeme betreffen oft Beschäftigte, Bewerber:innen oder Bürger:innen und verarbeiten damit besonders sensible Kontexte. Dass ein Tool nur intern läuft, reduziert Sichtbarkeit nach außen, aber nicht die möglichen Eingriffe in Rechte und Chancen.
Kann ein Anbieter die Verantwortung vollständig übernehmen?
In der Regel nein. Herstellerpflichten und Betreiberpflichten greifen nebeneinander. Wer ein System einsetzt, bleibt für den konkreten Einsatzkontext, die Datenflüsse und den Entscheidungsprozess verantwortlich.
Automatisierte Entscheidungen mit KI sind rechtlich und organisatorisch vor allem dort kritisch, wo Bewertungen in reale Nachteile oder Zugangsentscheidungen münden. Maßgeblich ist nicht das Etikett des Tools, sondern ob menschliche Kontrolle wirksam bleibt, Daten geeignet sind und Betroffenenrechte praktisch funktionieren. DSGVO, EU AI Act, Fachrecht und Sicherheitsanforderungen greifen dabei oft gleichzeitig. Wer diese Ebenen trennt, unterschätzt das Risiko; wer sie zusammen betrachtet, erkennt früher, wo KI nur assistiert und wo sie faktisch entscheidet.
Hinweis: Dieser Beitrag bietet allgemeine Information zu KI-Risiken und Regulierung und ersetzt keine Rechtsberatung. Konkrete Pflichten, Bußgeldhöhen und Geltungstermine können sich ändern und im Einzelfall abweichen. Für verbindliche Auskünfte ist eine fachkundige Prüfung durch Anwält:innen oder Datenschutzbeauftragte erforderlich. Der Artikel wurde mit KI-Unterstützung erstellt und redaktionell geprüft.
