Wer KI-Systeme für Verwaltung, Bildung, Gesundheit oder kommunale Dienste beschafft, kauft nicht nur Software ein, sondern auch Risiken, Pflichten und Abhängigkeiten mit ein. Im Vergaberecht reicht es deshalb nicht, Funktionen zu vergleichen: Öffentliche Auftraggeber müssen Anforderungen an Rechtmäßigkeit, Sicherheit, Dokumentation und kontrollierbaren Betrieb früh in die Beschaffung übersetzen.
Warum KI-Beschaffung im Vergaberecht mehr ist als ein normaler Softwarekauf
Die zentrale Besonderheit liegt darin, dass KI-Systeme ihr Risiko oft nicht nur aus dem Produkt selbst, sondern aus Daten, Einsatzkontext und nachgelagerten Entscheidungen beziehen. Eine Ausschreibung, die nur Leistungsmerkmale beschreibt, greift deshalb zu kurz.
Klassische Software lässt sich häufig über Funktionslisten, Schnittstellen und Service-Level relativ klar bewerten. Bei KI kommen zusätzliche Fragen hinzu: Woher stammen Trainingsdaten? Wie verlässlich sind Ausgaben? Wie werden Fehler erkannt? Welche menschliche Aufsicht ist vorgesehen? Gerade bei generativer KI, Scoring-Systemen oder automatisierter Priorisierung ist die Qualität nicht allein durch einen Feature-Katalog erfassbar.
Für öffentliche Stellen ist das relevant, weil Beschaffungsvorgänge später an Haushaltsrecht, Vergaberecht, Datenschutz und Fachrecht messbar sind. Wenn etwa ein System Bürgeranliegen vorsortiert, Anträge bewertet oder interne Vorgänge zusammenfasst, kann die spätere Nutzung in die Nähe von Grundrechtsfragen, Diskriminierungsrisiken oder unzulässiger Automatisierung rücken. Was in der Vergabe nicht abgefragt wurde, lässt sich im Betrieb oft nur noch teuer oder gar nicht korrigieren.
Hinzu kommt ein praktisches Problem: Anbieter vermarkten KI gern als flexibel lernend, adaptiv und schnell integrierbar. Für die Vergabe braucht die Verwaltung aber präzise, überprüfbare Anforderungen. Zwischen diesen beiden Logiken entsteht Reibung. Genau deshalb sollte die Leistungsbeschreibung nicht nur Ergebnisse, sondern auch Nachweise, Rollen, Protokollierung, Änderungsmanagement und Exit-Szenarien erfassen.
Welche Rechtsrahmen bei KI-Beschaffung zusammenwirken
Bei der Beschaffung von KI greifen mehrere Rechtsrahmen gleichzeitig. Vergaberecht entscheidet über das Verfahren, aber DSGVO, IT-Sicherheitsrecht und der EU AI Act prägen die fachlichen Mindestanforderungen an das System.
Das Vergaberecht verlangt eine diskriminierungsfreie, transparente und wirtschaftliche Beschaffung. Öffentliche Stellen müssen den Auftragsgegenstand so beschreiben, dass Wettbewerb möglich bleibt und Entscheidungen nachvollziehbar sind. Bei KI ist das schwieriger, weil proprietäre Modelle, Black-Box-Anteile und laufende Modellupdates die Vergleichbarkeit erschweren können.
Datenschutzrechtlich ist vor allem relevant, ob personenbezogene Daten verarbeitet werden, zu welchen Zwecken das geschieht und ob eine Rechtsgrundlage vorliegt. Bei sensiblen oder umfangreichen Verarbeitungen kann eine Datenschutz-Folgenabschätzung nötig sein. Wer generative Systeme mit echten Bürgerdaten testet, ohne Rollen, Speicherorte und Löschkonzepte zu klären, schafft schon vor dem Zuschlag ein Risiko. Im Zusammenspiel mit personenbezogenen KI-Eingaben zeigt sich schnell, dass Datenschutz keine nachträgliche Betriebsfrage ist.
Der EU AI Act ist zusätzlich relevant, wenn das beschaffte System in verbotene Praktiken fällt, als Hochrisiko-KI einzuordnen ist oder Transparenzpflichten auslöst. Öffentliche Stellen sind nicht automatisch nur Zuschauer: Je nach Rolle können sie als Betreiber eines KI-Systems Pflichten treffen. In bestimmten Konstellationen kann auch eine Grundrechte-Perspektive erforderlich sein, insbesondere wenn das System Entscheidungen mit Auswirkungen auf Zugang, Leistungen oder Teilhabe strukturiert.
Daneben spielen das BSI-Grundschutzdenken, NIS-2-nahe Sicherheitsanforderungen in betroffenen Einrichtungen, Barrierefreiheit, Archivierungs- und Dokumentationspflichten sowie sektorspezifische Regeln eine Rolle. Wer KI beschafft, sollte deshalb nicht nur das Vergabeteam, sondern Datenschutz, IT-Sicherheit, Fachbereich und gegebenenfalls Personalvertretung früh einbinden.
| Rechtsrahmen | Worum es bei KI-Beschaffung geht | Typische Frage in der Ausschreibung |
|---|---|---|
| Vergaberecht | Transparenz, Wettbewerb, Eignung, Zuschlagskriterien | Welche Anforderungen sind objektiv prüfbar? |
| DSGVO/BDSG | Rechtsgrundlage, Datenminimierung, Rollen, Speicherorte | Welche personenbezogenen Daten werden verarbeitet? |
| EU AI Act | Risikoklasse, Transparenz, Betreiberpflichten, Dokumentation | Ist das System als Hochrisiko-KI einsetzbar? |
| IT-Sicherheit | Zugriffsschutz, Protokollierung, Lieferkette, Resilienz | Wie wird das System gegen Missbrauch abgesichert? |
Wie öffentliche Auftraggeber KI-Leistungen sauber beschreiben können
Eine gute Leistungsbeschreibung für KI benennt nicht nur Funktionen, sondern auch Grenzen, Nachweise und Betriebsbedingungen. Gerade bei lernenden oder generativen Systemen schützt Präzision vor späteren Streitigkeiten.
In der Praxis sollte zunächst der konkrete Einsatzzweck abgegrenzt werden. Ein interner Recherche-Assistent ist vergaberechtlich und risikoseitig etwas anderes als ein System, das Bürgeranträge priorisiert oder Verdachtsfälle markiert. Ohne klare Zweckbeschreibung drohen Ausschreibungen, in denen Anbieter völlig unterschiedliche Lösungen anbieten und Angebote deshalb kaum fair vergleichbar sind.
Sinnvoll ist außerdem, Anforderungen in drei Ebenen aufzuteilen: Muss-Kriterien, bewertbare Qualitätskriterien und Betriebsanforderungen. Muss-Kriterien können etwa Datenhaltung im vereinbarten Raum, Protokollierung, Rollen- und Rechtemanagement oder klare Löschpfade sein. Qualitätskriterien können Nachvollziehbarkeit der Ergebnisse, Fehlerbehandlung oder Güte von Monitoring-Funktionen betreffen. Betriebsanforderungen umfassen Support, Updates, Dokumentation, Incident-Prozesse und Exit-Möglichkeiten.
Bei generativen Systemen sollten Auftraggeber ausdrücklich festhalten, ob Trainings- oder Eingabedaten zur Modellverbesserung verwendet werden dürfen. Ebenfalls wichtig ist, ob Subunternehmer oder Cloud-Dienste eingebunden sind und wie Änderungen am Modell kommuniziert werden. Ein System, das sich technisch fortlaufend verändert, muss nicht unzulässig sein, aber die Veränderung muss vergabeseitig beherrschbar bleiben.
- Ist der konkrete Einsatzzweck fachlich eng genug beschrieben?
- Sind Anforderungen an Datenverarbeitung, Speicherort und Löschung als Muss-Kriterien formuliert?
- Werden Nachweise zu Dokumentation, Testbarkeit und menschlicher Aufsicht verlangt?
- Sind Modellupdates, Subdienstleister und Schnittstellen vertraglich transparent geregelt?
- Ist der Ausstieg aus dem System ohne unzumutbare Herstellerbindung möglich?
- Sind Qualitätskriterien so formuliert, dass Angebote objektiv vergleichbar bleiben?
Wann wird die Risikoklasse des Systems für die Vergabe entscheidend?
Die Risikoklasse eines KI-Systems ist keine abstrakte Rechtsfrage, sondern beeinflusst direkt, was öffentliche Stellen in die Vergabe aufnehmen sollten. Besonders bei Hochrisiko-KI steigen Anforderungen an Dokumentation, Aufsicht und Einsatzgrenzen deutlich.
Ein und dieselbe technische Lösung kann je nach Einsatzkontext unterschiedlich relevant sein. Ein Sprachmodell für interne Texthilfe ist anders zu bewerten als ein System, das im Schul-, Sozial- oder Personalbereich Entscheidungen vorbereitet. Öffentliche Auftraggeber müssen deshalb nicht nur nach dem Produktnamen fragen, sondern nach dem konkreten vorgesehenen Anwendungsfall. Das ist auch für die spätere Betreiberrolle wichtig.
Ist ein Hochrisiko-Bezug möglich, sollten Vergabeunterlagen Nachweise zu Risikomanagement, Daten-Governance, menschlicher Aufsicht, Logging und technischer Dokumentation einfordern. Diese Punkte sind nicht bloß Formalien. Sie entscheiden darüber, ob eine Behörde das System im laufenden Betrieb kontrollieren kann oder ob sie auf Aussagen des Herstellers angewiesen bleibt. In der Nähe grundrechtsrelevanter Verfahren wird auch die Verbindung zu einer Grundrechte-Prüfung relevant.
Auch verbotene oder besonders sensible Nutzungen sollten schon in der Vergabe ausgeschlossen werden. Das verhindert, dass Fachbereiche später Funktionen aktivieren, die rechtlich oder organisatorisch nicht abgedeckt sind. Bei biometrischen, verhaltensanalytischen oder besonders eingriffsintensiven Anwendungen ist Zurückhaltung geboten, weil sich die rechtliche Einordnung stark am konkreten Einsatz orientiert.
Für die Praxis bedeutet das: Nicht nur die Softwareklasse, sondern die beabsichtigte Verwendung gehört in die Vergabeakte. Nur dann lässt sich sauber begründen, warum bestimmte Nachweise verlangt oder bestimmte Funktionen ausgeschlossen wurden.
Welche Zuschlagskriterien bei KI sachgerecht sind
Der niedrigste Preis ist bei KI selten das wirtschaftlichste Angebot. Belastbare Zuschlagskriterien müssen Qualität, Steuerbarkeit und Folgekosten erfassen, sonst wird vermeintlich günstige KI im Betrieb teuer.
Geeignet sind Kriterien, die sich prüfen und dokumentieren lassen. Dazu gehören etwa Qualität der technischen Dokumentation, Nachvollziehbarkeit von Ausgaben, Protokollierungsgrad, Umgang mit Fehlklassifikationen, Berechtigungskonzepte, Interoperabilität und Migrationsfähigkeit. Auch die Fähigkeit, Missbrauch abzuwehren, verdient Gewicht. Bei generativen Systemen kann etwa relevant sein, wie der Anbieter mit eingebetteten Manipulationsangriffen umgeht.
Weniger geeignet sind unbestimmte Formulierungen wie „modernste KI“, „hohe Intelligenz“ oder „bestmögliche Automatisierung“. Solche Begriffe fördern Intransparenz und machen Nachprüfungsverfahren wahrscheinlicher. Besser sind Kriterien mit Bewertungsmaßstab, Teststellung und klaren Nachweisen. Wenn ein Chatbot etwa in einem Demo-Szenario Bürgeranfragen zusammenfassen soll, muss definiert sein, welche Fehlerarten als schwerwiegend gelten und wie Halluzinationen bewertet werden.
Vergabestellen sollten zudem Total Cost of Ownership mitdenken. Lizenzkosten sind nur ein Teil des Bildes. Hinzu kommen Datenschutzprüfungen, Anpassungen, Schulung, Monitoring, Sicherheitsmaßnahmen, Nachdokumentation und möglicher Anbieterwechsel. Gerade bei cloudbasierten KI-Diensten kann eine anfänglich niedrige Einstiegsschwelle langfristig in starke Abhängigkeit münden.
Ein kurzer Beschaffungsfall aus der Praxislogik
Eine Kommune schreibt ein KI-System zur Vorsortierung eingehender Bürgeranliegen aus. Der preisgünstigste Anbieter punktet mit schneller Einführung, kann aber weder nachvollziehbare Protokolle noch klare Angaben zu Unterauftragsverarbeitern liefern. Ein teureres Angebot dokumentiert Modellgrenzen, menschliche Freigabeschritte und Löschpfade. Vergaberechtlich kann das zweite Angebot wirtschaftlicher sein, wenn die Zuschlagskriterien diese Qualitätsmerkmale vorab sauber abbilden.
Wie sich Anbieterabhängigkeit, Sicherheit und Auditierbarkeit absichern lassen
Bei KI-Beschaffung ist technische Abhängigkeit ein zentrales Risiko. Öffentliche Stellen sollten deshalb nicht nur den Start, sondern auch Betrieb, Kontrolle und Ausstieg beschaffen.
Vendor Lock-in entsteht bei KI schneller als bei normaler Fachsoftware. Gründe sind proprietäre Modelle, geschlossene Schnittstellen, nicht exportierbare Konfigurationen und unklare Rechte an Protokollen oder Nutzungsdaten. Wenn eine Behörde Leistungen, Prompts, Prüfregeln und Workflows nicht mitnehmen kann, wird ein späterer Wechsel faktisch blockiert. Das ist nicht nur wirtschaftlich problematisch, sondern kann auch Kontrolle und Revisionsfähigkeit einschränken.
Wichtig sind daher vertragliche und technische Vorgaben zur Auditierbarkeit. Dazu zählen aussagekräftige Logs, Informationen über Modelländerungen, Meldewege für Sicherheitsvorfälle, dokumentierte Rollen im Support und exportierbare Datenbestände. In sicherheitsnahen Bereichen sollte zudem geprüft werden, ob das Gesamtsystem in bestehende Sicherheitsarchitekturen passt. Orientierung bieten Ansätze des BSI, von ENISA und, für das Risikomanagement, auch das NIST AI RMF als Rahmenwerk für Governance, Messung und Kontrolle von KI-Risiken.
Ein weiterer Punkt ist die Fähigkeit, Risiken im Betrieb sichtbar zu machen. Wenn Fehlerraten, Eingriffsrechte oder Abschaltmechanismen nicht vorhanden sind, bleibt der Auftraggeber auf Herstellerzusagen angewiesen. Gerade dort, wo Bürgerkontakt, Leistungsgewährung oder interne Priorisierung betroffen sind, ist das zu wenig. Auch die Frage, wer bei einem Fehlverhalten des Systems intern zuständig ist, sollte bereits im Beschaffungsprozess geklärt werden; eine klare Verantwortungszuordnung macht spätere Konflikte beherrschbarer.
Was jetzt in öffentlichen Stellen oft unterschätzt wird
Die größten Probleme entstehen selten an einer einzelnen Norm, sondern an schlechten Schnittstellen zwischen Fachbereich, Einkauf, Datenschutz und IT. KI-Beschaffung scheitert häufig nicht an fehlender Innovation, sondern an fehlender Übersetzung in überprüfbare Anforderungen.
Unterschätzt wird erstens, wie stark sich der rechtliche Charakter eines Systems durch den Nutzungskontext verändert. Dieselbe Technik kann als harmlose Assistenzlösung starten und später in sensible Verwaltungsabläufe hineinwachsen. Zweitens wird die Qualität von Eingabe- und Referenzdaten oft zu spät betrachtet. Schlechte Daten erzeugen nicht nur fachliche Fehler, sondern können auch Diskriminierung oder unzulässige Verzerrungen verstärken, gerade wenn systematische Schieflagen unbemerkt bleiben.
Drittens wird Transparenz häufig mit Offenlegung des Quellcodes verwechselt. Für die Verwaltung ist meist wichtiger, ob Entscheidungen, Grenzen, Protokolle und Zuständigkeiten nachvollziehbar sind. Vollständige technische Offenheit ist nicht immer erreichbar, aber funktionale Rechenschaftspflicht muss erreichbar sein. Viertens werden Testphasen manchmal als rechtsfreier Raum behandelt. Auch Pilotprojekte können personenbezogene Daten, Grundrechtsbezüge und Sicherheitsrisiken auslösen.
Am Ende gilt: Gute KI-Beschaffung ist weniger eine Frage besonderer Innovationsfreude als sauberer Verwaltungsarbeit. Wer Zweck, Risiken, Nachweise und Betriebsmodell präzise festhält, beschafft belastbarer und reduziert spätere Konflikte mit Aufsicht, Rechnungsprüfung und internen Verantwortlichen.
Öffentliche Stellen sollten KI in Vergabeverfahren nicht als gewöhnliche Software behandeln, weil sich Risiken erst im Zusammenspiel von Technik, Daten und Einsatzkontext zeigen. Maßgeblich sind deshalb klare Leistungsbeschreibungen, prüfbare Zuschlagskriterien und früh definierte Anforderungen an Datenschutz, Sicherheit und Nachvollziehbarkeit. Der EU AI Act verschärft diese Perspektive dort, wo Risikoklassen, Transparenzpflichten oder Betreiberrollen relevant werden. Wer diese Fragen schon in der Ausschreibung abbildet, schafft mehr Rechtssicherheit und mehr Kontrolle im späteren Betrieb.
Hinweis: Dieser Beitrag bietet allgemeine Information zu KI-Risiken und Regulierung und ersetzt keine Rechtsberatung. Konkrete Pflichten, Bußgeldhöhen und Geltungstermine können sich ändern und im Einzelfall abweichen. Für verbindliche Auskünfte ist eine fachkundige Prüfung durch Anwält:innen oder Datenschutzbeauftragte erforderlich. Der Artikel wurde mit KI-Unterstützung erstellt und redaktionell geprüft.
