Der Einsatz Künstlicher Intelligenz in Rathäusern, Stadtwerken und kommunalen Unternehmen geht längst über Textgenerierung und Chatbots hinaus. Immer mehr Verwaltungen, Eigenbetriebe und kommunale IT-Dienstleister prüfen oder nutzen bereits sogenannte KI-Agenten, die eigenständig auf Systeme zugreifen, Daten verarbeiten und Aktionen auslösen. Dass dieses Potenzial ein erhebliches Sicherheitsrisiko mitbringt, zeigt ein Vorfall aus dem vergangenen Jahr. Der US-Unternehmer Jason Lemkin testete einen KI-Coding-Agenten der Plattform Replit für die Entwicklung einer Anwendung. Obwohl er dem System ausdrücklich untersagt hatte, Änderungen vorzunehmen, löschte der Agent eine komplette Produktionsdatenbank mit mehr als 2.400 Datensätzen. Anschließend versuchte die KI, den Datenverlust zu verschleiern. Der Fall wurde in der IT-Sicherheitsbranche breit diskutiert.
Jaber Kakar, Bereichsleiter Informationssicherheit bei der ML Gruppe, beschreibt die Verschiebung so: Solange KI nur antworte, stehe die Qualität der Antwort im Vordergrund. Sobald KI handele, komme die Sicherheit der daraus folgenden Aktion hinzu. Die ML Gruppe, seit über 35 Jahren exklusiver Bildungspartner der Bundeswehr und mit mehr als 400 Experten einer der führenden Bildungsdienstleister für Großorganisationen, berät Unternehmen und öffentliche Auftraggeber auch beim sicheren Einsatz von KI.
Der Unterschied zwischen einem klassischen Chatbot und einem KI-Agenten liegt im Handlungsspielraum. Ein Chatbot erzeugt auf eine Frage einen Text oder eine Empfehlung. Was damit geschieht, entscheidet der Mensch. Ein KI-Agent verfolgt dagegen ein vorgegebenes Ziel eigenständig, greift dafür auf Daten und Werkzeuge zu und führt Aktionen aus. Im kommunalen Umfeld heißt das etwa: automatisierte Störungsbearbeitung im Netzbetrieb eines Stadtwerks, Ticket-Priorisierung in der IT, Abfragen an Fachverfahren in der Verwaltung oder die Vorbereitung von Beschlussvorlagen. In einer Kernverwaltung greift ein solcher Agent unter Umständen auf Melde-, Sozial- oder Ausländerdaten zu, im Stadtwerk auf Netzbetriebssysteme und Kundendatenbanken. Hat ein solcher Agent Zugriff auf produktive Systeme und die entsprechenden Berechtigungen, haben Fehler unmittelbare Konsequenzen.
Die internationale Sicherheitsgemeinschaft hat das erkannt. Im Mai 2026 veröffentlichten sechs nationale Cybersicherheitsbehörden unter Federführung der US-Behörde CISA das gemeinsame Leitliniendokument „Careful Adoption of Agentic AI Services“. CISA, NSA, die britische, australische, kanadische und neuseeländische Cybersicherheitsbehörde forderten darin, KI-Agenten wie privilegierte Identitäten zu behandeln und deren Zugriffe strikt nach dem Least-Privilege-Prinzip zu begrenzen. Es war die erste koordinierte multinationale Sicherheitsempfehlung, die sich gezielt an Betreiber agentischer KI-Systeme richtete, ausdrücklich auch an Betreiber kritischer Infrastruktur.
Im Juni 2026 folgte eine gemeinsame Warnung der Five-Eyes-Geheimdienstallianz, die weit über agentische KI hinausging. Die Behörden erklärten, sogenannte Frontier-KI-Modelle veränderten die Bedrohungslage grundlegend und schneller als erwartet. Das Zeitfenster zwischen der Entdeckung einer Sicherheitslücke und ihrer Ausnutzung werde durch KI drastisch verkürzt.
Parallel dazu veröffentlichte die IT-Sicherheitsorganisation OWASP im Dezember 2025 erstmals eine eigene Top-10-Liste für agentische KI-Anwendungen. Mehr als 100 Fachleute hatten daran mitgearbeitet. Die OWASP-Liste katalogisiert die zehn kritischsten Sicherheitsrisiken, die entstehen, wenn KI-Systeme eigenständig planen, auf Werkzeuge zugreifen, Entscheidungen treffen und mit anderen Agenten kommunizieren.
Für Verwaltungen, Stadtwerke und kommunale Unternehmen sind vor allem vier der dort benannten Risiken relevant. Erstens: Manipulierte Inhalte oder Anweisungen, die das Verhalten eines Agenten gezielt verändern. Zweitens: Der Missbrauch von Werkzeugen, auf die ein Agent zugreift, für andere als die vorgesehenen Zwecke. Drittens: Zu weitreichende Zugriffsrechte, die einem Agenten Zugang zu Daten oder Funktionen verschaffen, die er für seine eigentliche Aufgabe nicht braucht. Viertens: Fehler, die sich über mehrere vernetzte Systeme fortsetzen, weil ein Agent falsche Informationen oder Aktionen an nachgelagerte Prozesse weitergibt.
Das Risiko eines KI-Agenten hängt deshalb nicht allein von der Leistungsfähigkeit des zugrundeliegenden Modells ab. Entscheidend sei, so Kakar, worauf der Agent zugreifen und was er dort auslösen könne. Berechtigungen, Zugriffsmöglichkeiten und Autonomie müssten bereits vor dem produktiven Einsatz begrenzt werden.
Kakar empfiehlt sechs Schutzmaßnahmen. Ein zentrales Inventar aller aktiven KI-Agenten verschaffe Überblick darüber, wer verantwortlich sei und welche Zugriffe bestünden. Die konsequente Vergabe nur der tatsächlich benötigten Rechte verhindere, dass ein Agent auf Daten oder Funktionen zugreife, die über seine Aufgabe hinausgingen. Technische Leitplanken, sogenannte Guardrails, setzten Grenzen für das Verhalten eines Agenten, etwa durch Aktionslimits oder Freigabeschwellen. Für kritische oder nicht rückgängig zu machende Aktionen empfehle sich eine menschliche Freigabe, ein Human-in-the-loop. Logging und Monitoring machten nachvollziehbar, welche Werkzeuge ein Agent aufgerufen, auf welche Daten er zugegriffen und welche Aktionen er ausgeführt habe. Und für den Fall, dass ein Agent unerwartet handele, gehöre ein Notfallplan in die bestehende Incident Response, einschließlich der Möglichkeit, einen Agenten sofort zu deaktivieren.
In Verwaltungen mit Zugang zu sensiblen personenbezogenen Daten und in Stadtwerken mit Zugriff auf Versorgungsnetze oder KRITIS-relevante Prozesse wiegen die Folgen einer Fehlkonfiguration besonders schwer. Ein Agent, der in einer Ausländerbehörde Vorgänge falsch zuordnet, oder ein Agent, der im Netzbetrieb eine Störungsmeldung eigenständig in eine Systemänderung übersetzt, betrifft im Zweifel unmittelbar den laufenden Betrieb und die betroffenen Bürgerinnen und Bürger.
Technische Schutzmaßnahmen allein reichen nach Kakars Einschätzung allerdings nicht aus. Verantwortliche müssten einschätzen, welche Autonomie für einen konkreten Anwendungsfall vertretbar sei, wann menschliche Kontrolle notwendig werde und wie bei einem Vorfall zu reagieren sei. Die ML Gruppe unterstützt Unternehmen und öffentliche Auftraggeber dabei mit Weiterbildungen zu KI, Informationssicherheit und Cyber Defence. Aus der Zusammenarbeit mit der Bundeswehr, für die die Gruppe unter anderem die kompetenzorientierte Ausbildung von rund 10.000 Soldatinnen und Soldaten getragen hat, bringt sie Erfahrung im Umgang mit sicherheitskritischen Umgebungen mit. (DEKOM, 19.10.2026) ML-Magazin-Artikel hier…
