Sicherheit von KI-Agenten: Lehren aus dem Vorfall bei Hugging Face

01. Berechtigungen außerhalb des Modells durchsetzen

Die Fähigkeit, eine Aktion auszuführen, bedeutet nicht, dass ein Agent dazu berechtigt ist. Eine Anweisung kann zwar zulässiges Verhalten beschreiben, ersetzt jedoch keine Zugriffskontrollen. Gewähren Sie Agenten nur die für ihre Aufgaben erforderlichen Berechtigungen, wobei die Einschränkungen unabhängig vom Modell durchgesetzt werden. Ein Agent sollte nicht in der Lage sein, seinen eigenen Zugriff zu erweitern oder die ihn überwachenden Kontrollen zu deaktivieren. Die Identitäts- und privilegierte Zugriffsverwaltung hilft dabei, diese Grenzen festzulegen.

02. Weisen Sie jedem Agenten eine Identität und einen Eigentümer zu

Jeder Produktionsagent benötigt eine eigene Identität, einen dokumentierten Zweck und einen namentlich benannten Geschäftsinhaber. Es ist wichtig, die geschäftliche Verantwortlichkeit von den Aufgaben in den Bereichen Entwicklung und Verwaltung zu unterscheiden: Wer genehmigt den Auftrag, wer pflegt ihn und wer kann eingreifen? Organisationen sollten in der Lage sein, Maßnahmen bis zum Agenten, dem initiierenden Nutzer und dem jeweiligen Durchlauf zurückzuverfolgen. Eine klare Zuständigkeitsverteilung verbindet die KI-Governance und den KI-Einsatz mit den alltäglichen operativen Entscheidungen.

03. Agenten über ihren gesamten Lebenszyklus hinweg verwalten

Rob vergleicht nicht verwaltete Agenten mit den selbst erstellten Datenbanken der 1990er Jahre: schnelle Lösungen, die geschäftskritisch wurden, ohne dass klare Zuständigkeiten oder eine Dokumentation vorlagen. Überprüfen Sie den Zweck und die Berechtigungen eines Agenten, wenn sich Zuständigkeiten ändern, übertragen Sie die Verantwortung, wenn dessen Ersteller das Unternehmen verlässt, und entziehen Sie ihm den Zugriff, wenn er außer Betrieb genommen wird. Bei Prozessen im Zusammenhang mit Neueinstellungen, Versetzungen und Austritten sollten diese digitalen Identitäten ebenso berücksichtigt werden wie die dafür verantwortlichen Personen.

04. Überwachung mit Eindämmung verknüpfen

Das Erkennen verdächtiger Aktivitäten ist nur dann sinnvoll, wenn das Unternehmen darauf reagieren kann. Teams benötigen Einblick darin, was ein Agent tut, auf welche Systeme er zugreifen kann und welche Aufgaben er delegiert hat. Außerdem benötigen sie eine bewährte Methode, um Aktivitäten zu unterbinden, Zugriffsrechte zu entziehen und davon abhängige Prozesse einzudämmen. Eine effektive Erkennung und Reaktion auf Vorfälle verbindet Warnmeldungen mit klaren Zuständigkeiten und praktischen Maßnahmen.

05. Technische Risiken und regulatorische Verpflichtungen gegeneinander abwägen

Bei der Einstufung als „hohes Risiko“ im Rahmen des EU-KI-Gesetzes werden der Verwendungszweck eines KI-Systems und die geltenden Einstufungskriterien berücksichtigt. Wie in den Einstufungsleitlinien der Europäischen Kommission erläutert, handelt es sich dabei nicht um einen direkten Maßstab dafür, inwieweit ein Akteur Zugriff auf die Produktion hat. Organisationen müssen zudem bewerten, was ein Akteur lesen, ändern oder auslösen kann, sowie die Folgen, die entstehen, wenn er außerhalb seines Mandats handelt. Die regulatorische Bewertung und die technische Risikobewertung erfordern eine klare Rechenschaftspflicht.

06. Eine sinnvolle menschliche Kontrolle gewährleisten

Die menschliche Aufsicht erfordert Mitarbeiter, die über die erforderlichen Fähigkeiten, die Zeit und die Befugnisse verfügen, um die Handlungen eines Agenten zu hinterfragen. Die Umfrage von Orgvue aus dem Jahr 2025 ergab, dass 55 % der Befragten, die KI-bedingte Entlassungen vorgenommen hatten, der Meinung waren, sie hätten dabei falsche Entscheidungen getroffen. Unabhängig davon berichtete Robert Half, dass 32 % der US-Personalverantwortlichen, die eine Stelle vor allem aufgrund von KI gestrichen hatten, später wieder jemanden für dieselbe oder eine ähnliche Position einstellten. Machen Sie sich klar, welche Aufsicht Ihr Betriebsmodell erfordert, bevor Sie die Mitarbeiter entlassen, die diese Aufsicht gewährleisten.