AI-Agents: Aufbau, Möglichkeiten und Risiken autonomer Arbeitsweise

Was ist ein AI-Agent und wodurch unterscheidet er sich von einem Chatbot

Ein Chatbot ist in der Regel auf eine dialogorientierte Antwort ausgerichtet, während ein agentenbasiertes System darauf zielt, ein Ziel über eine Abfolge von Schritten und Rückkopplung zu erreichen. Allerdings ist die Grenze nicht strikt: Ein Chatbot kann Tools aufrufen, und eine normale Automatisierung oder RPA kann einen mehrstufigen Prozess nach festen Regeln ausführen, ohne dass ein Modell die Aktionen selbständig auswählt. Deshalb ist es wichtiger, auf die Architektur, die verfügbaren Aktionen und die Kontrollpunkte zu schauen als auf den Produktnamen.

Für diesen Artikel ist ein AI-Agent ein Softwaresystem, in dem das Modell hilft, die nächsten Schritte auszuwählen, und Tools aufrufen kann, um ein vorgegebenes Ziel zu erreichen. Das ist eine Arbeitsdefinition und kein einheitlicher Standard für alle Bereiche: Unter demselben Namen finden sich unterschiedliche Architekturen. Planung, Zustands-Speicher, Interaktion mit der digitalen Umgebung, Delegation von Aufgaben und der Grad der Autonomie können variieren; nicht jedes dieser Eigenschaften muss bei jedem System vorhanden sein, das als „Agent“ bezeichnet wird.

International AI Safety Report 2025 verknüpft solche Fähigkeiten nicht nur mit dem Modell selbst, sondern auch mit der modellumgebenden Software „scaffolding“. Sie stellt den Modellen Tools bereit, speichert den Aufgabenstatus, organisiert Planungszyklen und hilft, eine Abfolge von Handlungen aufzubauen International AI Safety Report 2025.

Oft ist es gerade dieses Scaffolding, das aus einem Sprachmodell ein agierendes Agentensystem macht. Beispielsweise kann das Modell nicht nur Text für eine E-Mail vorschlagen, sondern auch Daten aus einer erlaubten Quelle abrufen, einen Entwurf erstellen, Pflichtfelder prüfen und die E-Mail zur Genehmigung an eine Person weitergeben. Wenn dem System das Senden erlaubt ist, kann es diese Aktion ebenfalls ausführen – gleichzeitig steigen jedoch die Folgen eines Fehlers.

Wie die Arbeit eines AI-Agents aufgebaut ist

Ein typischer Zyklus umfasst mehrere Stufen:

1. Zielerfassung. Ein Nutzer oder ein anderes System setzt das erwartete Ergebnis und die Einschränkungen.
2. Planung. Der Agent zerlegt das Ziel in eine Abfolge von Teilaufgaben.
3. Tool-Auswahl. Für jeden Schritt kann er Suche, eine Programmierschnittstelle, einen Code-Interpreter, eine Datenbank oder eine andere erlaubte Funktion nutzen.
4. Aktion ausführen. Das System ruft das Tool auf und erhält das Ergebnis.
5. Zwischenzustand prüfen. Der Agent bewertet, ob die Aktion ihn seinem Ziel näherbringt.
6. Plan korrigieren. Bei Bedarf wiederholt er den Zyklus, wählt ein anderes Tool oder fordert eine Entscheidung durch eine Person an.

Dieses Schema bedeutet nicht, dass der Agent die Aufgabe wirklich „versteht“ wie ein Mensch. In der Praxis hängt die Qualität davon ab, wie das Modell, das Software-Scaffolding, die verfügbaren Daten, die Menge der Tools, die Formulierung des Ziels sowie die Kontrollmechanismen zusammenspielen.

Außerdem ist Autonomie kein binäres Merkmal. Ein Agent bereitet nur Empfehlungen vor. Ein anderer kann selbst Dateien lesen, Code ausführen oder Einträge ändern. Ein dritter erhält Zugriff auf finanzielle Vorgänge oder kritische Systeme. Je höher die Befugnisse und der potenzielle Schaden sind, desto strenger müssen die Einschränkungen und die Aufsicht sein.

Anwendungsfälle und Ergebnisse des Berichts von 2025

Agents können dort nützlich sein, wo sich eine Aufgabe in überprüfbare Schritte zerlegen lässt und wo die verfügbaren Aktionen klare Grenzen haben. Mögliche Szenarien umfassen das Suchen und Systematisieren von Informationen, das Erstellen von Entwürfen, Hilfe bei Programmcode, das Bearbeiten typischer Anfragen sowie die Koordination von Abläufen in digitalen Systemen.

International AI Safety Report 2025 beschreibt eine Bewertung auf 77 Aufgaben unterschiedlicher Art und Komplexität – von der Ausnutzung einfacher Schwachstellen von Web-Sites bis hin zum Training von Machine-Learning-Modellen. In der getesteten Konfiguration konnten führende Modelle mit agentenbasiertem Scaffolding fast 40% der Aufgaben erfolgreich erledigen; das Ergebnis war vergleichbar mit dem Ergebnis von Menschen, denen 30 Minuten pro Aufgabe gegeben wurden. Dies ist ein Ergebnis aus einer konkreten Stichprobe und unter experimentellen Bedingungen – keine Bewertung der Genauigkeit von AI-Agents insgesamt International AI Safety Report 2025.

Separat nennt der Bericht ein Ergebnis für eine andere, engere Gruppe von sieben komplexen Aufgaben, die Forschung und Entwicklung im Bereich KI imitieren, zum Beispiel die Optimierung von Netzcode. Bei zwei dieser sieben Aufgaben machte o1 Fortschritte, erreichte jedoch keinen vollständigen Erfolg. Es handelt sich nicht um dieselben 77 Aufgaben, und es geht nicht um zwei vollständig gelöste Aufgaben International AI Safety Report 2025.

Diese Zahlen sollte man als Momentaufnahme der Vergangenheit lesen. Die Studie wird im Bericht dargestellt, veröffentlicht in Januar 2025, und spiegelt konkrete Modelle, agentenbasiertes Scaffolding und Testbedingungen zum Zeitpunkt der Untersuchung wider. Deshalb ist es keine Bewertung der Fähigkeiten der Modelle, die 2026 verfügbar sind, und es erlaubt keine direkte Aussage über die Zuverlässigkeit eines beliebigen Produktionsprozesses.

Ein Benchmark fixiert konkrete Aufgaben, ein Zeitlimit, die Umgebung, Tools und Erfolgskriterien. Im Arbeitsprozess kann ein Agent auf ein mehrdeutiges Ziel, unvollständige Daten, ein unerwartetes Dateiformat, eine veränderte Schnittstelle, konfligierende Anweisungen oder schädlichen Inhalt stoßen. Daher helfen diese Ergebnisse dabei, die getesteten Konfigurationen zu vergleichen, sagen aber allein nichts über die Zuverlässigkeit eines konkreten Arbeitsprozesses voraus.

Warum Autonomie die Folgen von Fehlern verstärkt

Ein Fehler eines Chatbots kann als falscher Text auf dem Bildschirm verbleiben. Ein Fehler eines Agents kann in eine Aktion übergehen: das Ändern einer Datei, das Aufrufen eines externen Dienstes, das Versenden einer Nachricht oder das Ausführen eines Befehls. Wenn ein fehlerhaftes Ergebnis zum Input für den nächsten Schritt wird, kann sich das Problem über die gesamte Kette ausbreiten.

Die wichtigsten Risikokategorien umfassen folgende Bedrohungen.

Fehler in langen Ketten

Auch wenn jeder einzelne Schritt plausibel wirkt, können sich kleine Fehler aufsummieren. Der Agent kann das Ziel falsch interpretieren, das ungeeignete Tool auswählen oder die Ausführung fortsetzen, nachdem ein zweifelhaftes Ergebnis vorliegt. Je länger die Aufgabe, desto mehr Fehlerpunkte gibt es. Wenn mehrere Agents beteiligt sind, kann ein Fehler oder ein kompromittierter Bestandteil eine falsche Entscheidung weiter in der Kette transportieren; deshalb braucht jeder Agent eigene Vertrauensgrenzen und eine Prüfung, bevor die Steuerung übertragen wird OWASP AI Agent Security Cheat Sheet.

Missbräuchliche Nutzung

Ein Nutzer kann dem Agenten absichtlich eine gefährliche Aufgabe übertragen oder versuchen, Beschränkungen zu umgehen. Das Vorhandensein von Tools und eines autonomen Zyklus kann das Ausmaß solcher Handlungen potenziell vergrößern. Das bedeutet nicht, dass jeder Agent für Missbrauch geeignet ist oder dass Schaden unvermeidlich ist: Das Risiko hängt von den Fähigkeiten des Systems, den Zugriffsrechten und den Schutzmaßnahmen ab.

Abfangen über externe Anweisungen

Ein Agent, der mit Webseiten, Dokumenten, E-Mails oder Datenbanken arbeitet, erhält Inhalte aus Quellen, denen man nicht automatisch vertrauen kann. In solchen Inhalten können Anweisungen enthalten sein, die versuchen, sein Verhalten zu ändern, ihn zur Offenlegung von Daten zu bewegen oder ein gefährliches Tool auszulösen.

International AI Safety Report 2025 stellt fest, dass Agents, die lange Aufgaben ausführen, anfällig für schädliche Anweisungen sein können, die während der Arbeit auftauchen. Der Bericht hebt außerdem Risiken durch schädliche Nutzung, Zuverlässigkeitsausfälle und das Abschwächen der menschlichen Kontrolle hervor International AI Safety Report 2025. Es handelt sich dabei um eine Darstellung der Risikokategorien und nicht um die Aussage, dass jeder Agent gegenüber allen Arten von Einflüssen verwundbar ist.

Übermäßige Befugnisse

Wenn einem Agent mehr Tools und Rechte zur Verfügung stehen, als für die Aufgabe nötig sind, haben einzelne Fehler schwerere Folgen. Lesezugriff unterscheidet sich vom Recht, Daten zu ändern; das Erstellen einer Zahlungsvorbereitung unterscheidet sich davon, dass sie selbständig ausgeführt wird; das Anlegen eines Entwurfs unterscheidet sich von einer automatischen Veröffentlichung.

Schwächung der menschlichen Kontrolle

Je seltener eine Person Zwischenentscheidungen überprüft, desto wahrscheinlicher ist es, dass eine falsche Aktion unbemerkt bleibt. Weniger Aufsicht ist nicht immer inakzeptabel, aber sie erhöht die Bedeutung technischer Einschränkungen, des Loggings und des Monitorings.

Wie man die Risiken von AI-Agents senken kann

OWASP ordnet Bedrohungen für AI-Agents dem Einfügen schädlicher Anweisungen, dem Missbrauch von Tools und übermäßigen Befugnissen zu. Die OWASP-Empfehlungen sind eine praxisnahe Orientierung für die Community – kein verbindlicher universeller Standard, keine Garantie, dass Risiken beseitigt werden, und keine Bewertung der Wirksamkeit einer konkreten Implementierung OWASP AI Agent Security Cheat Sheet.

1. Nur die minimal erforderlichen Rechte vergeben

Der Agent sollte nur die Tools, Daten und Berechtigungen erhalten, die für die konkrete Aufgabe nötig sind. Wenn Lesen genügt, sollte kein Schreiben bereitgestellt werden. Wenn eine Operation in einem System ausgeführt wird, ist kein Zugriff auf den restlichen Teil der Infrastruktur erforderlich.

Es ist sinnvoll, Befugnisse nach Rollen und Umgebungen zu trennen, den Geltungsbereich von Anmeldedaten einzuschränken und zeitlich begrenzte Berechtigungen zu verwenden. So lässt sich das potenzielle Schadensausmaß durch einen Fehler oder durch ein abgefangenes Steuern verringern. Berücksichtigen Sie außerdem die Vertraulichkeit gesondert: Daten können in den Kontext des Modells gelangen, an ein angeschlossenes Tool weitergegeben oder im Journal gespeichert werden. Legen Sie fest, welche Informationen der Agent nicht lesen, weitergeben oder schreiben darf, und prüfen Sie diese Grenzen beim Testen OWASP AI Agent Security Cheat Sheet.

2. Für sensible Operationen eine explizite Genehmigung verlangen

OWASP empfiehlt, für sensible Aktionen eine explizite Genehmigung einzufordern OWASP AI Agent Security Cheat Sheet. Eine Person sollte Operationen bestätigen, die zu finanziellen Verlusten, zur Offenlegung von Daten, zu nicht rückgängig zu machenden Änderungen, zu Veröffentlichungen oder zur Beeinflussung kritischer Prozesse führen können.

Die Genehmigung sollte nicht eine abstrakte „nächste Aktion“ beschreiben, sondern eine konkrete Operation, ein Objekt, einen Empfänger und die Konsequenzen. Sonst kann der Nutzer eine Aktion absegnen, ohne ihre Größenordnung zu verstehen.

3. Externe Inhalte nicht als vertrauenswürdige Anweisungen betrachten

Daten aus E-Mails, Websites und Dokumenten sollten von Systemanweisungen getrennt werden. Der Agent darf Befehle, die in externen Inhalten gefunden werden, nicht automatisch ausführen. Besonders wichtig ist es, Anfragen zur Offenlegung von Geheimnissen, zur Änderung von Einstellungen oder zur Nutzung neuer Tools zu überprüfen.

Ein einzelner Filter von Schlüsselwörtern reicht nicht aus: Eine schädliche Anweisung kann verschleiert, in Teile zerlegt oder in ein legitimes Dokument eingebettet sein. Der Schutz sollte eine Kombination aus Einschränkung der Befugnisse, Validierung der Quellen, Regeln für das Aufrufen von Tools und Kontrolle der Ergebnisse umfassen.

4. Technisch Begrenzungen durchsetzen

Ein rein textliches Verbot in einer Anweisung ist nicht ausreichend. Einschränkungen sollten auf der Ebene der Architektur umgesetzt werden: Listen erlaubter Tools, Parameterprüfung, eine isolierte Ausführungsumgebung, Limits für Operationen und ein Verbot, den festgelegten Rahmen zu verlassen.

Wenn der Agent keine Daten löschen soll, darf diese Funktion nicht verfügbar sein. Wenn Zahlungen nur bis zu einem vorgegebenen Limit erlaubt sind, muss die Einschränkung von einem externen System geprüft werden – nicht von dem Modell selbst. Minimale Rechte bestimmen, wozu der Agent überhaupt Zugriff haben kann; architektonische Einschränkungen legen fest, welche Parameter und Aktionen das System unabhängig von der Antwort des Modells akzeptiert.

5. Protokollieren und Abweichungen nachverfolgen

Für die Untersuchung von Vorfällen muss das Ziel, der Plan, die Tool-Aufrufe, die Ergebnisse der Prüfungen, die Bestätigungen der Nutzer und die endgültigen Änderungen gespeichert werden. Dabei sollte das Logging die Vertraulichkeit berücksichtigen und nicht zu einer zusätzlichen Quelle für das Leakage von Geheimnissen werden.

Monitoring hilft dabei, ungewöhnliche Häufigkeiten von Aktionen, Zugriffe auf untypische Ressourcen, wiederkehrende Fehler und Versuche zu erkennen, über die erlaubten Berechtigungen hinauszugehen. Eine solche Verhaltenskontrolle entspricht dem Monitoring-Abschnitt in OWASPs Empfehlungen AI Agent Security Cheat Sheet.

6. Vor dem Release und nach Änderungen testen

OWASP empfiehlt, die Sicherheit eines Agents vor dem Release und nach wesentlichen Änderungen zu prüfen OWASP AI Agent Security Cheat Sheet. Eine erneute Bewertung ist erforderlich, wenn ein Modell ersetzt, ein neues Tool angeschlossen, Berechtigungen erweitert, Systemanweisungen geändert oder das Software-Scaffolding aktualisiert wird.

Die Tests sollten nicht nur korrektes Abarbeiten der Aufgaben abdecken, sondern auch Tool-Ausfälle, mehrdeutige Befehle, schädlichen externen Inhalt, Versuche, zusätzliche Rechte zu erhalten, sowie Szenarien, in denen der Agent verpflichtet ist, zu stoppen.

7. Eine sichere Beendigung vorsehen

Der Agent sollte Bedingungen für das Ende der Arbeit haben: Überschreiten eines Schrittlmits, Wiederholung desselben Fehlers, Konflikte in Anweisungen, Fehlen von erforderlichen Daten oder eine Anfrage nach einer sensiblen Aktion ohne Bestätigung. Eine sichere Beendigung ist oft besser als ein autonomes Weiterlaufen um jeden Preis. Für Aktionen mit hohem Risiko passt eine human-in-the-loop-Kontrolle zu den OWASP-Empfehlungen AI Agent Security Cheat Sheet.

Wie beurteilen, ob ein Agent für eine konkrete Aufgabe geeignet ist

Die praktische Bewertung sollte nicht nur den erwarteten Nutzen berücksichtigen, sondern auch die Folgen eines Ausfalls. Vor der Einführung ist es sinnvoll, fünf Fragen zu beantworten:

1. Wie eindeutig ist die Zielsetzung formuliert?
2. Lässt sich jeder wesentliche Ergebniswert prüfen?
3. Welche Daten und Tools werden tatsächlich benötigt?
4. Was passiert bei einer fehlerhaften oder schädlichen Aktion?
5. Wo ist eine Entscheidung durch eine Person zwingend erforderlich?

Legen Sie im Piloten im Voraus messbare Kriterien fest: Anteil der korrekt abgeschlossenen Aufgaben auf einer repräsentativen Stichprobe, Häufigkeit kritischer Fehler und nicht autorisierter Aktionen, Anzahl von Stopps und menschlichen Eingriffen sowie Kosten und Zeit. Testen Sie getrennt normale und nachteilige Szenarien, vergleichen Sie mit dem aktuellen Prozess und legen Sie im Voraus Schwellenwerte fest, ab denen der Agent nicht zu eigenständigen Aktionen zugelassen ist. Dieses Set an Kennzahlen ist ein praktisches Bewertungsschema für eine konkrete Einführung – keine wörtliche Forderung von NIST oder OWASP; die Schwellenwerte sollten unter Berücksichtigung der Folgen von Fehlern definiert werden.

Für eine niedrigriskante Aufgabe kann ein freierer Modus zulässig sein. Wenn ein Fehler Geld, die Rechte von Menschen, Sicherheit, vertrauliche Informationen oder kritische Prozesse betrifft, braucht es strikte Einschränkungen und unabhängige Prüfungen.

Standards und Kompatibilität von AI-Agents

17 февраля 2026 года NIST kündigte den Start der AI Agent Standards Initiative an. Stand сентябрь 2026 года offizielle NIST-Seite der Initiative (updated 14 августа 2026 года) beschreibt die fortlaufende Arbeit zur Unterstützung der Entwicklung von branchenspezifischen Standards, offenen Protokollen und Sicherheits- und Identifikationsforschung zu Agents – und nicht einen abgeschlossenen universellen Standard. Die Seite hebt drei Richtungen hervor: Unterstützung bei der Entwicklung von Branchenstandards, Förderung offener Protokolle sowie Forschung zu Sicherheit und Identifikation von Agents.

Diese Initiative sollte nicht als Beleg dafür dargestellt werden, dass Sicherheitsprobleme bereits gelöst seien. Sie sollte auch nicht mit einer bestehenden universellen gesetzlichen Anforderung vermischt werden. Dieses Material legt keinen rechtlichen Status von AI-Agents in irgendeinem Land fest; NIST-Initiativen und OWASP-Empfehlungen werden als Standardisierung und praktische Orientierungsmaßstäbe beschrieben, nicht als allgemeingültige rechtliche Anforderungen.

Einschränkungen der vorhandenen Daten

Viele fortschrittliche Systeme und Methoden bleiben geschlossen. Benchmarks decken nicht alle Arbeitsbedingungen, seltene Ausfälle und Risiken bei der Interaktion mehrerer Agents ab International AI Safety Report 2025. Außerdem bedeutet die schnelle Entwicklung von Modellen, dass einzelne Ergebnisse den Stand der Forschung zum Zeitpunkt der Veröffentlichung wiedergeben – und nicht eine dauerhafte Grenze der Technologie.

Fazit

Ein agentenbasiertes System kann über den Dialog hinausgehen: Es wählt die nächsten Schritte und ruft digitale Tools auf. Aber das Vorhandensein eines solchen Zykls garantiert keine erfolgreiche Lösung einer komplexen Aufgabe: Leistungsfähigkeit und Zuverlässigkeit hängen vom Modell, dem Software-Scaffolding, den verfügbaren Tools und der Kontrolle ab.

Deshalb ist ein Agent in einem konkreten mehrstufigen Prozess erst dann sinnvoll, wenn er an repräsentativen Aufgaben geprüft wurde und die Kosten eines Fehlers berücksichtigt werden. Minimale Rechte, explizite Zustimmung zu sensiblen Aktionen, technische Einschränkungen, Monitoring und wiederholtes Testen helfen, das Risiko zu senken, beseitigen es jedoch nicht vollständig.