Die Steuerungsebene, die Ihren KI-Agenten fehlt

Da KI-Agenten immer mehr Verantwortung übernehmen, lässt sich die Frage nach der Governance nicht mehr vermeiden. Dabei geht es nicht um Governance im abstrakten Sinne, sondern um die praktische, operative Umsetzung: Wer hat diese Maßnahme genehmigt? Auf welche Daten wurde zugegriffen? Wann geschah dies, und was war das Ergebnis? Das sind Fragen, die regulierte Branchen schon immer für ihre menschlichen Mitarbeiter beantworten mussten. Nun müssen sie diese Fragen auch für ihre Software beantworten.

Dies ist der letzte Beitrag einer dreiteiligen Reihe zum Thema Governance von KI-Agenten. In den ersten beiden Beiträgen ging es um Zugriff und Identität: darum, zu verwalten, wer Ihre KI-Agenten sind und worauf sie zugreifen können. Dieser Beitrag konzentriert sich auf die dritte Säule: die Etablierung von Kontrollen auf der Ausführungsebene, um den strengen Anforderungen moderner Compliance-Teams gerecht zu werden.

Der Einsatz von KI-Agenten in regulierten Umgebungen stellt sowohl eine technische als auch eine Frage der Rechenschaftspflicht dar. Zum Beispiel:

Das Sicherheitsteam wird Fragen stellen, die Ihre Mitarbeiter beantworten müssen
Das Compliance-Team wird Protokolle anfordern
Die Prüfer werden wollen, dass diese Protokolle aussagekräftig sind

Die Erfüllung dieser Anforderungen beginnt damit, dass die Steuerung bereits in der ersten Entwurfsphase jeder Agentenbereitstellung als vorrangige Anforderung betrachtet wird.

Melden Sie sich für unser Webinar„Steuerung von KI-Agenten für die Unternehmenssicherheit“ an, das in Nordamerika und in der EMEA-Region ausgestrahlt wird.

Die 3 Fragen, die bei jeder Bereitstellung beantwortet werden sollten

Governance-Rahmenwerke befassen sich in der Regel mit Richtlinien und Berechtigungen: Wer darf unter welchen Bedingungen auf was zugreifen? Die Kontrolle geht noch eine Ebene tiefer. Wenn etwas schiefgeht oder eine Aufsichtsbehörde Nachfragen stellt, muss das Unternehmen genau rekonstruieren können, was seine KI-Agenten getan haben, warum sie es getan haben und ob diese Handlungen im Rahmen der Vorgaben lagen.

Eine solche Rekonstruktion ist nur möglich, wenn die Steuerung von Anfang an in die Ausführungsarchitektur integriert ist. Eine wirksame Steuerung von KI-Agenten basiert auf der Fähigkeit, drei grundlegende Fragen klar zu beantworten:

1. Was hat dieser Agent getan?

Ein lückenloser Prüfpfad erfasst die jeweils durchgeführte Aktion, in welchem System, zu welchem Zeitpunkt und mit welchem Ergebnis. Er nennt das aufgerufene Tool, die übergebenen Parameter, die erhaltene Antwort und die daraufhin durchgeführte Aktion.

2. Wer hat das genehmigt?

Wie in Teil 2 dieser Reihe erläutert wurde, muss die Autorisierungskette auf eine namentlich genannte Person zurückgeführt werden können. Ein Agent, der im Namen eines Benutzers handelt, muss die Identität dieses Benutzers in jedes System, mit dem er in Berührung kommt, weitergeben – und zwar über die gesamte Kette hinweg.

3. Lag dies im Rahmen des Auftrags?

Hier treffen Zugriffsrichtlinien und Identitätsmanagement aufeinander. Der Prüfpfad sollte bestätigen, dass die durchgeführten Aktionen gemäß den bei der Bereitstellung festgelegten Richtlinien zulässig waren und dass jede Abweichung vom festgelegten Rahmen sofort erkennbar ist.

Durch die Einführung einer Architektur, die alle drei Fragen beantwortet, wird sichergestellt, dass Ihre KI-Agenten innerhalb eines robusten und transparenten Governance-Rahmens arbeiten.

Warum dies in regulierten Branchen eine größere Rolle spielt

Der SnapLogic-Kunde Cambridge & Counties Bank ist ein Paradebeispiel für hervorragende Leistungen in regulierten Umgebungen, da er sicherstellt, dass jeder automatisierte Prozess lückenlos dokumentiert wird. Finanzdienstleister erfüllen spezifische regulatorische Auflagen, indem sie die Möglichkeit bewahren, jede Entscheidung, die von automatisierten Systemen getroffen oder unterstützt wurde, nachzuvollziehen.

Als die Cambridge & Counties Bank untersuchte, wie KI-Agenten in ihrer gesamten Datenlandschaft eingesetzt werden könnten, war die Nachvollziehbarkeit kein nachträglicher Einfall. Sie war eine Voraussetzung für die Einführung. Jede Aktion eines Agenten musste zuordenbar, abgrenzbar und überprüfbar sein. Nicht irgendwann in der Zukunft, sondern vom ersten Tag an.

Um diese Standards zu erfüllen, ist eine Infrastruktur erforderlich, die detaillierte und aussagekräftige Prüfprotokolle auf der Ebene der einzelnen Agentenaktionen erstellt und so in jedem Kontext für Transparenz und Nachvollziehbarkeit sorgt.

Die vertrauenswürdige Ausführungsschicht

Eine wirksame Governance erfordert eine Ebene, die sich zwischen den KI-Agenten und den Unternehmenssystemen, auf die diese zugreifen, befindet und die Richtlinien durchsetzt, Identitäten weiterleitet und jede Aktion standardmäßig protokolliert. Dies ist die Ausführungsebene, und hier findet Governance in der Praxis tatsächlich statt.

Der MCP-Server von SnapLogic wurde speziell für diese Aufgabe entwickelt. Er stellt bei jeder Interaktion mit einem Agenten konsequent drei Eigenschaften sicher:

Richtlinien bei der Erstellung. Ratenbegrenzungen , IP-Einschränkungen, rollenbasierte Kontrollen und Berechtigungen auf Tool-Ebene werden bei der Einrichtung festgelegt und auf jede Anfrage angewendet. Es gibt keine optionalen Governance-Konfigurationen, an die man später denken muss.

Durchgängige Identitätsweitergabe. Mithilfe der in Teil 2 behandelten OAuth 2.0-Delegierung wird die Identität des autorisierenden Benutzers zusammen mit der Anfrage an jedes nachfolgende System weitergeleitet, nicht nur an den ersten Knoten.

Standardmäßige Protokollierung von Prüfvorgängen. Jeder Aufruf eines Tools wird protokolliert: welches Tool aufgerufen wurde, mit welchen Parametern, von welchem Benutzer autorisiert und mit welchem Ergebnis. Das Protokoll wird automatisch erstellt, unabhängig davon, ob jemand den Bedarf dafür vorausgesehen hat.

Zusammen bieten diese Eigenschaften Unternehmen wie der Cambridge & Counties Bank die Grundlage, um KI-Agenten in regulierten Umgebungen sicher einzusetzen. Die Ausführungsebene gewährleistet die vom Unternehmen geforderte Nachvollziehbarkeit.

Standardmäßig auditfähig

Bei SnapLogic vertreten wir schon seit Langem die Ansicht, dass KI nicht als technisches Projekt betrachtet werden sollte, das hinter den Kulissen abläuft. Das Gleiche gilt für Observability und Auditability. Wenn die Protokolle nur denjenigen zur Verfügung stünden, die wissen, wo sie in unserem Monitor zu finden sind, würde dies ihren Nutzen einschränken. Aus diesem Grund machen wir es auch einfach, diese Agent-Protokolle zu exportieren, sodass sie über die SnapLogic-Plattform hinaus für die Aufbewahrung oder Korrelation zur Verfügung stehen.

Durch den Einsatz offener Standards wie OpenTelemetry ermöglichen wir es Unternehmen, langfristig das Maß an Transparenz aufzubauen und aufrechtzuerhalten, das für das Vertrauen in agentenbasierte KI-Systeme erforderlich ist.

Die Möglichkeit, Ereignisprotokolle weiterzugeben, gibt Prüfern die nötigen Informationen an die Hand, um den Einsatz von KI-Agenten in sensiblen oder regulierten Bereichen zuverlässig zu genehmigen. So können sie diese Entscheidungen in der Gewissheit treffen, dass jedes unerwartete Verhalten schnell erkannt und auch lange nach dem Vorfall nachverfolgt werden kann – einschließlich aller oben genannten Aspekte.

Grundlagen für die KI-Governance schaffen

Der Einsatz von KI-Agenten in regulierten Umgebungen erfordert mehr als nur leistungsfähige Modelle und gut durchdachte Arbeitsabläufe. Er erfordert eine Governance-Grundlage, die von Anfang an in die Architektur integriert ist und die Bereiche Zugriff, Identität und Kontrolle als zusammenhängendes Ganzes abdeckt.

Lassen Sie uns unseren Weg zur Regierungsführung noch einmal Revue passieren:

Zugriff: Benutzer sollten nur auf die Systeme und Funktionen zugreifen können, die sie benötigen. Das Prinzip der geringsten Berechtigungen wird bereits bei der Einrichtung durchgesetzt.
Identität: Agenten sollten im Rahmen einer übertragenen Benutzerberechtigung handeln, wobei die Rückverfolgbarkeit zu einer namentlich genannten Person gewährleistet sein muss.
Kontrolle: Jede Aktion eines Agenten sollte protokolliert, zugeordnet und anhand der bei der Bereitstellung festgelegten Richtlinien überprüfbar sein.

Jede dieser Eigenschaften hängt von der Ausführungsebene ab, die die Agenten mit den Unternehmenssystemen verbindet. Eine Governance, die sich lediglich in Dokumentationen oder Richtlinienvorlagen niederschlägt und nicht in der Infrastruktur selbst verankert ist, wird dem operativen Druck oder der behördlichen Kontrolle nicht standhalten.

Unternehmen, die frühzeitig diese Grundlage schaffen, sind in der Lage, ihre KI-Programme sicher zu skalieren – auch angesichts von Audits, der Ausweitung des Anwendungsbereichs und sich wandelnder Compliance-Anforderungen, denen sich KI in Unternehmen unweigerlich stellen muss. Eine von Anfang an in die Architektur integrierte Kontrollfunktion wird so zu einem Motor dieses Wachstums, anstatt es zu behindern.

Nehmen Sie an einer vertiefenden Diskussion teil

Begleiten Sie meinen Kollegen Matt Sager und mich bei einer Live-Demonstration, in der wir anhand konkreter Beispiele aus regulierten Unternehmensumgebungen zeigen, wie diese Governance-Architektur in der Praxis funktioniert. Melden Sie sich für unser Webinar„Governing AI Agents for Enterprise Security“ an, das in Nordamerika und in der EMEA-Region ausgestrahlt wird.

Dies ist Teil einer dreiteiligen Reihe zum Thema „Agent Governance“: