Die Grenzen von ETL und ELT im Zeitalter der Agenten
Warum KI-Agenten auf kontrollierte, beobachtbare Datenpipelines in Echtzeit angewiesen sind, um in großem Maßstab zuverlässig zu funktionieren
Die Notwendigkeit der Datenbereitschaft
KI-Agenten und ihre Datenanforderungen verändern die Anforderungen an Unternehmensdatenpipelines. Das Verschieben von Daten von einem Ort zum anderen, deren Aufbereitung für Analysen und das Einlesen in ein Data Warehouse für die Berichterstellung sind grundlegende Funktionen, die nach wie vor im Mittelpunkt jeder modernen Datenstrategie stehen.
Agentische KI erweitert diese Anforderungen erheblich. Agenten müssen systemübergreifend Schlussfolgerungen ziehen, präzise Kontextinformationen abrufen, Arbeitsabläufe auslösen und im Rahmen der entsprechenden Berechtigungen handeln – und das alles in realen Geschäftsumgebungen und in Echtzeit.
Während Datenarchitekten in der Vergangenheit möglicherweise vor einer relativ einfachen Entscheidung zwischen dem ETL- und dem ELT-Modell standen, erfordert der Aufbau der Datengrundlage für agentenbasierte KI, noch einen Schritt weiter zu gehen. Die von den Pipelines gelieferten Daten müssen genau in dem Moment, in dem ein Agent handeln muss, aktuell, geregelt, beobachtbar und vertrauenswürdig sein.
Dieser Leitfaden bietet eine Anleitung, wie Sie die richtigen architektonischen Entscheidungen für diese neuen Anforderungen treffen und gleichzeitig die bestehenden Anforderungen weiterhin erfüllen können.
ETL vs. ELT ist nur der Ausgangspunkt. Für agentenbasierte KI sind Datenpipelines erforderlich, auf die sich die Agenten verlassen können.
Warum ETL im Vergleich zu ELT nicht mehr ausreicht
Seit Jahren bewerten Datenteams ETL- und ELT-Ansätze anhand verschiedener Aspekte wie Geschwindigkeit, Skalierbarkeit, Kontrolle und Governance.
ETL (Extract, Transform, Load) unterstützt Unternehmen dabei , Daten zu transformieren, zu validieren und zu standardisieren, bevor sie in ein Zielsystem gelangen. Es ist oft die richtige Wahl, wenn Compliance, Genauigkeit und Kontrollen vor dem Laden von entscheidender Bedeutung sind.
ELT (Extract, Load, Transform) hilft Teams dabei , Daten schnell in Cloud-Warehouses, Data Lakes und Lakehouses zu übertragen und sie anschließend entsprechend den sich wandelnden analytischen oder betrieblichen Anforderungen zu transformieren. Es fördert Flexibilität, Experimentierfreudigkeit und Skalierbarkeit in sich schnell verändernden Umgebungen.
Die meisten Unternehmen nutzen mittlerweile beide Ansätze, und das aus gutem Grund. Die dringlichere Frage ist, ob einer der beiden Ansätze in seiner derzeitigen Ausgestaltung bereits für KI-Agenten geeignet ist.
KI-Agenten stellen neue Anforderungen an die Dateninfrastruktur. Sie verbrauchen nicht einfach nur Daten für Dashboards. Sie nutzen Daten, um Schlussfolgerungen zu ziehen, Empfehlungen auszusprechen, Prozesse zu automatisieren, Probleme zu eskalieren und systemübergreifend zu handeln. Sind diese Daten veraltet, unvollständig, schlecht verwaltet oder fehlt der geschäftliche Kontext, liefert der Agent unzureichende Ergebnisse – und zwar in einer Geschwindigkeit, die die Fähigkeit eines menschlichen Teams, diese Fehler zu erkennen oder zu korrigieren, bei weitem übersteigt.
Wo herkömmliche Pipelines an ihre Grenzen stoßen
Agentische KI deckt Schwachstellen auf, mit denen viele Unternehmen seit Jahren umgehen. Zum Beispiel:
Datenübertragung nach dem „Batch-First“-Prinzip
Datenaktualisierungszyklen, die ausschließlich über Nacht stattfinden, werden zum Problem, wenn Mitarbeiter während des Geschäftstages aktuelle Kunden-, Transaktions-, Risiko- oder Betriebsdaten benötigen.
Lücken in der Unternehmensführung
Die an einem API-Endpunkt durchgesetzten Richtlinien gelten nicht für Datenbankabfragen, JDBC-Verbindungen und benutzerdefinierte Workflows, die Agenten ebenfalls nutzen, um auf Daten zuzugreifen.
Fragmentierte Metadaten
Die Begriffe „Kunde“ oder „Auftrag“ können in CRM-, ERP-, Abrechnungs- und Lagermanagementsystemen unterschiedliche Bedeutungen haben, weshalb die Mitarbeiter eine gemeinsame semantische Ebene benötigen, um zuverlässig arbeiten zu können.
Fehlende Vertrauenssignale zur Laufzeit
Die Mitarbeiter müssen erkennen können, ob die Daten aktuell, geregelt und nachvollziehbar sind, damit die Teams ihren Handlungen vertrauen und eingreifen können, wenn etwas nicht stimmt.
Fehler beim Übergang von der Sandbox in die Produktionsumgebung
Saubere Sandbox-Pilotprojekte treffen auf unübersichtliche Produktionsdaten (Nullwerte, Duplikate, Schema-Drift), und Architekturen, die nicht dafür ausgelegt sind, verwandeln Randfälle in ein sich verstärkendes Risiko.
Ineffizienz in der Praxis
Bei der DCU waren die Teams in den Geschäftsbereichen bisher darauf angewiesen, Daten aus verschiedenen Systemen manuell zu kopieren, einzufügen und in Tabellenkalkulationen zusammenzuführen. Bis die Daten einsatzbereit waren, waren sie bereits veraltet, und dieselben Informationen, die aus verschiedenen Systemen abgerufen wurden, wiesen häufig Unstimmigkeiten auf. Lesen Sie weiter, um zu erfahren, wie die DCU diese Prozesse mit SnapLogic vereinheitlicht hat, um schneller Einblicke in die Daten zu gewinnen.
Produktionsreife KI-Agenten benötigen Pipelines, die aktuelle Daten bereitstellen, Zugriffskontrollen durchsetzen und die Vertrauenssignale aufzeigen, die Teams benötigen, bevor sie Maßnahmen ergreifen.
Was agentische KI von Unternehmensdaten benötigt
KI-Agenten stellen neue Anforderungen an die Dateninfrastruktur von Unternehmen. Sie benötigen eine vertrauenswürdige Ausführungsschicht, die ihnen die richtigen Daten im richtigen Kontext und mit den richtigen Kontrollmechanismen genau in dem Moment bereitstellt, in dem sie handeln müssen.
An dieser Stelle werden traditionelle ETL- und ELT-Entscheidungen – je nach den spezifischen Anforderungen der Organisation – Teil eines umfassenderen Bereitschaftsmodells. So kann es beispielsweise erforderlich sein, dass Daten:
- Verwandelt und gelenkt, noch bevor eine Bewegung einsetzte
- Wurde schnell geladen und anschließend näher am Einsatzort umgewandelt
- Über APIs, Ereignisse oder Agent-Workflows verfügbar gemacht
Das Ziel ist jedoch bei allen Modellen dasselbe: Jede Pipeline muss vertrauenswürdig, nachvollziehbar, überwachbar und einsatzbereit sein. Um diesen Standard zu erfüllen , sind Fortschritte in den folgenden Bereichen erforderlich:
Echtzeitdaten dort, wo sie wichtig sind
Nicht jede Pipeline benötigt Echtzeitdaten, doch wenn ein Mitarbeiter eine Risikobewertung vornimmt oder einen Workflow auslöst, wirkt sich die Aktualität der Daten direkt auf das Ergebnis aus. Daher sollten Datenteams latenzempfindliche Pipelines vorrangig behandeln.
Governance und Kontext durch bewusste Gestaltung
Agenten müssen wissen, was Daten bedeuten, wer darauf zugreifen darf und welche Aktionen zulässig sind. Dies erfordert konsistente Metadaten, eine lückenlose Nachverfolgbarkeit sowie die konsequente Durchsetzung von Richtlinien – andernfalls übernehmen sie die bestehenden Unklarheiten des Unternehmens und setzen diese in großem Maßstab um.
Beobachtbarkeit vor der Produktionsumgebung
Agenten benötigen Vertrauenssignale, bevor sie handeln. Das bedeutet, dass sie kontinuierlich Einblick in die Datenqualität, den Zustand der Pipeline und das Verhalten haben müssen, da es keine andere Möglichkeit gibt, zu überprüfen, ob eine Aktion auf korrekten und aktuellen Daten beruhte.
Rückverfolgbarkeit schafft Vertrauen
Prüfer – ob intern oder extern – benötigen einen umfassenden Überblick darüber, wie auf Daten zugegriffen wird, wie diese übertragen und verarbeitet werden. Eine geregelte Pipeline ist der ideale Ort, um die angereicherten Protokolldateien zu erstellen, die ein einfaches Verbindungsprotokoll nicht liefern kann.
Vernetzte Systeme bedeuten nicht automatisch, dass die Daten für KI geeignet sind, und die Bereitstellung KI-fähiger Daten ist kein einmaliger Meilenstein. Es bedarf einer kontinuierlich gesteuerten, nachvollziehbaren und vertrauenswürdigen Pipeline.
SnapLogic: Entwickelt für das Zeitalter der Agenten
SnapLogic unterstützt Teams dabei, Daten, Anwendungen, APIs und KI-Agenten über eine einheitliche, geregelte Integrationsschicht miteinander zu verbinden. Anstatt separate Tools für ETL-, ELT-, API-gesteuerte, ereignisgesteuerte und agentenbasierte Workflows verwalten zu müssen, arbeiten Teams auf einer einzigen Plattform, die jedes dieser Muster abdeckt, ohne dass dabei Wartungsaufwand durch benutzerdefinierten Code oder Punkt-zu-Punkt-Komplexität entsteht.
Vorkonfigurierte Snaps beschleunigen die Vernetzung über den gesamten Unternehmensstack hinweg – von Cloud-Plattformen und SaaS-Tools bis hin zu Altsystemen, LLMs und Vektordatenbanken. Dank Low-Code- und KI-gestützter Entwicklung lässt sich der Zeitaufwand für die Erstellung, Anpassung und Steuerung von Pipelines bei sich ändernden Anforderungen reduzieren.
Agentische KI in der Praxis
Agentische KI liefert Ergebnisse, wenn Daten, Anwendungen, APIs und Arbeitsabläufe über eine geregelte Integrationsschicht miteinander verbunden sind. Die Unternehmen, die Fortschritte erzielen, entwickeln wiederverwendbare Integrationsmuster, die Systeme miteinander verbinden, den Kontext bewahren und KI-gestützte Arbeitsabläufe transparent machen.
KI-Agenten für Unternehmen, die echten geschäftlichen Mehrwert schaffen
Der interne KI-Agent von SnapLogic, Jean-Paul, stellt eine Verbindung zu den Systemen her, in denen die Arbeit stattfindet – darunter Salesforce, Zendesk, BigQuery und Box –, um auf der Grundlage von Echtzeitdaten fertige Arbeitsergebnisse zu liefern. Jean-Paul basiert auf der bestehenden Integrationsschicht von SnapLogic, wurde innerhalb weniger Tage bereitgestellt und setzte sich schnell unternehmensweit als Produktionsagent durch.
Ergebnisse: Jean-Paul erzielte innerhalb von vier Monaten einen geschätzten Mehrwert von mehr als 3 Millionen US-Dollar, sparte in einem einzigen Zeitraum von 30 Tagen über 2.000 Stunden ein, bearbeitete mehr als 1.600 Anfragen und erstellte über 200 Dokumente in Produktionsqualität.
Regulierte agentische KI im regulierten Finanzdienstleistungssektor
Die Cambridge & Counties Bank nutzt agentische KI, um ihre strategischen Wachstumsziele im Bereich der Anlagenfinanzierung zu erreichen. Das Ziel ist es, das jährliche Geschäftsvolumen in der Anlagenfinanzierung von 100 Mio. £ auf 300 Mio. £ zu steigern, indem die Entscheidungszeit von Tagen auf Minuten verkürzt wird. SnapLogic fungiert als agentische Orchestrierungsebene und steuert, was wann und in welcher Reihenfolge ausgeführt wird.
Der Ansatz der Bank zielt darauf ab, Arbeitsabläufe zu automatisieren, ohne dabei die Aufsicht zu vernachlässigen. Die Überprüfung durch menschliche Mitarbeiter („Human-in-the-Loop“), Konfidenzbewertungen, modulare Agenten und Nachvollziehbarkeit sind fest in die Architektur integriert, sodass Teams die Geschwindigkeit steigern und gleichzeitig die Kontrolle in einem regulierten Umfeld behalten können.
Auswirkung: Die Cambridge & Counties Bank strebt eine Verdreifachung ihrer operativen Leistungsfähigkeit an, wobei menschliches Fachwissen bei wichtigen Entscheidungen weiterhin im Mittelpunkt stehen soll.
Moderne Integration, die KI aktiviert
Spirent musste eine fragmentierte Integrationsumgebung vereinfachen und gleichzeitig einen praktischen Weg finden, KI in internen Arbeitsabläufen einzusetzen. Mit SnapLogic vereinheitlichte Spirent die Integration auf einer zentralen Plattform und nutzte AgentCreator eine KI-gestützte Sales-Intelligence-Anwendung zu entwickeln. Bereits innerhalb einer Woche nach der Bereitstellung fasste der Pre-Sales-Assistent Artikel von Wettbewerbern zusammen und speiste relevante Informationen für 200 Vertriebsmitarbeiter in Salesforce ein.
Ergebnisse: Spirent konnte die Wartungskosten für die Integrationsplattform um 90 % senken, die Produktivität der Mitarbeiter im Bereich Business Intelligence um 25 % steigern und erwartet Einsparungen bei den KI-Abonnementkosten in Höhe von 144.000 US-Dollar pro Jahr.
„SnapLogic bündelt die Integration in einer zentralen, benutzerfreundlichen Plattform, die alle unsere Systeme – seien es Alt-Systeme oder cloudbasierte Anwendungen – sicher miteinander verbinden kann.“
Matt Bostrom, Vizepräsident für Unternehmenstechnologie, Spirent
Effizienz in der Praxis
Die DCU hat innerhalb von sechs Monaten mehr als 5 Milliarden Datensätze in Amazon Redshift migriert und die Integrationsarbeiten mithilfe wiederverwendbarer SnapLogic-Pipelines beschleunigt.
Wie man die Datengrundlage für agentische KI schafft
Die Vorbereitung auf agentische KI erfordert nicht, dass alles auf einmal modernisiert wird. Beginnen Sie mit den Arbeitsabläufen, bei denen ein besserer Datenzugriff und eine bessere Datenverwaltung messbare geschäftliche Auswirkungen erzielen können, und schaffen Sie dann die Integrationsgrundlage, die für eine sichere Skalierung erforderlich ist.
Schritt 1
Ermitteln Sie die Integrationsschuld
Halten Sie Ausschau nach Arbeitsabläufen, bei denen es zu Verzögerungen kommt, weil der Zugriff auf Daten schwierig ist, diese nur schwer abzugleichen sind oder ihre Zuverlässigkeit nicht gewährleistet ist. Dies sind in der Regel Bereiche, in denen Mitarbeiter Daten zwischen Systemen kopieren, auf Analysten warten oder mehrere Anwendungen überprüfen müssen, bevor sie eine Entscheidung treffen können. Diese Reibungsverluste sind ein Warnsignal: Wenn ein Arbeitsablauf für die Mitarbeiter bereits jetzt schwierig ist, birgt er auch für die Bearbeiter Risiken, bis sich die Datenbasis verbessert hat.
Schritt 2
Wählen Sie Anwendungsfälle mit klarem geschäftlichem Nutzen aus
Die überzeugendsten Anwendungsfälle für agentische KI sind Arbeitsabläufe mit hohem Aufwand und messbaren Ergebnissen. Priorisieren Sie Prozesse, die wiederholte Datenabfragen, die Erstellung von Dokumenten, die Weiterleitung oder die Unterstützung bei operativen Entscheidungen beinhalten. Beziehen Sie Menschen dort mit ein, wo Urteilsvermögen, Compliance oder Kundenerlebnis am wichtigsten sind.
Schritt 3
Entwicklung wiederverwendbarer, geregelter Integrationsmuster
Vermeiden Sie einmalige Integrationen für jeden einzelnen Agenten. Erstellen Sie wiederverwendbare Pipelines, geregelte APIs und standardisierte Zugriffsmuster, die im Laufe der Zeit mehrere Workflows unterstützen. Die richtige Architektur kann ETL, ELT, APIs, Ereignisse und die Orchestrierung von Agenten umfassen. Entscheidend ist, dass jedes Muster geregelt, beobachtbar und wiederverwendbar ist.
Schritt 4
Die Observability in die Architektur integrieren
Observability sollte von Anfang an einbezogen werden. Teams benötigen Einblick in den Zustand der Pipeline, die Datenqualität, das Verhalten der Agenten und die Genehmigungen durch Mitarbeiter, bevor die Agenten in die Produktion gelangen – und auch danach kontinuierlich. Diese Grundlage ist es, die aus einem vielversprechenden Pilotprojekt einen bewährten Produktionsworkflow macht.
Der Vergleich zwischen ETL und ELT reicht nicht aus. Agente-basierte KI benötigt eine Integrationsschicht, die auf Handlungsfähigkeit, Governance und Skalierbarkeit ausgelegt ist.
Mit dem Bauen beginnen
Unternehmen, die bei der agentenbasierten KI Fortschritte erzielen, betrachten die Datenbereitschaft als einen fortlaufenden Prozess. Sie vernetzen Systeme, regeln den Zugriff, überwachen Datenpipelines und verbessern ihre Abläufe kontinuierlich, während sich der Einsatz von Agenten im gesamten Unternehmen ausweitet.
Der Ausgangspunkt ist immer dort, wo Datenfriktionen das größte Risiko darstellen oder die wertvollste Arbeit behindern. Auf dieser Grundlage ermöglichen wiederverwendbare Integrationsmuster und integrierte Beobachtbarkeit den sicheren Ausbau der agentenbasierten KI.
