Warum ETL und EAI auch in der SMACT-Ära zu kämpfen haben werden

Nennen Sie es, wie Sie wollen:

• Der Nexus der Kräfte (Gartner)
• Das Zeitalter des Kunden (Forrester)
• Die dritte Plattform (IDC)

Was auch immer Sie darunter verstehen, wir haben eindeutig das Ende eines Technologiezyklus erreicht und sind in einen neuen Zyklus der Innovation und der Transformation von Unternehmen und IT eingetreten. Ob Social, Mobile, Analyticsund Big Data, CloudComputing oder das Internet der Dinge(SMACT), ganz zu schweigen von Bring Your Own Everything- es sind aufregende und herausfordernde Zeiten für IT-Führungskräfte in Unternehmen, die ihre Organisationen umgestalten und gleichzeitig die Geschäftsausrichtung verbessern wollen. CIOs sind zu "Change Agents" geworden .Sie sind zu Chief Innovation Officers und sogar Chief Integration Officers geworden, denn einer der ersten Punkte, an denen sie diesen Wandel einleiten wollen, ist die Verbesserung der Verbindungen zwischen internen und externen Daten, Anwendungen und APIs sowie die Beseitigung unverbundener Datensilos. Wir haben in den letzten Monaten ausführlich über das Dilemma des Integrators sowie über die "Cloudifizierung" von Unternehmen und die daraus resultierende Verschiebung der "Datengravitation" geschrieben . Zunehmend höre ich jedoch Begriffe wie "Schwergewicht ", "technische Schulden" und "IT-Last" , um die Legacy-Middleware zu beschreiben, die vor mehr als 10 Jahren gekauft und implementiert wurde. Sie wurde für eine andere Zeit entwickelt und wird jetzt oft als Veränderungsblocker und nicht als Veränderungshelfer gesehen. Andererseits höre ich in Gesprächen mit Branchenanalysten, Kunden und Partnern immer wieder Begriffe wie "Fabric", "Agility Layer" und "Self-Service" , die den Wunsch nach einem flexibleren Ansatz für die Integration und das Datenmanagement beschreiben.

Kommt Ihnen das bekannt vor?

In dem Maße, in dem Integrationsplattformen als Service(iPaaS) auf dem Markt an Bekanntheit und Akzeptanz gewinnen, wird es immer offensichtlicher, dass ein neues "Reich der Mitte" entsteht, um die Integrationsanforderungen des modernen Unternehmens zu erfüllen. Die Verwendung von altem ETL oder EAI zur Bewältigung des Volumens, der Vielfalt und der Geschwindigkeit der heutigen Daten-, Anwendungs- und API-Integrationsanforderungen (ganz zu schweigen von IoT) ist ein bisschen so, als würde man mit einem Tesla Model S auf einer unbefestigten Straße fahren. (Okay, ich arbeite noch an der Metapher, aber dieses Bild kommt mir in den Sinn.) Abgesehen von den jüngsten Finanzergebnissen (Beispiele hier und hier) habe ich eine Liste von 10 Gründen zusammengestellt, warum alte Extraktions-, Transformations- und Ladetools (ETL) und Enterprise Application Integration (EAI)-Tools (und Lösungsanbieter) auch in der SMACT-Ära zu kämpfen haben werden:

1. Kannibalisierung des On-Premises-Kerngeschäfts: Dies ist das offensichtliche Problem. Das Dilemma des Innovators. Es ist schwer, "dorthin zu laufen, wo der Puck hinfliegt", ohne große Wetten auf die Zukunft einzugehen und bereit zu sein, sich von leistungsschwachen Produktlinien zu trennen. Es ist möglich(hier ist ein großartiges Beispiel), aber ich habe dieses Maß an Engagement von den etablierten Unternehmen auf dem Daten- und Application Integration Markt noch nicht gesehen. Im Jahr 2007 stellte mein Freund Ken Rudin "SaaS-Kannibalisierung und der innere Bürgerkrieg" vor. Es klingt immer noch wahr.
2. Heritage Matters in der Cloud: Ich verallgemeinere, aber wenn Sie aus der EAI/ESB/SOA-Welt kommen, haben Sie in der Regel eine anwendungszentrierte Sicht auf die Welt. Wenn Sie aus der Welt der Business Intelligence, des Data Warehousing und der Stammdatenverwaltung kommen, haben Sie natürlich eine datenzentrierte Sichtweise. Umdenken, oder um Mary Meekers Wort zu verwenden - Re-Imagining - Integration erfordert eine Vision, die beide Aspekte gleichermaßen berücksichtigt. Nachrichtenorientierte EAI-Tools haben Probleme mit Massen-/Batch-Datenbewegungen und -umwandlungen. Zeilen- und spaltenbasierte ETL-Tools haben mit unstrukturierten und hierarchischen Daten in Echtzeit zu kämpfen. Moderne, JSON-zentrierte, RESTful-Plattformen sind in der neuen Ära eindeutig im Vorteil, unabhängig davon, ob es sich um ereignisbasierte, Echtzeit-, Streaming- oder geplante Batch-orientierte Datenintegration handelt.
3. EAI ohne ESB: Funktionen wie garantierte Bereitstellung, Auslöser, Überwachung und Orchestrierung sind in der Cloud genauso wichtig wie vor Ort. Aber der Enterprise Service Bus (ESB) fliegt nicht in der Cloud. Hier finden Sie einige Kommentare von Stefan Ried von Forrester zu diesem Thema und hier erfahren Sie, warum SOA dank des ESB zum Scheitern verurteilt ist.
4. Jenseits von ETL: Funktionen wie Wiederverwendung, Aggregation, Joins, Union, Splitting, SCDs und Scheduling sind in der Cloud genauso wichtig wie vor Ort. Ich werde mich also nicht in die ETL-ist-tot-Debatte einmischen, aber Mehrzweck- oder multimodale Integration ist eindeutig die Zukunft. Dieses Webinar mit Dave Linthicum und Gaurav Dhillon bietet eine gute Perspektive zu diesem Thema.
5. Punkt zu Punkt verfehlt das Ziel: Für ältere ISVs führen alle Wege zurück zu Punkt Nummer eins - Kannibalisierung -, aber die einfache Einführung einer leichtgewichtigen Cloud-Version (oder einer Cloud-gewaschenen Version) Ihrer On-Premises-Software macht noch keine Cloud-Strategie aus. Es gibt zwar eine wachsende Nachfrage nach leichter zugänglichen, benutzerfreundlichen Cloud-Integrationsdiensten, aber es müssen auch fortschrittliche Funktionen (siehe Beispiele für iPaaS-Anforderungen hier), eine breite Konnektivität und die Fähigkeit, über einfache Punkt-zu-Punkt-Integrationsszenarien hinauszugehen, vorhanden sein. Andernfalls ist das Einzige, was hybrid wird, Ihr Integrationshaarball.
6. Franken-Integration: Hybrid ist ein heißes Thema in der Unternehmens-IT und im Cloud Computing, aber wenn es um eine iPaaS-Lösung geht, sollte Hybrid nicht halbgar bedeuten. Ein Cloud-Integrationsservice muss in der Lage sein, komplexe Anwendungsfälle der On-Premises-Integration (Cloud to Ground) und Cloud to Cloud zu bewältigen. Außerdem muss er mehr als nur Überwachung bieten, sondern auch eine hochentwickelte Integrationsdesign- und Verwaltungsumgebung, die keine lokalen Tools erfordert. Mehr zu diesem Thema erfahren Sie in dem Beitrag Fluidity in Hybrid Deployments.
7. Big Data-Integration ist kein Kerngeschäft... oder die Cloud: Für EAI-Anbieter ist die Integration von Big Data keine Option. Für herkömmliche ETL-Anbieter, die für die Skalierung nach oben und nicht nach unten ausgelegt sind und in erster Linie strukturierte, relationale Quellen und Ziele verarbeiten sollen, ist Big Data ein großes Problem. Und das gilt nur für die vor Ort installierte Technologie. Cloud Computing und Big Data, ganz zu schweigen von Mobile, Social, APIs und IoT, verändern die Regeln und Anforderungen der Integration, und eine moderne, elastische Plattform ist notwendig, um mitzuhalten.
8. Elastische Skalierung: Warum dies wichtig ist, habe ich in diesem Beitrag, iPaaS-Anforderungen, beschrieben: Elastische Skalierung. Die Wiederverwendung von Legacy-Technologie für das Integrationsdesign oder die Laufzeitverarbeitung garantiert, dass die Lösung nicht für die Cloud entwickelt wurde und durch und durch elastisch ist.
9. Eine Rampe zu On-Prem: Einiges davon hängt mit den Vergütungsplänen für den Vertrieb zusammen (z. B. Bezahlung der Mitarbeiter nur für den Jahresvertragswert (ACV) des ersten Jahres und nicht für mehrjährige Verträge), aber oft werden Punkt-zu-Punkt-Cloud-Integrationstools von Altanbietern als Lockvogel eingesetzt, um neue Kunden zu gewinnen oder in Teilbereiche von Kunden zu expandieren. Das längerfristige Ziel ist eine Lockvogeltaktik, was mich zu meinem letzten Punkt führt.
10. Fokus und DNA: Wie bereits erwähnt, führen alle Wege zurück zu Punkt Nummer eins und dem Dilemma des Innovators, aber es gibt eine Lösung für den Innovator und bewährte Techniken, um der Geschwindigkeit zu entkommen. Natürlich glauben wir, dass es auch eine Lösung für Integratoren gibt, aber für unabhängige ETL- und EAI-Softwareanbieter (ISVs) stellt sich die Frage, ob sie das nötige Kleingeld haben, um sich anzupassen und den Wandel, den die SMACT-Ära erfordern wird, wirklich anzunehmen. Dies erfordert nicht nur eine völlige Neuausrichtung auf die Zukunft und die Bereitschaft, sich von der Vergangenheit zu lösen, was besonders für börsennotierte Unternehmen schwierig ist, sondern auch eine Umstellung auf Abonnementpreise, einen neuen Ansatz bei der Kundenakzeptanz und -erneuerung sowie eine agile Entwicklung. Es wird auch eine DNA der Innovation und die Bereitschaft zum Wandel erforderlich sein. Als Insider vergleiche ich es mit der Geschichte vom Frosch im kochenden Wasser, aber ich denke, Aaron Levie, der visionäre CEO von Box.com, hat es am besten ausgedrückt, als er kürzlich twitterte:

Wenn man versucht, eine Branche von innen heraus zu verändern, ist es leicht zu erkennen, warum es nicht funktionieren wird. Wenn man von außen kommt, kann man nicht glauben, dass es nicht funktionieren wird. ? Aaron Levie (@levie) August 8, 2014