Cet article a été publié à l'origine sur Data Informed.
Alors que les organisations cherchent à accroître leur agilité, l'informatique et les lignes d'activité doivent se connecter plus rapidement. Les entreprises doivent adopter plus rapidement les applications cloud et doivent pouvoir accéder à toutes leurs données et les analyser, qu'elles proviennent d'un entrepôt de données existant, d'une nouvelle application SaaS ou d'une source de données non structurée telle que les médias sociaux. En bref, une intégration unifiée plateforme est devenue une exigence essentielle pour la plupart des entreprises.
Selon Gartner, "les efforts d'intégration des applications et des données inutilement séparés conduisent à des pratiques contre-productives et à une escalade des coûts de déploiement".
Ne laissez pas votre organisation se faire prendre au piège. Que vous évaluiez ce que vous avez déjà ou que vous recherchiez quelque chose de complètement nouveau, vous devez mesurer toute plateforme en fonction de sa capacité à répondre aux "trois A" de l'intégration : Tout, tout le temps, tout le monde.
Tout est permis
Pour l'entreprise d'aujourd'hui, le spectre de ce qui doit être intégré est plus large que jamais. La plupart des entreprises ont affaire à un grand nombre de sources de données et de cibles différentes, qu'il s'agisse d'applications logicielles en tant que service, d'ERP/CRM sur site, de bases de données et d'entrepôts de données, de capteurs de l'Internet des objets (IoT), de flux de clics, de journaux et de données de médias sociaux, pour n'en citer que quelques-uns. Certaines sources plus anciennes sont retirées, mais de nouvelles sources sont ajoutées, alors ne vous attendez pas à ce que la simplicité s'installe de sitôt. Au lieu de cela, concentrez-vous sur la préparation de votre entreprise à "tout".
Au-delà du point à point. Vous avez peut-être déjà géré l'intégration sur une base point à point. Cette approche nécessite une main-d'œuvre abondante, un codage manuel pour la mise en place et le fonctionnement, et un codage supplémentaire chaque fois qu'un changement est apporté à l'un ou l'autre des "points". L'intégration de vos points d'extrémité peut alors se heurter à des difficultés, et vous devez alors attendre que votre service informatique s'occupe de résoudre les problèmes. Mais le problème le plus grave est que cette approche inflexible ne permet tout simplement pas de prendre en charge l'intégration à l'échelle de l'entreprise à une époque de changements constants.
Certains concepts modernes, lorsqu'ils sont appliqués à l'intégration, permettent d'obtenir cette flexibilité et cette échelle.
Microservices. Approche architecturale dans laquelle les services informatiques développent un service unique sous la forme d'une suite de petits services qui communiquent entre eux à l'aide d'API REST légères, les microservices sont devenus, depuis un an environ, l'architecture standard pour le développement d'applications d'entreprise.
Appliqués aux intégrations, ils ouvrent de formidables possibilités d'intégration à grande échelle à un coût très faible. Au lieu d'utiliser un gros moteur d'exécution pour toutes les intégrations, des moteurs d'exécution plus petits exécutent certaines intégrations. Vous pouvez ainsi fournir plus de puissance de calcul aux intégrations qui en ont besoin, au moment où elles en ont besoin. Vous pouvez également répartir les intégrations entre les nœuds d'un cluster en fonction des variations de volume pour une mise à l'échelle horizontale.
Le modèle de données des documents. Les applications modernes d'aujourd'hui produisent bien plus que des données en lignes et en colonnes. Alors, comment parvenir à un couplage lâche tout en prenant en charge les données semi-structurées et non structurées, le tout sans sacrifier les performances ? Vous pouvez regrouper les données de manière plus naturelle et logique et assouplir les restrictions relatives au schéma de la base de données en utilisant un modèle de données documentaires pour stocker les données. Les modèles de données basés sur des documents facilitent le couplage lâche, la brièveté de l'expression et la réutilisation globale.
Dans cette approche, chaque enregistrement et ses données associées sont considérés comme un "document", une unité indépendante qui améliore les performances et facilite la distribution des données sur plusieurs serveurs tout en préservant leur localité. Il est possible de transformer les données hiérarchiques d'un objet en un document. Mais il ne s'agit pas d'une solution transparente. Les documents sont un surensemble d'enregistrements basés sur des lignes et des colonnes, de sorte que si vous pouvez mettre des lignes et des colonnes dans un document, l'inverse n'est pas possible.
Le temps réel, c'est le temps de tous les instants, et c'est ce qui se passe aujourd'hui
Les cas d'utilisation actuels tels que les moteurs de recommandation, l'analyse prédictive et la détection des fraudes exigent de plus en plus la capture et le traitement en temps réel et "à tout moment" des données provenant des applications. Une intégration moderne plateforme doit disposer d'une couche de streaming capable de gérer les cas d'utilisation en temps réel ainsi que le traitement par lots.
De nombreuses organisations ont l'habitude de choisir des outils en fonction de la dynamique des données : Les plateformes ESB pour les intégrations d'applications basées sur les événements et à faible latence ; et les outils ETL pour les travaux par lots à fort volume. Aujourd'hui, cependant, les entreprises doivent rechercher la simplicité et la flexibilité d'un cadre qui peut prendre en charge à la fois le traitement par lots et le traitement en temps réel, "à tout moment", et les architectures comme l'architecture Lambda sont le résultat de ce besoin.
L'architecture Lambda est conçue pour équilibrer la latence et le débit dans le traitement des cas d'utilisation en batch et en temps réel. La couche de traitement par lots fournit des vues complètes et précises. Elle peut retraiter l'ensemble des données dont elle dispose en cas d'erreur. Cependant, elle a une latence élevée, donc pour compenser, elle a aussi une couche de vitesse qui fournit un traitement en temps réel des données en continu. La couche de service de cette architecture se compose d'une base de données appropriée pour les couches de vitesse et de traitement par lots, qui peuvent être combinées et interrogées pour obtenir des réponses à partir des données.
En raison de ces cas d'utilisation en temps réel, les plateformes de diffusion en continu sont devenues très souhaitables.
N'importe où devrait ressembler à n'importe où
Avec l'architecture hybride de données et de déploiement d'aujourd'hui, vos données peuvent se trouver n'importe où, dans n'importe quel format, et peuvent nécessiter un traitement différent en fonction du cas d'utilisation particulier. Voici un exemple :
- Si toutes vos applications et vos données se trouvent sur le site cloud, vous devrez adopter une approche cloud pour toutes les autres parties de l'écosystème applicatif, y compris l'intégration.
- Si vous disposez d'une architecture hybride comprenant à la fois des données sur site et des applications cloud , il se peut que vous deviez empêcher les données de quitter les locaux. Envisagez un plan de données sur site pour un traitement à l'intérieur du pare-feu.
- Si vous disposez d'un écosystème de big data, vous avez probablement besoin de la flexibilité nécessaire pour fonctionner nativement sur Hadoop à l'aide du gestionnaire de ressources YARN et d'utiliser MapReduce pour traiter les tâches d'intégration ou de transformation.
Entre-temps, Spark a gagné beaucoup d'intérêt pour le traitement des tâches à faible latence. Pour certains cas d'utilisation nécessitant une analyse en temps réel, tels que la détection des fraudes, le traitement des journaux et le traitement des données de l'IoT, Spark est un moteur de traitement idéal.
L'intégration est au cœur de toute initiative sociale, mobile, analytique (big data), cloud et IoT réussie. Il n'est plus possible d'évoluer vers le succès tout en devant choisir entre plusieurs outils et équipes pour l'intégration des applications, des processus et des données. Les entreprises qui réussissent aujourd'hui ont besoin d'accéder aux ressources et de les diffuser instantanément par le biais d'un site unique plateforme. Lorsque vous disposez du bon site plateforme - un site qui fournit tout, à tout moment et en tout lieu - vos utilisateurs n'auront jamais besoin de s'arrêter pour demander quelles ressources sont utilisées, si l'information est à jour ou où elle se trouve. Tout ce dont ils ont besoin sera à leur disposition quand ils en ont besoin et où qu'ils soient.
J'ai également posté cet article sur LinkedIn. Les commentaires sont les bienvenus sur Data Informed, LinkedIn ou ici.
