Publié précédemment sur medium.com.
Ce billet est le deuxième d'une série présentant une vue d'ensemble de l'intégration d'entreprise. L'article précédent de cette série se trouve à la section Intégration d'entreprise. Ce billet donne un aperçu des différentes options d'outils d'intégration et explique comment les entreprises risquent de créer des silos d'outils tout en essayant de construire des intégrations pour éviter les silos de données.
Paysage des données d'entreprise
Il existe une variété d'applications et de systèmes qui stockent des données dans une entreprise. Dans le cas d'une entreprise type, voici quelques-unes des applications utilisées et l'approche d'intégration à utiliser avec ces systèmes :
- Applications Sa aS - La plupart des applications SaaS exposent des API REST ou SOAP à des fins d'intégration. Pour certaines, des SDK personnalisés peuvent être utilisés pour développer des connecteurs.
- Applications personnalisées sur site - Il s'agit d'applications personnalisées fonctionnant dans les centres de données des clients ou sur leurs comptes IaaS. L'intégration à ces applications se fait au moyen d'API REST ou SOAP. Comme l'application est hébergée par le client, l'accès direct à la base de données sous-jacente est également une option pour l'intégration avec ces applications.
- Bases de données - L'intégration avec des bases de données utiliserait des requêtes SQL ou des outils de chargement/déchargement en masse pour un débit plus élevé. Il en va de même pour les bases de données hébergées sur cloud. Pour les bases de données NoSQL, il faudrait utiliser un SDK personnalisé ou des API REST pour l'intégration.
- Entrepôts de données - L'intégration avec les entrepôts de données utiliserait des requêtes SQL ou des outils de chargement/déchargement en vrac pour un débit plus élevé. Il en va de même pour les entrepôts de données hébergés sur cloud.
- Lacs de données - Les lacs de données exposent généralement des API au niveau du système de fichiers pour le chargement des données dans les lacs (hydratation du lac de données). Cela s'applique aux lacs de données basés sur Hadoop sur site ainsi qu'aux lacs de données hébergés sur cloud à l'aide de S3/ABFS/GCS, etc.
Options d'outils d'intégration
Il existe une variété d'applications et de systèmes qui stockent des données dans une entreprise. Les différentes options d'outils d'intégration disponibles pour travailler avec ces applications sont les suivantes :
Outils d'intégration sur site
- Soutenir les cas d'utilisation des ELT pour l'intégration des données
- Prise en charge limitée des applications SaaS et des formats de données non relationnels
- Difficile à maintenir et à mettre à jour
Applications d'intégration personnalisées
- Applications internes développées sur mesure pour l'intégration
- Maintenance et mise à jour non triviales, ajout difficile de nouvelles fonctionnalités
Outil axé sur la file d'attente des messages
- Fournir une interface de file d'attente de messages pour l'intégration des applications
- Approche axée sur le développeur, plutôt que sur l'absence de code
- Privilégier les applications internes plutôt que les applications SaaS
Outils d'intégration axés sur le SaaS
- Axé principalement sur l'intégration d'applications SaaS
- Prise en charge limitée des cas d'utilisation sur site et des cas d'utilisation liés à l'intégration des données
Outils axés sur l'écosystème IaaS
- Outils axés sur l'intégration dans un écosystème IaaS particulier
- Prise en charge limitée des applications en dehors de l'écosystème concerné
Outils de gestion de l'API
- Soutenir le développement d'API pour exposer les données de l'application
- Nécessité d'un outil d'intégration supplémentaire pour la création d'API
Outils d'intégration des entrepôts de données
- Soutenir le chargement des données d'application dans les entrepôts de données
- Axé sur le chargement des données dans les entrepôts, support limité pour l'extraction de données à partir des entrepôts
- Pas de prise en charge de l'intégration entre les applications SaaS, prise en charge limitée des lacs de données
Lac de données ou outils Big Data
- Soutenir le chargement des données d'application dans les lacs de données
- Pas de prise en charge de l'intégration entre les applications SaaS, prise en charge limitée des bases de données et des entrepôts de données
Silos à outils
Avec la variété des outils d'intégration disponibles, les entreprises risquent de créer des silos d'outils d'intégration. Si une entreprise dispose d'une instance SAP sur site et d'une application Workday Cloud, elle pourrait être confrontée à un scénario dans lequel plusieurs outils d'intégration sont nécessaires pour intégrer ces applications :
- Outils d'intégration sur site pour intégrer les données SAP à d'autres applications sur site
- Outils d'intégration orientés SaaS pour intégrer Workday à d'autres applications SaaS
- Outils d'intégration de l'entrepôt de données pour charger les données Workday dans un entrepôt Cloud (car l'outil SaaS ne prend pas en charge les chargements de l'entrepôt de données).
- Applications d'intégration personnalisées pour intégrer SAP à Workday, étant donné que les outils d'intégration SaaS ne fonctionnent pas avec SAP sur site et que les outils sur site ne fonctionnent pas bien avec les formats de données complexes utilisés par Workday.
Cela conduit à un scénario de silos d'outils d'intégration, où des outils spécialisés sont nécessaires pour des cas d'utilisation d'intégration spécifiques. Plusieurs outils sont utilisés avec un point final d'application, car aucun outil ne prend en charge tous les cas d'utilisation requis. Les informations d'identification du point d'accès doivent être conservées dans plusieurs outils d'intégration. Chaque nouvelle intégration doit commencer par une réflexion sur l'outil à utiliser pour ce cas d'utilisation.
Voici quelques-uns des défis techniques que pose l'utilisation d'outils d'intégration spécifiques à un cas d'utilisation :
- Mauvais outil pour le travail: Si le seul outil d'intégration disponible est un outil axé sur les big data, tous les problèmes d'intégration deviennent des problèmes de big data. Marteaux et clous !
- Mauvais choix de conception: Si l'outil d'intégration disponible est un outil axé sur l'entrepôt de données, tous les problèmes d'intégration nécessitent l'utilisation de l'entrepôt comme zone de transit. Ce n'est généralement pas la bonne conception pour les cas d'utilisation de l'intégration d'applications et pour les scénarios impliquant des données de journal, pour lesquels des lacs de données seraient mieux adaptés.
- Mouvement unidirectionnel des données: Certains outils spécifiques à un cas d'utilisation ne fonctionnent que dans une seule direction. Par exemple, les outils de chargement d'entrepôts de données chargent généralement les données dans un entrepôt, ils ne prennent pas en charge le chargement des données dans les applications.
Les problèmes posés par ces silos d'outils ne sont pas seulement d'ordre technique. Il y a des problèmes d'ordre organisationnel, car plusieurs équipes doivent gérer les différents cas d'utilisation de l'intégration à l'aide d'outils différents. Il devient impossible d'attribuer la propriété des exigences d'intégration au sein de l'entreprise.
Solution SnapLogic
Chez SnapLogic, nous pensons qu'une entreprise moderne doit pouvoir satisfaire tous les cas d'utilisation de l'intégration avec une seule intégration plateforme. Un tel site plateforme doit être en mesure de prendre en charge diverses exigences en matière d'intégration, notamment :
- Intégration des données: prise en charge d'une variété de systèmes de fichiers, de formats de fichiers, de mécanismes d'authentification, etc.
- Intégration d'applications: prise en charge de la connectivité native avec la plupart des applications d'entreprise et fourniture d'une connectivité basée sur REST et SOAP avec un modèle de données flexible pour prendre en charge les formats de données modernes.
- Facilité d'utilisation: faciliter le développement d'intégrations par les citoyens intégrateurs, plutôt que de se concentrer sur les développeurs.
- Déploiement hybride: faciliter l'accès aux points d'extrémité sur site et sur Cloud de manière transparente.
- Prise en charge des données volumineuses (Big Data) : possibilité d'étendre et de traiter automatiquement les données en parallèle lorsque le volume de données est supérieur à ce qui peut être traité sur une seule instance.
- Fonctionnalité de gestion des API: permettant d'utiliser la fonctionnalité d'intégration des données et des applications pour créer des API et les exposer aux utilisateurs finaux sans nécessiter d'outils APIM externes.
- Fonctionnalité de science des données: permettant de construire, d'entraîner et de déployer des modèles d'apprentissage automatique, en utilisant les fonctions d'intégration pour charger les données en vue de la construction de modèles, les fonctions de ML pour l'entraînement et la fonctionnalité APIM pour le déploiement du modèle.
Chacun des cas d'utilisation susmentionnés nécessite une attention particulière pour pouvoir satisfaire les divers cas d'utilisation auxquels sont confrontées les entreprises. Par exemple, un cas d'utilisation d'intégration de données peut sembler, à un niveau élevé, être un simple cas de lecture de fichiers à partir de S3. En creusant, les détails réels pourraient impliquer des fichiers au format Parquet qui doivent être lus depuis S3, où le fichier S3 est accessible uniquement via un rôle IAM personnalisé et où les données sont cryptées avec des clés gérées par le client. Il est utile d'examiner les détails des cas d'utilisation lors de l'évaluation des outils d'intégration.
SnapLogic plateforme est déployé dans certaines des plus grandes entreprises du monde et peut résoudre tous les défis d'intégration auxquels les entreprises sont confrontées. L'utilisation d'un seul outil d'intégration plateforme présente des avantages significatifs pour le client et permet d'éviter les défis liés aux silos d'outils d'intégration.
