Une perspective d'intégration cloud
J'ai eu l'occasion de participer au Snowflake Summit (3-6 juin) avec l'équipe de SnapLogic. Snowflake est l'une des deux plateformes d'entrepôt cloud dominantes sur le marché, avec Amazon Redshift, et l'événement a mis en évidence cette domination. J'ai vu un ensemble varié de clients et de prospects de Snowflake, du commerce de détail aux biosciences, des entreprises du Fortune 100 aux petites startups. L'ensemble de l'écosystème Snowflake était également exposé lors de la conférence. L'étage de l'exposition - "Basecamp" - était rempli de stands d'un certain nombre de partenaires de Snowflake, y compris SnapLogic. partenaires de Snowflake, dont SnapLogic.
Lors de cet événement, Snowflake a annoncé de nouvelles fonctionnalités intéressantes telles que Snowflake Materialized Views et la réplication et le basculement de la base de données à travers plusieurs régions ou fournisseurs de services cloud . Vous pouvez en savoir plus sur ces fonctionnalités ici. Mais ce sont les différentes sessions en petits groupes du Snowflake Summit qui m'ont le plus éclairé. J'ai découvert les défis auxquels les clients de Snowflake sont confrontés et les stratégies qu'ils adoptent pour les relever.
Voici quelques défis communs auxquels les équipes informatiques ont dû faire face avant d'adopter Snowflake.
- Problèmes de performance le lundi matin, lorsque tout le monde reprend le travail et actualise son tableau de bord.
- Coûts élevés dus à l'approvisionnement en ressources informatiques pour les pics de charge avec d'autres entrepôts de données ; manque d'auto-élasticité.
- Explosion des données : obligation d'éliminer des données telles que les données de parcours, les données logistiques des transporteurs et les données de gestion de la relation client (CRM) en raison du stockage limité des appareils sur site.
- La gestion des centres de données et des serveurs empêche les entreprises de s'adapter aux évolutions du marché et étouffe l'innovation.
- Les outils ETL/ELT sous forme de scripts sont fragiles et difficiles à maintenir.
Voici trois grands thèmes des solutions adoptées par les clients pour relever les défis susmentionnés :
1. Stratégie multi-outils
La plupart des entreprises ont une stratégie multi-outils en matière d'intégration de données. Le modèle de consommation de logiciels en tant que service (SaaS) permet une telle stratégie. Grâce à ce modèle, les entreprises peuvent évaluer plusieurs produits logiciels en peu de temps, puis mettre en place un processus/un flux de travail pour relier tous ces outils entre eux. Il est facile d'adopter de multiples outils tant que la prolifération est gérable.
Cependant, à mesure que les besoins de l'entreprise évoluent et que votre écosystème d'outils change, vous devez périodiquement - environ tous les 1,5 à 2 ans - évaluer l'ensemble des outils que vous utilisez. J'ai remarqué qu'alors que quelques organisations réévaluaient constamment leurs ensembles d'outils, d'autres continuaient à utiliser des outils sous-optimaux. Chaque organisation a une certaine inertie en ce qui concerne les applications d'entreprise et les processus d'affaires. Il est donc important de choisir un outil en fonction non seulement des besoins actuels, mais aussi des besoins futurs.
2. Un délai plus court pour obtenir une valeur
Les startups sont toujours confrontées à une pression intense pour rester compétitives, rester pertinentes et développer leur base de clients. Si elles veulent utiliser des outils qui leur donnent un avantage, elles ne peuvent pas se permettre de passer par de longs cycles d'évaluation lorsqu'elles choisissent un nouvel éditeur de logiciels. Elles recherchent des outils qui les rendent productives et qui sont également faciles à évaluer.
Un certain nombre de clients de Snowflake ont choisi un outil pour leur écosystème Snowflake afin de répondre à un besoin spécifique tel que le chargement et la réplication de données. Un outil point à point comme celui-ci répond à leur besoin immédiat tout en restant dans les limites de leur budget.
Ainsi, pour attirer les startups, il est important qu'un produit SaaS fournisse :
- Un essai gratuit, éventuellement accompagné de ressources pour un POC autodirigé
- Un processus d'intégration transparent pour les nouveaux utilisateurs
- Une assistance et une communauté d'utilisateurs pour les utilisateurs de la version d'essai afin qu'ils puissent trouver rapidement des réponses
- Solutions rapides sur les plateformes publiques cloud
3. Utilisation de scripts
Les scripts SQL ou Python restent un outil dominant pour les équipes chargées des entrepôts de données. En fait, certaines équipes ont un standard SQL où les analystes écrivent des requêtes en SQL et possèdent la logique de transformation des données.
De nombreuses applications SaaS dans le domaine de l'intégration et de l'analyse ont évolué pour permettre aux utilisateurs professionnels de disposer d'un site plateforme avec peu ou pas de code pour créer des intégrations ou pour préparer des données en vue de créer des tableaux de bord. Cependant, lorsqu'il s'agit de préparer et de charger des données dans un entrepôt de données tel que Snowflake, ce sont toujours les ingénieurs de données qui sont aux commandes.
Ils s'appuient fortement sur leurs compétences en matière de codage et de script. Cela dit, j'ai également vu des signes indiquant qu'ils adopteront des outils automatisés et des connecteurs prédéfinis qui leur permettront de se concentrer sur des tâches plus stratégiques - s'assurer que l'expérience de l'utilisateur final est optimale, que la logique de transformation des données est précise, que le site les workflows est performant, etc.
Comme de plus en plus d'entreprises prennent des mesures pour collecter des données et en tirer des informations, l'importance des entrepôts de données, de l'ingénierie des données et des outils d'intégration des données va continuer à croître. La plate-forme SnapLogic Intelligent Integration Platform - une solution unifiée qui permet aux ingénieurs de données, aux analystes commerciaux et aux spécialistes de l'intégration de réaliser une intégration de bout en bout des données et des applications - est bien placée pour saisir cette opportunité de croissance.
