Des personnes du monde entier se sont rendues à Las Vegas juste après les vacances de Thanksgiving pour assister à l'une des plus grandes conférences de l'année : Amazon Web Services (AWS) re:Invent. L'équipe de SnapLogic était présente en force pour sensibiliser le public, rencontrer des clients, des partenaires et des prospects. Michael Nixon, de SnapLogic, a présenté une merveilleuse session théâtrale sur la façon dont les organisations peuvent " guérir Cloud Data Architecture Complexity " (complexité de l'architecture des données). Si vous n'étiez pas présent ou si vous n'avez pas eu l'occasion de suivre l'une des conférences, voici les principaux thèmes abordés lors de l'événement.
Importance croissante de la gestion, de la gouvernance et du partage des données
Face à la croissance exponentielle des données, les entreprises ont besoin d'outils pour gérer et gouverner ces données afin de les exploiter efficacement. En outre, pour offrir une expérience client de qualité supérieure, elles ont également besoin d'outils pour partager ces données sans les copier.
AWS a annoncé Amazon DataZone qui fournit des contrôles fins pour régir l'accès aux données. Elle fournit également un catalogue de données alimenté par la ML qui permet aux utilisateurs de découvrir des sources de données en spécifiant des termes commerciaux. Parmi les autres améliorations clés, citons la fonction Glue Data Quality qui permet aux équipes de mesurer, de surveiller et de gérer la qualité de leurs données, ainsi que la fonction de gouvernance et d'auditabilité pour le développement ML de bout en bout pour Amazon SageMaker.
Pour éviter les retards et les coûts liés au déplacement des données, Amazon a mis en place une interopérabilité entre différents services AWS tels que Redshift, SageMaker et Athena. Amazon a également introduit un contrôle d'accès centralisé pour gérer le partage des données Redshift afin d'améliorer l'expérience.
Le concept de maillage de données est excellent. Comment le mettez-vous en pratique ?
Le maillage des données constitue un modèle opérationnel idéal qui permet aux experts du domaine d'être les propriétaires des produits de données. Ce modèle de propriété distribuée décharge les équipes centrales chargées des données, qui peuvent alors se concentrer sur les questions opérationnelles et stratégiques de leur architecture de données. Mais peu de gens l'ont mis en pratique, c'est pourquoi il était formidable d'apprendre des organisations qui ont construit un maillage de données ou qui ont aidé leurs clients à en construire un.
Capital One a réalisé son maillage de données grâce à une approche en deux volets :
- Définir des normes communes concernant la structure organisationnelle, la conservation des métadonnées, les normes de qualité des données, les droits communs en fonction de la sensibilité des données et de la qualité des données.
- Créer d'excellentes expériences utilisateur pour les éditeurs de données, les consommateurs de données, les gestionnaires de risques et les propriétaires de données d'entreprise
L'équipe AWS a expliqué comment tirer parti de divers services AWS pour mettre en œuvre un modèle de maillage de données. Les utilisateurs peuvent exploiter divers services de données tels que DynamoDB, EMR, Aurora, SageMaker, Redshift ou OpenSearch pour apporter des données opérationnelles et analytiques à un lac de données Amazon S3. Ils peuvent ensuite utiliser Lake Formation Data Catalog pour cataloguer toutes les données disponibles et définir des normes de gouvernance pour chacune d'entre elles. Les experts du domaine peuvent ensuite publier des ensembles de données gouvernés vers des consommateurs internes et externes à l'organisation à l'aide d'AWS Data Exchange.
Simplifiez la complexité de votre architecture de données
Le paysage des outils de données continue d'évoluer et, à mesure que les organisations adoptent des outils pour le chargement des données, l'ETL/la transformation des données, l'intégration des données, l'ETL inverse, les intégrations d'application à application, la gestion des services de données basés sur l'API, elles se retrouvent avec une architecture de données complexe. Si certaines de vos équipes peuvent répondre à leurs besoins à court terme, les équipes informatiques et, à leur tour, votre organisation se retrouvent avec une prolifération d'outils et une vision fragmentée des intégrations. Et si les choses tournent mal, ou si vous devez déboguer quelque chose, vous devez faire le tri pour trouver la cause première. AWS et d'autres fournisseurs en sont conscients et veulent contribuer à simplifier l'architecture. AWS a dévoilé sa vision "zéro ETL", qui consiste en fait à automatiser la plupart des processus ETL. Comme première étape vers cette vision, AWS a annoncé l'intégration entre Amazon Aurora et Redshift.
L'équipe SnapLogic a rencontré sur notre stand un certain nombre de personnes qui souhaitaient simplifier leur architecture de données. Certains voulaient s'éloigner des plateformes ETL traditionnelles telles qu'Informatica ou IBM DataStage. D'autres se sentaient limités par les chargeurs de données, dont les prix sont imprévisibles et qui offrent pourtant peu de fonctionnalités. En outre, certains cherchaient une alternative aux outils lourds en code tels que MuleSoft, ou voulaient donner plus de pouvoir aux équipes commerciales. Le thème sous-jacent à toutes ces conversations était le désir des organisations de simplifier leur architecture de données en combinant plusieurs outils en un seul.
SnapLogic vous aide à remédier à la complexité de l'architecture de données cloud avec un seul site plateforme qui peut faire de l'ETL, de l'ELT, de l'intégration d'application à application, du Reverse-ETL et de la gestion d'API pour les utilisateurs techniques et commerciaux, avec des déploiements hybrides, le tout en une seule expérience utilisateur transparente.
Nous espérons vous voir à un événement AWS près de chez vous, mais en attendant, si vous souhaitez en savoir plus sur SnapLogic, faites-le nous savoir et nous serons heureux de vous guider.
