J'ai eu le privilège de travailler pour deux des entreprises technologiques les plus prospères dans le domaine des données - Snowflake Computing [entreposage de données en tant que service (DWaaS)] et SnapLogic [intégration plateforme en tant que service (iPaaS)]. Ces expériences ont été très précieuses pour ma formation en tant que professionnel des données. Après avoir travaillé pour ces grandes entreprises, je me moque maintenant de l'idée que la mise en œuvre d'une initiative axée sur les données est difficile et coûteuse.
Snowflake : Un concentré de performances et d'économies
La séparation de l'informatique et du stockage et la facturation basée sur l'utilisation de Snowflake permettent de réaliser des économies et d'améliorer les performances. D'une part, elle permet aux ingénieurs de données et aux utilisateurs finaux d'exploiter harmonieusement leurs données sans se disputer les ressources informatiques. Un utilisateur peut facilement interroger des téraoctets (To) de données tandis qu'un autre charge la même quantité dans la même table. Pourtant, aucun de ces utilisateurs ne verra une baisse de performance - le chargement et la lecture de données sur les mêmes données n'est plus un problème. Les utilisateurs peuvent instantanément augmenter la puissance de calcul pour terminer leur travail sans avoir à approvisionner du nouveau matériel ou à mettre en marche et à arrêter différentes machines virtuelles (VM). En fait, il suffit de cliquer sur un bouton, et Snowflake s'occupe du reste. De plus, les utilisateurs ne paient que pour ce qu'ils utilisent, ni plus ni moins.
Avec un outil aussi puissant, l'exploitation de son plein potentiel nécessite une intégration de données tout aussi puissante : plateforme. Cela est particulièrement vrai si le projet nécessite des sources multiples et un mélange de types de données structurées et semi-structurées. En outre, les grandes entreprises ont généralement besoin d'intégrer des ressources sur site et sur cloud . J'ai vu beaucoup d'outils d'intégration s'effondrer face à cette ménagerie d'exigences. Heureusement, c'est là que SnapLogic brille.
SnapLogic : Un seul site plateforme pour toutes vos intégrations d'applications et de données
La plate-forme d'intégration intelligente SnapLogic (IIP) vous permet de vous connecter à n'importe quel type de données, à tout moment, à n'importe quelle vitesse, n'importe où, à partir d'un seul site plateforme. Elle se concentre sur les données en mouvement grâce à une architecture basée sur le flux et à une interface utilisateur simple qui fournit des données provenant de plusieurs sources à la fois. Des connecteurs individuels préconstruits, appelés Snaps (semblables à des pièces de Lego pour l'intégration), permettent aux utilisateurs d'esquisser, de tester et de produire leur flux de travail en l'espace de quelques minutes. Comme le site plateforme utilise un type de données semi-structurées, les utilisateurs peuvent rapidement modeler et façonner n'importe quel type de structure de données de la source à la destination, quel que soit le type de source, tout en préservant l'intégrité des données.
Snowflake est plus puissant avec SnapLogic
Le Snap Pack Snowflake de SnapLogic a été développé avec soin et attention. Il complète les forces de Snowflake et s'adapte à ses nuances. Les Snap Bulk Load tirent parti de la commande COPY de Snowflake en stockant automatiquement les données entrantes dans des étapes internes ou externes. Le Snap Multi Execute respecte la nature auto-commit de Snowflake en donnant aux utilisateurs un contrôle plus fin dans la gestion des transactions. Le Snap SCD Type 2 étend la capacité de capture des données de changement de Snowflake.
SnapLogic étend encore le Snowflake Snap Pack en permettant des connexions à partir de bases de données sur site telles que MySQL, PostgreSQL, MS SQL, Oracle DB, Teradata et Netezza. Dans le même temps, vous pouvez extraire des données d'applications sur site ou cloud , de ressources REST ou SOAP, ou de systèmes de fichiers - je parle de tout cela en même temps, simultanément, sans écrire une seule ligne de code ! En outre, la couche de gestion des flux de travail de SnapLogic vous permet de déployer, de surveiller et de dépanner rapidement les workflows à partir d'une vue unique. Les couches de gestion d'API REST natives peuvent transformer toutes vos intégrations en points d'extrémité RESTful que d'autres applications peuvent utiliser. Il s'agit d'une véritable plateforme unifiée pour tous vos besoins d'intégration.
Cas d'utilisation populaires pour SnapLogic et Snowflake
Récemment, j'ai étudié des cas d'utilisation uniques impliquant SnapLogic et Snowflake. J'ai créé une série de vidéos présentant les possibilités uniques de combinaison des deux outils. N'hésitez pas à les visionner.
- Migration de Teradata vers Snowflake
- Flocon de neige SCD 2
- Flocon de neige LZO Compression
- Contrôle de version DDL Snowflake
SnapLogic est étroitement intégré à Snowflake. Il simplifie la gestion des connecteurs Snowflake et enrichit l'expérience de l'utilisateur grâce à l'ensemble d'opérations ETL et ELT le plus polyvalent qui soit. Obtenez plus rapidement des informations sur votre entreprise en fournissant des données à Snowflake avec SnapLogic. Les utilisateurs de Snowflake peuvent facilement accéder à SnapLogic via le portail Snowflake Partner Connect. Visitez le portail dès maintenant pour accéder à tous les Snowflake et autres Snap Packs de SnapLogic !
