Que se passe-t-il lorsque vous êtes confronté au défi de maintenir un entrepôt de données existant tout en gérant des volumes, des variétés et des vitesses de données en constante augmentation ?
Bien que puissants à l'époque des données structurées, les anciens entrepôts de données étaient généralement constitués de technologies SGBDR d'Oracle, d'IBM, de Microsoft et de Teradata. Les données étaient extraites, transformées et chargées dans des data marts ou dans l'entrepôt de données de l'entreprise à l'aide d'outils ETL traditionnels, conçus pour traiter des cas d'utilisation orientés batch, fonctionnant sur des serveurs coûteux à plusieurs cœurs. À l'ère du libre-service et du big data, ces technologies et approches sont en train d'être repensées dans l'informatique d'entreprise.
En réponse à ces défis, les entreprises s'orientent résolument vers des solutions modernes de gestion des données qui consistent en des bases de données NoSQL telles que MongoDB, des distributions Hadoop de fournisseurs tels que Cloudera et Hortonworks, des systèmes basés sur cloud tels qu'Amazon Redshift, et la visualisation des données de Tableau et d'autres. Au cours de ce voyage vers le big data et l'entrepôt de données cloud , de nombreux interlocuteurs ont réalisé qu'il était vital non seulement de moderniser leurs implémentations d'entrepôts de données, mais aussi d'assurer la pérennité de la collecte et de l'introduction des données dans leurs nouvelles infrastructures analytiques - ce qui nécessite une solution d'intégration de données agile et multipoint qui soit à la fois transparente et capable de traiter des données structurées et non structurées en continu, en temps réel et par lots. Au fur et à mesure que les entreprises repositionnent l'informatique et l'infrastructure analytique, passant de centres de coûts de gestion de l'infrastructure dorsale à un partenaire de bout en bout de l'entreprise, les modèles de service deviennent une partie intégrante des feuilles de route de l'informatique et de l'entreprise.
La flexibilité, la puissance et l'agilité requises pour le nouvel entrepôt de données
Dans la plupart des entreprises d'aujourd'hui, l'objectif de l'informatique n'est plus d'utiliser ses précieuses ressources pour des tâches lourdes et indifférenciées, mais plutôt de fournir une valeur commerciale différenciatrice. En utilisant SnapLogic pour rapprocher la gestion de l'intégration des big data de la périphérie, les ressources peuvent être libérées pour des projets et des tâches à plus forte valeur ajoutée, tout en rationalisant et en accélérant l'ensemble du processus de transformation des données en informations. Le constructeur de pipeline de données par glisser-déposer et l'intégration en continu de SnapLogic plateforme suppriment la charge et la complexité de l'ingestion de données dans des systèmes tels que Hadoop, transformant l'intégration de données d'un processus rigide et chronophage en un processus davantage géré et contrôlé par l'utilisateur final.
Gains de productivité grâce à une intégration plus rapide des données
Une approche plus rapide de l'intégration des données permet non seulement de stimuler la productivité, mais aussi, dans de nombreux cas, de réaliser des économies substantielles. Dans un cas précis, un client de SnapLogic disposant de plus de 200 interfaces d'intégration, gérées et prises en charge par une équipe de 12 personnes, a pu réduire son empreinte de gestion de l'intégration à moins de 2 ETP, réalisant ainsi une économie annuelle de plus de 62 % sur les coûts matériels, une amélioration annuelle de 8:1 en termes d'ETP, des économies d'infrastructure de plus de 50 % et une amélioration de 35 % de son calendrier de mise à jour de la technologie de développement. Ce même client a réalisé un gain net de productivité et une accélération de la mise sur le marché en transférant la propriété de son processus d'ingestion de données Hadoop aux data scientists et aux spécialistes du marketing. Ce changement a permis à l'entreprise d'être plus réactive tout en rationalisant de manière significative l'ensemble de son processus d'analyse des données pour une prise de décision plus rapide, moins coûteuse et de meilleure qualité dans l'ensemble de l'entreprise.
Entreprise plus agile
Une plus grande agilité d'intégration signifie avoir la capacité d'effectuer des déplacements et des changements plus rapides, plus efficaces et moins coûteux. La conception modulaire de SnapLogic permet aux scientifiques des données et aux spécialistes du marketing d'être légers, de faire des ajouts, des déplacements et des changements en un clin d'œil avec l'assurance dont ils ont besoin à mesure que de nouvelles idées surgissent et que de nouveaux types de sources de données entrent en jeu.
En intégrant Hadoop par le biais de la plate-forme d'intégration d'entreprise SnapLogic, avec une intégration de données rapide, moderne et multipoint, les clients ont la possibilité de se connecter de manière transparente à des données provenant de pratiquement n'importe quel point final, qu'il s'agisse de données basées sur cloud, de données au sol, de données héritées, structurées ou non structurées, et de les diffuser en continu. En outre, en simplifiant l'intégration des données, les clients de SnapLogic n'ont plus besoin d'utiliser des ressources informatiques précieuses pour gérer et maintenir les pipelines de données, ce qui les libère pour contribuer à des domaines de plus grande valeur commerciale.
Randy Hamilton est un entrepreneur et un technologue de la Silicon Valley qui écrit régulièrement sur des sujets liés à l'industrie, notamment cloud, big data et IoT. Randy a été instructeur (Open Distributed Systems) à l'UC Santa Cruz et a occupé des postes chez Basho (Riak NoSQL database), Sun Microsystems et Outlook Ventures, tout en étant l'un des membres fondateurs et vice-président de l'ingénierie chez Match.com.
Prochaines étapes :
- Lire le livre blanc : La mort de l'intégration traditionnelle des données
- Contactez-nous pour discuter de vos besoins en matière d'intégration de cloud et de big data.
