Hier, SnapLogic a organisé une conférence à l'adresse webinar , au cours de laquelle ont été présentés les éléments suivants Doug Henschen de Constellation Research appelée Démocratiser le lac de données : L'état de la gestion des Big Data dans l'entreprise. Doug a donné le coup d'envoi en rappelant où nous en étions et où nous en sommes aujourd'hui, à l'aide d'exemples convaincants tirés de l'histoire de l'entreprise. Le deuxième âge de la machinepar Erik Brynjolfsson et Andrew McAfee. En ce qui concerne la puissance de l'informatique moderne, par exemple, en 1996, le U. S ASCI Rouge La PlayStation 3 de Sandia Labs a coûté 55 millions de dollars, mesurait 1 600 pieds carrés et disposait d'une puissance de calcul de 1,8 téraflops. En 2006, la PlayStation 3 de Sony, vendue à 499 dollars, mesurait 4 x 12 x 10 pouces et disposait d'une puissance de calcul de 1,8 téraflops. Incroyable ! Doug a ensuite évoqué l'impact de l'informatique distribuée et l'évolution des logiciels (pensez à Kasparov contre Big Blue par rapport au jeu d'échecs sur votre ordinateur portable aujourd'hui).
Bien sûr, certains de ces faits sont souvent discutés, et il n'y a pas de pénurie de statistiques sur l'impact du big data sur chaque industrie ainsi que sur notre vie quotidienne, mais ce que j'ai vraiment aimé dans le message de Doug, c'est l'importance de se concentrer sur ce qui génère réellement de la valeur pour l'entreprise. Utilisez le big data pour améliorer la compréhension analytique, mais n'oubliez pas que "le big data n'est qu'une partie de la tendance à la perturbation numérique".
La présentation de Doug a passé en revue le marché Hadoop actuel, en notant que le segment à la croissance la plus rapide est le passage à cloud. Hadoop a été accepté comme la norme plateforme avec une adoption croissante dans l'entreprise, mais Spark est définitivement l'accélérateur. En ce qui concerne le lac de données, Doug a soulevé un certain nombre de points importants :
- Il ne s'agit pas seulement de nouveaux types de données. Il s'agit souvent de données que les organisations ne pouvaient tout simplement pas se permettre de recycler ou d'analyser de manière pratique par le passé.
- Il ne s'agit pas de remplacer un entrepôt de données d'entreprise - il est toujours nécessaire d'effectuer ce qu'il appelle des "requêtes industrialisées par rapport à des données connues".
- Il s'agit d'intégrer de nouvelles données, avec comme moteur commun l'analyse proactive et prédictive.
- Un cluster peut se transformer en marécage s'il n'est pas doté d'une infrastructure bien ordonnée.
Avant de plonger dans les rouages du lac de données d'entreprise et de passer en revue les fournisseurs de chaque catégorie, la conversation s'est concentrée sur les cas d'utilisation spécifiques des big data par secteur. Des exemples spécifiques d'études de cas sur lesquelles il a travaillé ont été partagés - de l'analyse et l'optimisation des campagnes dans le marketing et la publicité numériques, à l'archivage, au blanchiment d'argent dans les services financiers, à l'optimisation de la chaîne d'approvisionnement dans le commerce de détail, aux initiatives de désabonnement des clients dans les télécommunications, à l'analyse des fraudes dans l'assurance.
Je vous encourage à regarder l'intégralité de la présentation ici. À l'instar de certains exemples d'architecture de lac de données et de livres blancs que nous avons récemment partagés sur le blog de SnapLogic, il existe un certain nombre de conclusions solides sur la façon d'envisager le lac de données par rapport à votre infrastructure de données existante. L'essentiel ? Comme Doug l'a écrit sur son blog, Hadoop a 10 ans et, comme tous les parents le savent, il est important de passer du temps avec ses enfants, d'essayer d'atténuer les risques et de fixer des limites appropriées au fur et à mesure qu'ils grandissent. Il en va de même pour vos données : connaissez vos données, vos utilisateurs et vos risques, et fixez les limites appropriées tout au long de votre courbe de maturité.
En tant qu'industrie, nous devons démocratiser Hadoop et simplifier les efforts pour créer des lacs de données. Nous nous dirigeons vers une ère plus cognitive et la monétisation des données est une tendance brûlante, mais le "voyage vers le numérique ne peut être accompli sans connectivité". Lorsqu'il s'agit de votre stratégie d'intégration des données, assurez-vous qu'elle est compatible avec cloud, les services et l'enrichissement des données. Mais voyez plus grand - comment un lac de données va-t-il générer de nouvelles activités et de nouveaux modèles de données ?
Je tiens à remercier Doug Henschen et Constellation Research pour leur excellente présentation du marché et leur discussion. Il y a beaucoup d'autres choses que je n'ai pas abordées dans la présentation complète, qui est disponible sur le site web de SnapLogic. Je vous laisse avec cette diapositive, qui résume ce que les utilisateurs d'Hadoop disent aujourd'hui :
