On peut dire que le Big Data est devenu un sujet si courant qu'il a donné son nom à un groupe de musique. Après l'introduction en bourse réussie de Hortonworks cette semaine, le Wall St. Journal a publié cet article : The Joys and Hype of Software Called Hadoop - Big Data Is Hot in Silicon Valley, and Hadoop Underpins Craze. Pour obtenir un peu de contexte, un peu d'histoire et quelques idées sur ce qui nous attend, j'ai rencontré Gaurav Dhillon, cofondateur et PDG de SnapLogic, pour discuter de tout ce qui concerne les données, de ce qui est différent et du rôle de l'intégration des données à l'ère du social, du mobile, de l'analytique, de cloud et de l'Internet des objets(SMACT).
Voici le podcast :
Voici la transcription de quelques passages clés de la discussion :
Qu'est-ce qui est différent aujourd'hui ? Pourquoi certaines de ces questions deviennent-elles des sujets d'actualité ? Qu'est-ce qui a changé ?
Les statisticiens existent, peut-être pas depuis aussi longtemps que les mathématiciens, mais ils sont arrivés peu après. Ils utilisent des technologies traditionnelles. Ce n'est pas parce que quelqu'un a un outil plus aiguisé qu'il est nécessairement un meilleur artisan. Je suis d'accord, il y a un élément de "Oh, saupoudrez des données et ce sera magique". N'est-ce pas ? Ce saupoudrage magique. Je reconnais tout d'abord que les statisticiens utilisent des formes de ces technologies, que nous appelons aujourd'hui la science des données, d'une manière que certaines entreprises pratiquent depuis longtemps....
Ce qui est différent, c'est que le volume d'informations dont vous disposez et les outils que vous avez à votre disposition vous permettent de passer d'un statut de grand prêtre à une perspective plus proche de l'homme de la rue. Traditionnellement, nous avons démocratisé le reportage. Nous avons démocratisé la manière dont les gens obtiennent des informations. Si ce secteur tient ses promesses et fait preuve de responsabilité à l'égard de toutes les ressources dont il dispose, il est possible de démocratiser les avantages de ce qui serait un effort très hautement financé, très spécialisé, presque au niveau d'un gouvernement national, pour de nombreuses personnes. Il est possible de démocratiser cela en utilisant des technologies à source ouverte, des prix en baisse, de meilleurs produits et des diplômés plus intelligents.
L'analyse reçoit plus que sa part d'attention sur le marché, mais les flux de ces systèmes analytiques ne semblent toujours pas bénéficier de la même attention. Beaucoup d'entreprises sont coincées et utilisent ce qu'elles avaient l'habitude d'utiliser, ou essaient d'utiliser ce qu'elles avaient l'habitude d'utiliser pour résoudre certains des problèmes les plus récents. Qu'est-ce qui change du côté de la plomberie et qui vous enthousiasme ?
Vous avez raison, la plomberie, comme Rodney Dangerfield, ne vous fait pas respecter dans ce secteur. Ce qui compte, c'est le côté "génial", le graphisme. "Oh, regardez ce que nous avons trouvé." Et ainsi de suite. Ce qui change, c'est que la plomberie permet d'avoir deux fois plus de data scientists. Il y a un type d'emploi rare dans le monde, c'est celui des data scientists. Le fait que vous puissiez avoir deux fois plus de chefs, comme confier le poste de sous-chef à quelqu'un d'autre, est extrêmement important pour tout le monde. Peu importe votre richesse, car il y a toujours quelqu'un d'aussi riche que vous, ou de plus riche que vous, qui vous fait concurrence. Le fait que vous puissiez presque doubler l'énergie que vous pouvez consacrer à ce domaine très important est une énorme affaire, et cela entraîne une augmentation de l'importance de la plomberie. De nouveaux termes tels que "data wrangling" apparaissent, pour vous montrer à quel point le rôle de sous-chef dans la préparation de ce merveilleux résultat devient de plus en plus important. Comment établir le profil de ces données ? Comment s'assurer a priori qu'elles arrivent ? Comment traiter les données ? Comment les combiner et les transformer ? Je pense que ces questions gagnent en importance, car il est très clair que l'on peut en tirer deux fois plus d'avantages.
Je vous ai entendu utiliser le terme "intégration médiocre". C'est toujours la même chose. Pourquoi n'utiliserais-je pas les outils dont je dispose ? J'ai dépensé beaucoup d'argent pour cela. Pourquoi ne les utiliserais-je pas pour résoudre certains des nouveaux défis liés aux données dont vous parlez ?
La question n'est pas de savoir si l'on peut ou si l'on ne peut pas. Certains de nos clients comptent parmi les entreprises les mieux financées et les plus importantes du monde. C'est possible. La question est de savoir s'il faut le faire. Dans ce domaine, la question a toujours été : pouvez-vous ou devez-vous ? Ce que j'ai découvert en vingt ans d'activité, c'est qu'il ne faut vraiment pas le faire. Les investissements en R&D que nous avons réalisés - 50 millions de dollars de capital ont été investis dans la construction d'un site plateforme extrêmement performant - nous permettent de faire bénéficier tous nos clients des résultats de ces investissements. En outre, certains attributs du site plateforme permettent de s'attaquer à la manière dont on passe au site Cloud, ainsi qu'à l'élément de données. Le changement dans la gravité des données, le changement dans la façon de penser de l'entreposage de données à l'ancienne, aux architectures modernes du nouveau monde Hadoop que nous voyons. La question n'est pas de savoir si l'on peut, mais si l'on doit.
Quel est l'impact de l'informatique Cloud sur le monde des données ? Quel impact cela a-t-il et aura-t-il dans les 3 à 5 prochaines années ?
Je pense que l'impact apparent immédiat de l'informatique Cloud est que vous êtes en mesure d'allumer un grand nombre de sièges de personnes utilisant ces produits avec l'énorme quantité de compétences et de plomberie nécessaires...
Dans le domaine du marketing, chaque département marketing possède une douzaine ou plus d'applications Cloud/SaaS, souvent sans que le DSI ou quiconque dans l'entreprise ne soit au courant. Ils ne les considèrent pas comme des applications, mais comme des sites web. Et ce n'est que pour une petite entreprise. Cette ceinture d'astéroïdes que traversent ces entreprises entraîne une augmentation de la production de données, de la création de points d'extrémité, de l'engagement et de la nécessité de croiser ou de combiner ces informations. Cela entraîne une croissance des besoins en plomberie qui n'existait pas jusqu'à présent. Dans les années 90, lorsque vous aviez 4 ou 5 systèmes, si vous aviez SAP, Siebel et PeopleSoft, vous en possédiez peut-être un autre. L'existence de cette ceinture d'astéroïdes de sites web qui font fonctionner une entreprise aujourd'hui fait que le problème de l'intégration et de la plomberie se pose avec une acuité sans précédent.
Prédictions technologiques pour 2015 - vous pouvez regarder cette partie de la discussion ici. Voici quelques autres prédictions technologiques pour 2015.
Qu'est-ce que SnapLogic a de différent, qu'est-ce que les gens devraient savoir à propos de SnapLogic qu'ils ne savent peut-être pas déjà ?
Nous avons créé SnapLogic pour changer la façon dont les gens s'engagent dans l'entreprise moderne... Nous avons créé cette entreprise à partir de la base, sur la base des expériences que nous avons eues dans les années 90, pour fournir quelque chose qui est très simple à utiliser, qui s'adapte à la plus grande série de problèmes que l'on puisse nous soumettre, et qui est extrêmement bien connecté - il y a des Snaps pour une variété de points d'extrémité et de points de données. Il s'agit d'un site unique plateforme pour vous aider à passer à Cloud et à utiliser les big data, Hadoop et la science des données pour résoudre les équations analytiques auxquelles vous êtes confronté lorsque votre entreprise subit de grands changements.
Les structures de données changent, les points d'extrémité sont beaucoup plus nombreux. Nous les considérons comme des types de données massivement multipoints. En outre, vous disposez d'une très large population d'utilisateurs, ce qui n'était pas le cas dans les années 90, où l'intégration était davantage une opération de back-office dans le donjon. La salle des machines du navire, pas tout à fait à la passerelle. Les passagers ne savaient même pas qu'elle existait, à moins qu'elle ne cesse de fonctionner.
