Publié à l'origine sur Data Centre Review.
La transformation numérique bouleverse l'approche informatique de nombreuses organisations et les données sont au centre de tout cela. En conséquence, les organisations sont en train de vivre un changement important dans l'endroit et la manière dont elles gèrent, stockent et traitent ces données.
Dans un passé pas si lointain, les entreprises traitaient de gros volumes de données en créant un cluster Hadoop sur site à l'aide d'une distribution commerciale telle que Cloudera, Hortonworks ou MapR.
Les données analysées étaient principalement structurées et nécessitaient un investissement initial important pour l'achat du matériel nécessaire. En outre, Hadoop est une infrastructure complexe à gérer et à surveiller, qui exige des organisations qu'elles emploient des personnes ayant des compétences spécialisées, compétences qui sont rares.
Pour résoudre ces problèmes, de nombreuses organisations se sont tournées vers le site cloud. Cependant, les avantages promis par le transfert des projets de big data vers le site cloud n'ont pas été réalisés pour la plupart des organisations et, par conséquent, les lacs de données sont toujours laissés sur place.
Vers les nuages
En créant ou en migrant leur architecture big data sur le site cloud, les entreprises peuvent bénéficier d'économies considérables sur les coûts d'exploitation, d'une puissance de traitement des données quasiment illimitée et des options de mise à l'échelle instantanée offertes par le site cloud . En outre, elles n'ont pas besoin d'engager d'importantes dépenses d'investissement au départ ni de s'inquiéter d'avoir une connaissance approfondie de Hadoop.
De nombreuses entreprises procèdent actuellement à un " lift and shift ", c'est-à-dire qu'elles déplacent leur cluster de données sur site vers le site cloud. Mais historiquement, cette démarche s'est accompagnée de ses propres problèmes, et une grande partie des défis liés au déplacement des projets de big data vers le site cloud ont été liés au simple fait d'obtenir les bonnes données au bon endroit.
C'est une question de compétences et de coût
Transférer des données volumineuses sur le site cloud semble assez simple. Mais la migration des lacs de données sur site vers cloud , puis la connexion des environnements big data basés sur cloud avec diverses sources de données, tout en créant des pipelines Apache Spark pour transformer ces données, nécessitent des connaissances hautement techniques et des ressources de codage continues de la part des ingénieurs de données et des groupes informatiques de base.
Les développeurs doivent écrire du code pour s'intégrer à l'interface de programmation (API) et aux mécanismes d'authentification de chaque application, permettant ainsi aux données de circuler librement entre les applications et le lac de données. Non seulement ce processus prend énormément de temps, mais il est également source d'erreurs, deux réalités qui sont amplifiées lors de la phase de maintenance des projets de big data basés sur le site cloud.
Comme pour tout autre projet logiciel, le code se dégrade avec le temps et doit être mis à jour. Si le développeur qui a écrit le code quitte l'entreprise, il arrive souvent que la capacité de l'organisation informatique à comprendre le pipeline utilisé au niveau du code disparaisse également.
Cette perte de temps pour le personnel informatique essentiel est l'un des principaux problèmes que les organisations ont dû surmonter pour passer à des projets de big data basés sur le site cloud. La gestion et la surveillance intensives requises se traduisent en fin de compte par des coûts opérationnels prohibitifs, un délai de rentabilisation plus long et une stratégie qui ne fait rien pour remédier à l'écart entre les dépenses d'exploitation et les compétences qui ne cesse de se creuser.
Il est difficile de trouver des personnes possédant les compétences et l'expérience nécessaires pour créer des pipelines big data et cloud . Il n'est pas surprenant que cette situation soit influencée par la pénurie actuelle de compétences dans le domaine des technologies de l'information.
Une étude menée par Experis a montré que la demande de compétences et de professionnels en big data a augmenté de 78 % au cours de l'année dernière, tandis que la demande de compétences et de professionnels sur le site cloud a augmenté de 30 % au cours de la même période.
Ces personnes étant très rares, si vous parvenez à les intégrer à votre équipe informatique, le fait qu'elles se consacrent uniquement à la gestion et à la maintenance de l'environnement big data, avant, pendant et après la migration vers le site cloud est franchement un gaspillage de ressources. Cela a également un impact important sur le deuxième grand problème de la migration vers cloud : le coût.
Si vous employez des personnes hautement qualifiées, vous voulez qu'elles apportent des avantages significatifs et stratégiques à l'entreprise. Pour se concentrer sur des tâches et des projets de plus grande valeur qui aideront l'organisation à innover. La flexibilité et l'évolutivité du site cloud peuvent constituer un avantage considérable dans le cadre d'un effort d'innovation. Mais le temps proposé pour l'innovation, identifié au début de la migration vers cloud , ne sera jamais atteint si les équipes se concentrent uniquement sur la gestion de l'infrastructure pour faire fonctionner le projet Big Data.
Acheter ou construire
La solution à ce problème est relativement simple et se résume à la question de savoir s'il faut acheter ou construire. À moins d'être Google, il y a de fortes chances que vous ne construisiez pas vous-même tous les aspects de votre parc informatique. Alors pourquoi devriez-vous construire vous-même toutes les connexions dont vous avez besoin ?
Pour que les projets de big data prospèrent plus rapidement sur le site cloud , les entreprises devraient envisager la mise en œuvre d'une architecture de données entièrement gérée, comprenant les intégrations de données (iPaaS), le traitement (BDaaS) et le stockage (SaaS).
Ainsi, les entreprises devraient être en mesure de fournir sans effort des ensembles de données volumineux vers et depuis leurs lacs de données basés sur cloud, quelle que soit l'origine des données. Cette approche peut également accroître la productivité en éliminant les tâches manuelles fastidieuses liées à l'ajout d'informations et à la transformation des données, ce qui permet aux équipes de se concentrer sur les activités génératrices de valeur.
En soutenant cette architecture de données gérée avec le libre-service, les organisations peuvent libérer encore plus de temps au sein de l'équipe informatique. L'intégration en libre-service permet aux entreprises de créer rapidement et facilement des pipelines de données automatisés sans codage, et l'analyse en libre-service permet aux analystes et aux utilisateurs professionnels de manipuler facilement les données sans intervention de l'informatique.
En utilisant des outils en libre-service comme celui-ci, ce ne sont pas seulement les organisations dotées d'équipes informatiques complètes qui peuvent en bénéficier, les entreprises qui peinent à recruter des talents en matière de codage peuvent également développer leurs propres pipelines de big data cloud dans le cadre de leur architecture de données gérée sur le site cloud.
Supprimer les complexités
Il devrait être simple de mener des projets de big data sur le site cloud . Toutes les organisations, quelle que soit leur taille, devraient pouvoir bénéficier de tous les avantages offerts par cloud dès qu'elles sont opérationnelles, et non pas des années plus tard. Ce n'est qu'en prenant du recul au stade de la planification et en éliminant les complexités liées à la migration et à l'intégration de cloud que les entreprises pourront enfin mettre leurs projets de big data au service de l'innovation et de la création de valeur pour l'entreprise.
