J'ai récemment écrit sur la façon dont Hadooplex de SnapLogic atteint une évolutivité élastique, fonctionnant comme une application native YARN dans un cluster Hadoop. Comme je l'ai indiqué dans cet article :
"Au fur et à mesure que la charge de travail augmente, le maître de l'application demande au ResourceManager YARN d'ajouter des nœuds Hadooplex, un par un, comme le montre le diagramme ci-dessous. Cette mise à l'échelle se produit dynamiquement jusqu'à ce que la charge de travail commence à diminuer ou qu'un nombre maximum de nœuds Hadooplex soit atteint.
Au fur et à mesure que la charge de travail diminue, les nœuds commencent à s'éteindre. C'est ainsi que SnapLogic réalise une mise à l'échelle élastique basée sur les volumes de charge de travail au sein d'un cluster Hadoop en utilisant le YARN ResourceManager. Cela n'est possible que si une application est une application YARN native".
J'ai voulu aller plus loin en montrant ce que cela donne dans un SnapLogic Elastic Integration plateforme démonstration. Dans cette démonstration, vous pouvez voir comment Hadooplex, qui est le moteur d'exécution en temps réel, évolue de manière élastique en fonction de la charge de travail.
Vous pouvez en savoir plus sur les plates-formes de traitement des big data SnapLogic dans ce document et découvrir d'autres démonstrations SnapLogic ici. N'oubliez pas de consulter notre prochain site webinar avec Mark Madsen, qui se concentrera sur la nouvelle architecture de référence pour le lac de données de l'entreprise.
