Alors que nous nous préparons pour le Hadoop Summit à San Jose cette semaine, Greg Benson de SnapLogic a écrit un billet sur le blog Hortonworks Hadoop Ecosystem à propos de notre récente annonce SnapReduce 2.0. Merci à nos amis d'Hortonworks de nous avoir donné l'occasion de publier ce billet. Ne manquez pas de suivre le #HadoopSummit pour connaître les nouveautés en matière de big data cette semaine et contactez-nous si vous souhaitez participer au programme d'accès anticipé à SnapReduce 2.0.
J'ai reblogé le message de Greg ci-dessous.
---
John KreisaHortonworks :
De plus en plus de fournisseurs de solutions intègrent Hortonworks Data Platform pour fournir à leurs clients une solution Hadoop d'entreprise.
Dans le cadre de notre série sur la certification HDP 2.1, j'aimerais vous présenter Greg Benson, Chief Scientist chez SnapLogic. Dans ce blog, Greg nous éclaire sur l'intérêt d'obtenir la certification HDP 2.1 et sur les avantages de l'intégration plateforme en tant que service (iPaaS).
SnapLogic 2.0 s'appuie sur YARN pour apporter l'iPaaS à Hadoop, par Greg Benson
SnapLogic fournit un service basé sur cloud pour effectuer un large éventail de tâches d'intégration de données et d'applications. Nous avons récemment lancé SnapReduce 2.0, qui combine l'intégration élastique de SnapLogic plateforme en tant que service(iPaaS) avec des clusters Hadoop sur site et basés sur cloud. SnapReduce 2.0 est compatible avec YARN et a obtenu la certification Hortonworks Data Platform (HDP) 2.1.
SnapReduce 2.0 permet aux clients de tirer davantage parti de leurs investissements dans Hadoop en leur permettant d'exploiter les ressources Hadoop pour des tâches d'intégration de données en plus des autres applications Hadoop. Les applications et les tâches d'intégration de données peuvent désormais s'adapter à la capacité de votre cluster Hadoop en fonction des besoins. En outre, SnapReduce 2.0 facilite l'acquisition et la fourniture de données Hadoop à l'aide d'un concepteur graphique et d'une connectivité Snap à un large éventail d'applications et de magasins de données.
L'iPaaS élastique de SnapLogic prend en charge l'intégration d'applications, l'intégration d'API, ainsi que les cas d'utilisation classiques d'extraction, de transformation et de chargement (ETL). En outre, la prise en charge native des documents hiérarchiques est fondamentale pour SnapLogic. Ce support natif peut être utilisé pour créer facilement des fichiers de données JSON dans HDFS ainsi que des enregistrements orientés ligne selon les besoins. Le concepteur moderne de SnapLogic, basé sur HTML5, facilite l'acquisition et la fourniture de données Hadoop sans programmation. Ceci est particulièrement utile pour les utilisateurs de bases de données et les data scientists qui souhaitent utiliser les données Hadoop mais qui ne sont pas des programmeurs compétents.
YARN est le centre architectural de Hadoop qui contrôle l'accès aux ressources Hadoop critiques et transforme Hadoop en une application multiple plateforme. SnapLogic utilise les clusters Hadoop grâce à son Snaplex basé sur YARN. Un Snaplex est une collection de conteneurs qui peuvent exécuter les pipelines de flux de données SnapLogic. Le contrôle de la conception et de l'exécution des pipelines réside dans notre plan de contrôle basé sur cloud. Cependant, notre Snaplex basé sur YARN se coordonne à la fois avec le gestionnaire de ressources YARN et notre contrôle cloud . De cette manière, nous pouvons appliquer nos algorithmes de mise à l'échelle (scale-out et scale-in) aux nœuds Snaplex fonctionnant dans Hadoop. L'approche de SnapLogic élimine également le besoin de mises à jour logicielles car nos connecteurs, appelés Snaps, sont téléchargés dynamiquement et mis en cache en fonction des besoins. Même le conteneur Snaplex se met automatiquement à jour si nécessaire. Essentiellement, un client peut facilement étendre ses ressources Hadoop pour l'intégration de données en fonction de ses besoins.
En termes de performances, la colocalisation de Snaplex dans Hadoop et avec la destination ou la source des données permet aux pipelines Snaplogic d'acheminer efficacement des données dans HDFS à partir de sources multiples, que ce soit sur cloud ou sur site. De même, les pipelines Snaplogic peuvent être utilisés pour fournir des données HDFS à des applications externes et à des magasins de données.
L'adoption croissante d'Hadoop, associée aux limites des outils traditionnels de gestion des données, a créé une demande pour une nouvelle approche de l'acquisition et de la fourniture de données. La bonne nouvelle est que, alors que de plus en plus d'organisations informatiques s'efforcent d'obtenir des données dans et hors de Hadoop avec des outils d'extraction, de transformation et de chargement (ETL) compliqués et fonctionnellement limités ou hérités, une nouvelle race de technologie d'intégration est apparue, conçue pour répondre aux exigences actuelles en matière de données sociales, mobiles, cloud et de big data.
SnapReduce 2.0 apporte l'iPaaS SnapLogic au traitement à l'échelle Hadoop.
Pour en savoir plus sur SnapLogic SnapReduce 2.0, consultez le site : https://www.snaplogic.com/products
