SnapLogic a annoncé aujourd'hui SnapReduce 2.0, qui vise à rendre les données volumineuses élastiques.
Comment nous en sommes arrivés là :
Bien qu'Hadoop promette une valeur considérable en termes d'informations sur des données d'entreprise jusque-là inexploitées, toutes les organisations n'ont pas été en mesure d'atteindre la terre promise parce que.. :
-
La plupart des clients ne sont pas en mesure d'accéder à toutes les données dont ils ont besoin pour obtenir des informations analytiques complètes et de les intégrer. Grâce aux capacités de traitement massivement parallèle d'Hadoop, plus vous intégrez de données, plus vos algorithmes sont intelligents et meilleures sont vos conclusions. Les outils de développement tels que Sqoop sont difficiles à utiliser et peuvent devenir très lourds à maintenir avec peu de réutilisation. En outre, ces outils permettent d'acheminer des données à partir de systèmes sur site, mais ils obtiennent des données provenant d'applications et de sources cloud telles que Salesforce et Workday, ainsi que d'applications personnalisées fonctionnant sur des clouds publics tels que Amazon Web Services (AWS) et Microsoft Azure.
-
MapReduce, le principal moteur de traitement des données dans Hadoop, est également un outil très centré sur le développeur. Pour effectuer des analyses, les scientifiques des données doivent écrire des tâches MapReduce et on attend désormais d'eux qu'ils soient d'excellents codeurs, en plus de leur connaissance des données et des statistiques. L'ajout d'une ressource de développement à la disposition du scientifique des données ne fait que le ralentir, car chaque petite modification devient une demande de changement.
La communauté Hadoop a reconnu ces lacunes et a rendu Hadoop plus extensible en introduisant Yet Another Resource Negotiator (YARN). YARN, alias MapReduce 2.0, permet aux utilisateurs d'Hadoop d'exécuter n'importe quel travail arbitraire dans le cadre d'Hadoop.
SnapReduce 2.0
Avec SnapReduce 2.0, SnapLogic met l'ensemble de sa plateforme d'intégration élastique à la disposition des utilisateurs d'Hadoop. En la rendant gérée par YARN, les utilisateurs peuvent désormais rendre leurs big data élastiques. Voici comment procéder :
-
Échelle élastique : Les utilisateurs peuvent exécuter leurs intégrations élastiques à l'échelle Hadoop en exécutant les intégrations SnapLogic nativement sur Hadoop en tant que ressources gérées par YARN. Cela est possible grâce à la technologie SnapLogic Intégration définie par logiciel architecture dans laquelle les plans de données ne sont que des exécutants d'instructions envoyées par le système d'information. plan de contrôle. Ces plans de données, appelés Snaplex, peuvent être exécutés sur n'importe quel site plateforme compatible avec Java, dont Hadoop fait partie. -
Des données plus riches dans Hadoop : Au-delà de l'intégration de données de base, les data scientists peuvent également incorporer des données provenant de plus de 160 sources de données, à la fois sur site et sur le site cloud, sans aucun codage. L'interface utilisateur par glisser-déposer de SnapLogic ne nécessite pas de compétences spécialisées en matière d'intégration pour les scientifiques des données. En outre, les pipelines d'intégration sans schéma de SnapLogic (faiblement typé ou fortement typé) deviennent très résilients et réutilisables dans le monde du big data.
-
Préparation des données : Avec SnapReduce et SnapLogic, les data scientists peuvent transformer et enrichir graphiquement les données sans aucun codage. Les tâches courantes mais fastidieuses telles que l'union et les jointures deviennent une question de glisser-déposer et de configuration.
-
Livraison élastique : SnapReduce 2.0 leur permet également de diffuser de manière élastique leurs résultats analytiques via plusieurs canaux de diffusion - fichiers, API ou techniques de visualisation telles que Tableau. Les data scientists peuvent créer des pipelines qui lisent leurs ensembles de résultats à partir d'Hadoop et les transmettent aux analystes commerciaux sous forme de fichiers CSV, de fichiers au format Tableau, ou aux entrepôts de données traditionnels et aux outils de BI au format relationnel, pour une expérience analytique hautement optimisée.
Avec la consolidation du stockage, de l'informatique et maintenant l'intégration des grandes données dans Hadoop plateforme, les clients disposent désormais d'une seule et unique solution de gestion des données : plateforme . Cela les aide à rationaliser leur pile de gestion de données sur Hadoop et à rationaliser leurs investissements dans le big data. Les clients existants de SnapLogic comptent sur nous pour les aider dans leurs initiatives en matière de big data. Il s'agit généralement de clients qui ont déjà fait confiance à SnapLogic Elastic Integration Platform pour leurs besoins d'intégration d'applications, d'API ou d'ETL/ELT classiques et qui préfèrent étendre les capacités de SnapLogic au big data et à l'analytique afin de standardiser sur un seul site plateforme tous leurs besoins d'intégration d'entreprise.
Voici ce que notre partenaire Cloudera a déclaré à propos de l'annonce d'aujourd'hui:
Nos clients reconnaissent la valeur de la construction d'un hub de données d'entreprise, et les technologies modernes de collecte et de transformation des données sont essentielles pour fournir des avantages opérationnels et analytiques maximaux. Nous sommes heureux de travailler avec SnapLogic pour la mise sur le marché de SnapReduce 2.0, qui permet aux clients d'exploiter les capacités de traitement massivement parallèle de Cloudera Enterprise dans le cadre de leurs initiatives d'intégration des big data. données.
Prochaines étapes :
- S'inscrire au programme d'accès anticipé à SnapReduce 2.0
- Regardez une de nos vidéos sur SnapTV
- Contactez-nous pour plus d'informations
