SnapReduce libère le Big Data pour l'entreprise, en exploitant la puissance de Hadoop
La nouvelle technologie de SnapLogic facilite la connexion et l'intégration de grands ensembles de données entre les applications d'entreprise, les services cloud et Hadoop.
San Mateo, Californie - 9 mai 2011 - SnapLogic, la société de connexion cloud , a dévoilé aujourd'hui sa dernière innovation en matière d'intégration, SnapReduce. Fruit de la recherche et du développement initiés en 2009 au sein des SnapLabs, cette technologie - appelée SnapReduce - est la première à permettre une connexion facile et une intégration fiable des données volumineuses entre les applications d'entreprise, les services cloud , les médias sociaux et Hadoop.
Les entreprises sont aujourd'hui submergées de flux et de référentiels de données structurées et non structurées, mais la complexité du modèle de calcul de Hadoop, MapReduce, et l'absence de connectivité universelle ont empêché la plupart d'entre elles de tirer parti de ces données volumineuses. SnapReduce associe la facilité d'utilisation et la connectivité de SnapLogic à la puissance et à la fiabilité de Hadoop afin de fournir une solution unifiée plateforme pour l'intégration et le traitement des données volumineuses.
Faits marquants
- SnapReduce transforme les pipelines d'intégration de données Snaplogic directement en tâches MapReduce, rendant le traitement Hadoop beaucoup plus accessible et permettant une utilisation optimale des clusters Hadoop. Contrairement à d'autres solutions d'intégration Hadoop qui s'appuient sur des langages de haut niveau tels que Pig et Hive, SnapReduce fait correspondre les pipelines de flux de données SnapLogic directement à des tâches MapReduce équivalentes, ce qui permet un traitement des données et un contrôle des pipelines plus efficaces sur Hadoop.
- En outre, SnapReduce s'appuie sur le nouveau système de fichiers distribués Hadoop(HDFS) Snap de SnapLogic pour l'entrée et la sortie de données volumineuses dans Hadoop. HDFS Snap permet aux pipelines SnapLogic d'intégrer des données provenant de tous les points finaux de SnapLogic et fournit aux utilisateurs un cadre commun dans lequel formuler à la fois la récupération et le traitement des données dans Hadoop.
- SnapReduce fonctionne également en parallèle avec les applications et outils existants qui traitent les données dans Hadoop, tels que Pig, Hive et Flume. Cela permet à SnapReduce de fonctionner avec les applications et les calculs Hadoop existants ( les workflows ).
- SnapReduce exploite la puissance, les performances et la fiabilité d'Hadoop avec la facilité de connexion offerte par les services orientés(basés sur REST) de SnapLogic plateforme et les conteneurs de données neutres en termes de langage - appelés Snaps - pour permettre une intégration évolutive de données très volumineuses pour cloud et les applications d'entreprise sur site.
- La première démonstration de SnapReduce, exécutée sur la distribution Hadoop Greenplum d'EMC, sera proposée à l'occasion de l'EMC World 2011, qui se tiendra du 9 au 12 mai à Las Vegas. SnapReduce sera commercialisé au cours du second semestre 2011.
Citations de soutien
"Les entreprises désireuses d'exploiter des données volumineuses à l'aide d'Hadoop se heurtent à un mur lorsqu'il s'agit de les relier à des applications commerciales. Les solutions actuelles pour l'intégration des big data nécessitent de solides compétences en programmation parallèle et sont donc complexes et longues à créer, nécessitant souvent plusieurs technologies pour obtenir et utiliser les big data avec Hadoop. Alors que les entreprises ajoutent des applications Cloud à leur gamme d'applications d'entreprise, elles ont besoin d'une solution simple pour se connecter à Hadoop qui puisse gérer de manière fiable le volume et la complexité des données volumineuses". - Gaurav Dhillon, PDG de SnapLogic.
"L'approche innovante de SnapLogic en matière d'intégration d'applications et de données, qui applique les principes du Web plutôt que les approches rigides d'adaptation du siècle dernier, nous permet de libérer naturellement la puissance du Big Data pour les applications d'entreprise. SnapReduce est un exemple frappant de la puissance de l'approche de SnapLogic - fournissant une rampe d'accès facile aux projets d'analyse de données à grande échelle réalisés dans Hadoop." - Gaurav Dhillon, président-directeur général de SnapLogic.
"MapReduce est devenu le langage d'assemblage pour le traitement des big data, et SnapReduce utilise des techniques sophistiquées pour compiler les pipelines d'intégration de données SnapLogic dans ce nouveau langage cible des big data. En appliquant tout ce que nous savons sur les deux mondes de l'intégration et de Hadoop, nous avons construit notre technologie pour qu'elle s'adapte directement à MapReduce, ce qui rend le processus de connectivité et d'intégration de données à grande échelle simple et transparent. - Greg Benson, directeur, SnapLabs.
"Pour aider les clients à saisir les opportunités du Big Data, EMC est fier de travailler avec un écosystème de leaders technologiques qui contribuent à la puissance d'Hadoop. L'engagement et la contribution de SnapLogic à Hadoop sont essentiels pour mettre cette technologie émergente mais puissante à la disposition des personnes et des entreprises du monde entier, leur permettant ainsi de tirer parti de leurs énormes quantités de données." - Bill Cook, Senior Vice President et General Manager, Data Computing Division, EMC.
Ressources en ligne
- Visitez https://www.snaplogic.com/solutions/big-data pour plus de détails et pour voir SnapReduce en action.
- Consultez le blog de SnapLogic pour en savoir plus sur l'intégration d'Hadoop et de cloud .
- Télécharger une version d'évaluation gratuite de SnapLogic
À propos de SnapLabs
SnapLabs est l'organisation de recherche de SnapLogic chargée d'identifier et de résoudre les opportunités de transformation dans l'intégration des applications et des données. L'équipe cherche continuellement à étendre la puissance de SnapLogic's plateforme, et a été le principal catalyseur de nombreuses percées de produits, y compris le regroupement de serveurs et l'optimisation du flux de travail pour les intégrations d'entreprise, la liaison prédictive sur le terrain et le développement de notre interface Designer de classe mondiale.
Greg Benson dirige l'équipe SnapLabs en tant que directeur de la recherche et il est également professeur d'informatique à l'université de San Francisco. Ses recherches portent sur les systèmes parallèles et distribués et il a développé plusieurs langages distribués et systèmes d'exécution ainsi que des algorithmes de communication optimisés. Greg a obtenu son doctorat en informatique à l'université de Californie, à Davis.
À propos de SnapLogic
Chez SnapLogic, nous transformons la façon dont les entreprises connectent les applications professionnelles, à la fois sur site et sur le site cloud. Avec SnapLogic, les entreprises peuvent connecter n'importe quelle combinaison d'applications et de sources de données tout en améliorant radicalement les coûts et les performances par rapport aux solutions d'intégration traditionnelles. Les SnapLogic Snaps - connecteurs spécifiques aux applications - peuvent être téléchargés instantanément à partir du SnapStore, le premier magasin d'intégration en ligne au monde. Le modèle SnapStore permet aux développeurs, aux intégrateurs de systèmes et aux éditeurs de logiciels indépendants de créer et de vendre des Snaps spécifiques pour des applications largement utilisées ou émergentes.
En tant que société d'intégration indépendante, SnapLogic réduit le risque de verrouillage des fournisseurs en proposant des solutions ouvertes et extensibles pour tous les logiciels, applications et infrastructures. SnapLogic est financée par des investisseurs en capital-risque de premier plan, dont Andreessen Horowitz. Les clients de SnapLogic sont des leaders qui rompent avec les approches d'intégration coûteuses et inflexibles du passé, qu'il s'agisse de sociétés multimilliardaires ou d'entreprises innovantes à forte croissance. Suivez-nous sur Twitter : @SnapLogic. Visitez notre blog.