Während wir uns diese Woche auf den Hadoop Summit in San Jose vorbereiten, hat Greg Benson von SnapLogic einen Beitrag im Hortonworks Hadoop Ecosystem Blog über unsere jüngste SnapReduce 2.0 Ankündigung geschrieben. Vielen Dank an unsere Freunde bei Hortonworks für die Möglichkeit eines Gastbeitrags. Verfolgen Sie auf jeden Fall den #HadoopSummit, um mehr über Big Data in dieser Woche zu erfahren, und kontaktieren Sie uns, wenn Sie am SnapReduce 2.0-Frühzugangsprogramm teilnehmen möchten.
Ich habe Gregs Beitrag unten rebloggt.
---
Johannes Kreisa, Hortonworks:
Immer mehr Lösungsanbieter integrieren die Hortonworks Data Platform, um ihren Kunden Hadoop für Unternehmen zur Verfügung zu stellen.
Im Rahmen unserer HDP 2.1-Zertifizierungsreihe möchte ich Ihnen Greg Benson, Chief Scientist bei SnapLogic, vorstellen. In diesem Blog gibt Greg einige Einblicke in den Wert einer HDP 2.1-Zertifizierung und die Vorteile einer Integrationsplattform als Service (iPaaS).
SnapLogic 2.0 nutzt YARN, um iPaaS für Hadoop anzubieten, von Greg Benson
SnapLogic bietet einen Cloud-basierten Service für die Durchführung einer breiten Palette von Daten- und Anwendungsintegrationsaufgaben. Vor kurzem haben wir SnapReduce 2.0 eingeführt, das SnapLogics elastische Integrationsplattform als Service(iPaaS) sowohl mit lokalen als auch mit Cloud-basierten Hadoop-Clustern kombiniert. SnapReduce 2.0 ist sowohl YARN-kompatibel als auch nach Hortonworks Data Platform (HDP) 2.1 zertifiziert.
Mit SnapReduce 2.0 können Kunden ihre Investitionen in Hadoop noch besser nutzen, indem sie Hadoop-Ressourcen zusätzlich zu anderen Hadoop-Anwendungen für Datenintegrationsaufgaben einsetzen können. Anwendungs- und Datenintegrationsaufgaben können nun je nach Bedarf auf die Kapazität des Hadoop-Clusters skaliert werden. Darüber hinaus erleichtert SnapReduce 2.0 die Erfassung und Bereitstellung von Hadoop-Daten mithilfe eines grafischen Designers und der Snap-Konnektivität zu einer Vielzahl von Anwendungen und Datenspeichern.
Das elastische iPaaS von SnapLogic unterstützt Anwendungsintegration, API-Integration und auch herkömmliche ETL-Anwendungsfälle (Extraktion, Transformation und Laden). Grundlegend für SnapLogic ist außerdem die native Unterstützung für hierarchische Dokumente. Diese native Unterstützung kann genutzt werden, um JSON-Datendateien im HDFS sowie zeilenorientierte Datensätze nach Bedarf zu erstellen. Der moderne HTML5-basierte Designer von SnapLogic macht es einfach, Hadoop-Daten ohne Programmierung zu erfassen und bereitzustellen. Dies ist besonders nützlich für Datenbankbenutzer und Datenwissenschaftler, die Hadoop-Daten nutzen möchten, aber keine erfahrenen Programmierer sind.
YARN ist das architektonische Zentrum von Hadoop, das den Zugriff auf kritische Hadoop-Ressourcen steuert und Hadoop zu einer Multi-Applikations-Plattform macht. SnapLogic erreicht die Nutzung von Hadoop-Clustern durch unseren YARN-basierten Snaplex. Ein Snaplex ist eine Sammlung von Containern, die SnapLogic-Datenfluss-Pipelines ausführen können. Die Kontrolle über das Design und die Ausführung der Pipelines liegt in unserer Cloud-basierten Steuerungsebene. Unser YARN-basierter Snaplex koordiniert jedoch sowohl mit dem YARN-Ressourcenmanager als auch mit unserer Cloud-Kontrollebene. Auf diese Weise können wir unsere Scale-out- und Scale-in-Algorithmen auf Snaplex-Knoten anwenden, die in Hadoop laufen. Der Ansatz von SnapLogic macht auch Software-Updates überflüssig, da unsere Konnektoren, Snaps genannt, dynamisch heruntergeladen und bei Bedarf zwischengespeichert werden. Sogar der Snaplex-Container wird auf Wunsch automatisch aktualisiert. Im Grunde kann ein Kunde seine Hadoop-Ressourcen für die Datenintegration nach Bedarf einfach erweitern.
Was die Leistung anbelangt, so ermöglicht die gleichzeitige Platzierung von Snaplex innerhalb von Hadoop und mit dem Ziel oder der Quelle der Daten, dass Snaplogic-Pipelines effizient Daten aus verschiedenen Quellen in HDFS streamen, egal ob in der Cloud oder vor Ort. Ebenso können Snaplogic-Pipelines verwendet werden, um HDFS-Daten an externe Anwendungen und Datenspeicher zu liefern.
Die zunehmende Verbreitung von Hadoop in Verbindung mit den Beschränkungen herkömmlicher Datenverwaltungstools hat die Nachfrage nach einem neuen Ansatz für die Datenerfassung und -bereitstellung geschaffen. Die gute Nachricht ist, dass immer mehr IT-Organisationen damit zu kämpfen haben, Daten mit komplizierten und funktional eingeschränkten oder veralteten ETL-Tools (Extrahieren, Transformieren und Laden) in und aus Hadoop zu holen. Daher ist eine neue Art von Integrationstechnologie entstanden, die für die heutigen Anforderungen in den Bereichen Social, Mobile, Cloud und Big Data ausgelegt ist.
SnapReduce 2.0 bringt das SnapLogic iPaaS zur Verarbeitung im Hadoop-Maßstab.
Um mehr über SnapLogic SnapReduce 2.0 zu erfahren, besuchen Sie bitte: https://www.snaplogic.com/products
