Um Ihre Daten, Anwendungen, APIs und das Internet der Dinge (IOT) schneller zu verbinden, entfesseln Sie die Leistung von Spark auf dem Hadooplex von SnapLogic.

Es gibt einen massiven Zustrom von Daten aus zahlreichen Quellen, von Webserver-Protokollen bis hin zu Daten, die von IOT-Geräten übermittelt werden und den Data Lake füllen. Unternehmen stehen vor der Herausforderung, diese riesigen Datenmengen in ihrem Data Lake optimal zu verarbeiten, um Erkenntnisse für Zwecke wie Produktempfehlungen, Werbung, Kundengewinnung und -bindung, Betrugserkennung, Kostenoptimierung und vieles mehr zu gewinnen. Mit dem Spark-Angebot von SnapLogic können Sie die Leistung von Spark nutzen, um die riesigen Datenmengen mit hoher Leistung zu verarbeiten.
Hadooplex ist eine Datenverarbeitungs-Engine der Elastic Integration Platform von SnapLogic, die auf einem Hadoop-Cluster bereitgestellt wird. Es handelt sich um einen Snaplex, der auf einem Hadoop-Cluster installiert ist. Ein Hadooplex kann Pipelines im Standardmodus und im Spark-Modus ausführen.
Hadooplex besteht im Kern aus dem Yarn Application Master (Hadooplex Master) Prozess. Der Hadooplex-Master ist für das Aushandeln von Ressourcen vom Yarn Resource Manager verantwortlich und kommuniziert mit dem/den NodeManager(n), um die Container und deren Ressourcenverbrauch auszuführen und zu überwachen.
Ein Hadooplex kann so konfiguriert werden, dass die Spark-Unterstützung aktiviert wird, was die Erstellung einer Spark-Pipeline zur Ausführung mit der Spark-Engine ermöglicht. Mit Spark-Pipelines können SnapLogic-Benutzer Datenflusslogik unter Verwendung des Snap- und Pipeline-Paradigmas erstellen, die als Spark-Programm ausgeführt wird. Wenn Spark-Pipelines auf einem Hadooplex ausgeführt werden, fordert der Hadooplex den YARN Resource Manager auf, den SnapLogic Spark-Treiber für die Ausführung zu planen. Jede SnapLogic Spark-Treiberinstanz verarbeitet eine Spark-Pipeline-Ausführung.
Details zur High-Level-Architektur, den Voraussetzungen und dem Start von Spark-fähigem Hadooplex finden Sie auf der SnapLogic-Dokumentationsseite.
Der nächste Blogbeitrag dieser Reihe führt Sie durch die verschiedenen verfügbaren Snaps, mit denen Sie eine Spark-Pipeline erstellen können, um die Leistungsfähigkeit von Spark voll auszuschöpfen. In der Zwischenzeit können Sie erfahren, wie Sie Spark-Pipelines auf HDInsight erstellen und ausführen, sich eine Demo zur Erstellung von Spark-Pipelines auf der Elastic Integration Platform von SnapLogic ansehen oder uns kontaktieren, wenn Sie weitere Informationen zu den Spark-Lösungen von SnapLogic wünschen.





