In meinem letzten Blog-Beitrag haben wir uns auf die Leistungsverbesserungen in Verbindung mit Google BigQuery Snaps in Release 4.11. Diese Woche konzentrieren wir uns in einem weiteren Blick auf die Details der Herbst 2017 Release News auf weitere Leistungssteigerungen von Release 4.11. Dabei geht es nicht nur um die üblichen Updates, sondern um Geschwindigkeit.
Zwei unserer Transformations-Snaps, Sort und In-Memory Lookup, haben in der Version 4.11 erhebliche Leistungsverbesserungen erfahren. Das SnapLogic-Entwicklungsteam war bestrebt, unnötige Latenzzeiten zu beseitigen, die bei geringer Last unbemerkt bleiben, bei größeren Datenmengen jedoch deutlicher werden. Die Steigerung der Verarbeitungseffizienz und die Vergrößerung der Datensätze, die im Speicher verarbeitet werden können, hatten hohe Priorität.
Das Ergebnis ist eine viel schnellere Verarbeitung mit höherer Ausfallsicherheit für größere Datenmengen. Nur für den Fall, dass Sie denken, dass dieser Blogbeitrag nur aus Metaphern besteht, lassen Sie uns die Zahlen betrachten (schnallen Sie sich an!):
Ihre Ergebnisse werden natürlich je nach Hardwareprofil des Snaplex-Knotens, Datenelementen, Datengröße usw. variieren, aber das obige Diagramm zeigt eine sehr konsistente und deutliche Verbesserung der Sortierleistung. Der Sortier-Snap gehört zu den 10 Prozent der am häufigsten genutzten Snaps (von mehr als 400), so dass Sie wahrscheinlich bereits von dieser besonderen Leistungsverbesserung profitiert haben.
Wenn Sie außerdem nachgelagerte Transformations-Snaps wie Join, Aggregate, In-Memory Lookup usw. in Ihrer Pipeline haben, führt das Sortieren Ihrer Daten zuerst zu einer höheren Gesamtleistung.
Apropos In-Memory Lookup Snap: Auch hier wurde die Leistung gesteigert. Der In-Memory Lookup Snap ist nicht nur schneller, er kann auch mehr Daten im Speicher verarbeiten. Sehen Sie sich den folgenden Beweis an:
Auch hier gilt das Kleingedruckte von oben* (*Ihre Ergebnisse können je nach Hardwarekonfiguration und Daten variieren), aber die in der obigen Grafik dargestellten SnapLogic-Tests zeigen eindeutig sowohl eine konsistente als auch eine signifikante Leistungsverbesserung im Vergleich zur gleichen Hardwarekonfiguration und zum gleichen Datensatz. Das Ergebnis? Die Fähigkeit, viel größere Datensätze mit dem In-Memory Lookup Snap zu verarbeiten.
Wir werden uns auch weiterhin auf große und kleine Leistungsverbesserungen konzentrieren, jetzt und in den kommenden Versionen. Schließlich zählt bei der Skalierung jede Millisekunde.
Machen Sie also eine Spritztour mit Ihrem neuen Kompressor und lassen Sie uns wissen, was Sie davon halten.
