Man könnte wohl sagen, dass Big Data mittlerweile ein derartiges Mainstream-Thema ist, dass sogar eine Band danach benannt wurde. Nach dem erfolgreichen Börsengang von Hortonworks in dieser Woche veröffentlichte das Wall St. Journal diesen Artikel: The Joys and Hype of Software Called Hadoop - Big Data Is Hot in Silicon Valley, and Hadoop Underpins Craze. Um ein wenig Kontext, ein wenig Geschichte und ein paar Einblicke in die kommenden Entwicklungen zu erhalten, habe ich mich mit dem Mitbegründer und CEO von SnapLogic, Gaurav Dhillon, zusammengesetzt, um alles über Daten, die Unterschiede und die Rolle der Datenintegration im Zeitalter von Social, Mobile, Analytics, Cloud und dem Internet der Dinge(SMACT) zu besprechen.
Hier ist der Podcast:
Und hier ist das Transkript einiger wichtiger Teile der Diskussion:
Was ist jetzt anders? Warum werden einige dieser Themen zu Mainstream-Themen? Was hat sich geändert?
Statistiker gibt es schon lange, vielleicht nicht so lange wie Mathematiker, aber sie kamen kurz danach. Sie haben traditionelle Technologien verwendet. Nur weil jemand ein schärferes Werkzeug hat, ist er nicht unbedingt ein besserer Handwerker. Ich stimme zu, dass es ein gewisses Element von "Oh, streue Daten darüber und es wird magisch sein" gibt. Richtig? Diese magische Berieselung. Zunächst einmal würde ich zugeben, dass Statistiker Formen dieser Technologien, die wir heute als Datenwissenschaft bezeichnen, in einer Weise nutzen, wie es bestimmte Unternehmen schon seit langem getan haben ....
Der Unterschied besteht darin, dass die Menge an Informationen, die uns zur Verfügung steht, und die Instrumente, die uns zur Verfügung stehen, uns von einer hohen Priesterschaft zu einer Perspektive des einfachen Mannes führen. Traditionell haben wir die Berichterstattung demokratisiert. Wir haben die Art und Weise, wie die Menschen an Informationen gelangen, demokratisiert. Wenn diese Branche ihr Versprechen einhält und verantwortungsvoll mit den ihr zur Verfügung stehenden Ressourcen umgeht, besteht die Möglichkeit, den Nutzen einer sehr hoch finanzierten, sehr nischenorientierten, fast staatlichen Maßnahme für viele Menschen zu demokratisieren. Es besteht die Möglichkeit, dies mit Hilfe von Open-Source-Technologien, sinkenden Preisen, besseren Produkten und intelligenteren Hochschulabsolventen zu demokratisieren.
Die Analytik erhält auf dem Markt mehr als genug Aufmerksamkeit, aber die Feeds für diese analytischen Systeme scheinen immer noch nicht die gleiche Aufmerksamkeit zu erhalten. Viele Unternehmen verwenden immer noch das, was sie früher verwendet haben, oder sie versuchen, mit dem, was sie früher verwendet haben, einige der neueren Probleme zu lösen. Was ändert sich im Bereich der Sanitärtechnik, das Sie begeistert?
Sie haben Recht, mit Klempnerarbeiten verschafft man sich wie Rodney Dangerfield keinen Respekt in dieser Branche. Es geht immer nur um das "Wow", die Grafik. "Oh, seht euch das an, was wir gefunden haben." Und so weiter und so fort. Was sich ändert, ist die Tatsache, dass man jetzt doppelt so viele Datenwissenschaftler beschäftigen kann. Es gibt auf der Welt einen Mangel an einer bestimmten Berufsgruppe, nämlich an Datenwissenschaftlern. Die Tatsache, dass man doppelt so viele Köche haben kann, indem man z. B. den Posten des Sous-Chefs an jemand anderen vergibt, ist für alle von enormer Bedeutung. Es spielt keine Rolle, wie reich man ist, denn es gibt immer jemanden, der so reich ist wie man selbst oder noch reicher als man selbst, der mit einem konkurriert. Die Tatsache, dass man die Energie, die man in diesen sehr wichtigen Bereich stecken kann, fast verdoppeln kann, ist eine enorme Sache und führt zu einem Bedeutungszuwachs in der Klempnerei. Neue Begriffe wie "Data Wrangling" tauchen auf, um Ihnen zu zeigen, wie der Sous-Chef bei der Vorbereitung dieses wunderbaren Ergebnisses immer wichtiger wird. Wie erstellt man ein Profil dieser Daten? Wie stellt man a priori sicher, dass sie ankommen? Wie gehen Sie mit den Daten um? Wie kombiniert und transformiert man sie? Ich glaube, dass diese Dinge immer wichtiger werden, weil sich der doppelte Nutzen, den man daraus ziehen kann, sehr, sehr deutlich zeigt.
Ich habe gehört, wie Sie den Begriff "so-so-Integration" verwendet haben. Wie immer, wie immer. Warum sollte ich nicht einfach die Tools verwenden, die ich habe? Ich habe eine Menge Geld dafür ausgegeben. Warum sollte ich sie nicht nutzen, um einige der neueren Datenprobleme zu lösen, von denen Sie sprechen?
Die Frage ist nicht, ob Sie das können oder nicht. Einige unserer Kunden sind einige der finanzstärksten und größten Unternehmen der Welt. Sie können. Die Frage ist: Sollten Sie? In diesem Geschäft ging es schon immer um die Frage: Können Sie oder sollten Sie? In den 2 Jahrzehnten, in denen ich dieses Geschäft betreibe, habe ich festgestellt, dass man es wirklich nicht tun sollte. Die F&E-Investitionen, die wir getätigt haben, und ganze 50 Millionen Dollar an Kapital wurden in den Aufbau einer Plattform gesteckt, die enorm leistungsfähig ist, können wir die Ergebnisse dieser Investition bei allen unseren Kunden weitergeben. Darüber hinaus verfügt die Plattform über bestimmte Eigenschaften, die Ihnen die Möglichkeit geben, die Umstellung auf die Cloud sowie das Datenelement in Angriff zu nehmen. Die Veränderung der Datenschwere, die Veränderung des Denkens von der alten, alten Data Warehousing zu den modernen Architekturen der neuen Hadoop-Welt, die wir sehen. Die Frage ist nicht, ob man es kann, sondern ob man es sollte.
Welche Auswirkungen hat das Cloud Computing auf die Datenwelt? Welche Auswirkungen hat das und wird es in den nächsten 3 bis 5 Jahren haben?
Ich denke, die unmittelbare Auswirkung des Cloud Computing besteht darin, dass man eine große Anzahl von Arbeitsplätzen mit diesen Produkten beleuchten kann, die eine große Anzahl von Fähigkeiten und Installationen erfordern...
Im Marketingbereich hat jede Marketingabteilung ein Dutzend oder mehr Cloud/SaaS-Anwendungen, oft ohne dass der CIO oder ein anderer Mitarbeiter davon weiß. Sie betrachten sie nicht als Anwendungen, sondern als Websites. Das gilt nur für ein kleines Unternehmen. Multipliziert man das mit einem Fortune-500-Unternehmen, kommen wahrscheinlich Hunderte und Aberhunderte von Daten in das Unternehmen, und dieser Asteroidengürtel, durch den diese Unternehmen segeln, führt dazu, dass mehr Daten produziert werden, mehr Endpunkte geschaffen werden, mehr Engagement besteht und die Notwendigkeit, diese Informationen zu vergleichen oder zu kombinieren. Dadurch wächst der Bedarf an Klempnerarbeiten in einer Weise, die es bisher nicht gab. In den 90er Jahren hatte man 4 oder 5 Systeme, wenn man SAP und Siebel und PeopleSoft hatte, vielleicht noch ein weiteres. Die Tatsache, dass es heute einen Asteroidengürtel von Websites gibt, die ein Unternehmen betreiben, hat dazu geführt, dass das Problem der Integration und der Verkabelung in den Vordergrund gerückt ist wie nie zuvor.
Technologievorhersagen 2015 - diesen Teil der Diskussion können Sie hier verfolgen. Hier sind ein paar andere Technologievorhersagen für 2015.
Was ist anders an SnapLogic, was sollten die Leute über SnapLogic wissen, was sie vielleicht noch nicht wissen?
Wir haben SnapLogic aufgebaut, um die Art und Weise zu verändern, wie Menschen mit dem modernen Unternehmen umgehen... Wir haben dieses Unternehmen von Grund auf aufgebaut, basierend auf den Erfahrungen, die wir in den 90er Jahren gemacht haben, um etwas zu bieten, das sehr einfach zu bedienen ist, über die größte Menge an Problemen skaliert, die uns jemand vorsetzen kann, und das extrem gut vernetzt ist - es hat Snaps für eine Vielzahl von Endpunkten und Datenpunkten. Es ist eine einzige Plattform, die Ihnen hilft, in die Cloud zu wechseln und Big Data, Hadoop und Data Science zu nutzen, um die analytischen Gleichungen zu lösen, mit denen Sie konfrontiert werden, wenn Ihr Unternehmen große Veränderungen durchläuft.
Die Datenstrukturen ändern sich, die Endpunkte sind viel, viel mehr. Wir betrachten sie als eine Vielzahl von Datentypen mit mehreren Endpunkten. Darüber hinaus gibt es eine sehr große Anzahl von Nutzern, die es in den 90er Jahren nicht gab, als die Integration eher ein Backoffice-Vorgang im Kerker war. Der Maschinenraum des Schiffes, nicht ganz auf der Brücke. Die Passagiere wussten nicht einmal, dass es ihn gab, es sei denn, er funktionierte nicht mehr.
