Big Data ohne Hadoop?

09.02.2017

Big Data – eine Herausforderung in der Automobilentwicklung: Prüfstände, Testfahrten und viele andere Messdatenquellen führen zu einem exponentiellen Anstieg der Datenmengen. In diesen Bereichen ist eine schnelle Verarbeitung notwendig, die den Einsatz neuer Technologien fordert. Die veralteten Windows Desktop PCs können diesen Anforderungen nicht mehr entsprechen.

Von der IT-Seite versprechen viele Unternehmen Lösungen basierend auf dem Hadoop-Rahmenwerk mit großer Skalierbarkeit.

Hadoop ist ein Framework für die verteilte Verarbeitung großer Datensätze. Beim genaueren Hinschauen erkennt man jedoch, dass die grundlegenden Paradigmen, auf denen Hadoop basiert, nicht ideal für Messdaten sind. Hadoop unterstützt nur eine Art der verteilten Verarbeitung: Map-Reduce. Dieser Ansatz ist ideal für zeilenbasierte Daten, die im Business Bereich zu finden sind. Für Messdaten versprechen allerdings völlig andere Paradigmen schnellere Lösungen.

Der wichtigste Punkt bei der Betrachtung von Messdaten ist, dass keine index (zeilen) basierte Datenstruktur vorausgesetzt werden kann. So kann es verschiedene Kanalgruppen mit expliziten Zeitkanälen geben, die nicht index-synchron sind. Neben diesem gewichtigen Grund, weshalb Hadoop für Messdaten ungeeignet ist, gibt es noch zahlreiche andere.

Deshalb sagen wir: Parallele Berechnung mit voller Skalierbarkeit: Ja! Aber …

… wir benötigen für Dateien mit Messdaten spezielle Technologien, welche die oben beschriebenen Randbedingungen berücksichtigen.

Hadoop Lösungen eignen sich somit für Datenstrukturen, die auch Pivot Analysen zulassen, jedoch nicht für die umfassende Verarbeitung von Messdaten mit ihren Dateistrukturen.

Weitere Informationen zu "Big Data ohne Hadoop?".