Skip to main content
Cluster Logo

jBEAM Cluster

Analysen parallelisieren mit jBEAM Cluster
Ein Data Lake mit mehreren jBEAM-Instanzen

jBEAM cluster

Produktübersicht

herunterladen

Innerhalb eines Data-Lakes analysieren mehrere Instanzen von jBEAM, die zu einem jBEAM Cluster zusammengefasst sind, zeitgleich unterschiedliche Messdateien. Die Teilergebnisse werden anschließend zu einem Gesamtergebnis aggregiert.

Ablauf im Cluster:

  • Eine Auswertung wird in einem jBEAM erstellt und im jBEAM Cluster mit mehreren jBEAMs parallel durchgeführt.
  • Das jBEAM Cluster besteht aus mehreren Rechnern, auf denen ein oder mehrere jBEAM -Instanzen (Nodes) laufen.
  • Jeder Cluster-Node bearbeitet eine Datei, gibt das Ergebnis zurück an den Aggregator und meldet dem Cluster-Manager, dass die Bearbeitung der Datei abgeschlossen ist. Anschließend bekommt dieser Node eine neue Datei.
  • Dieses Verfahren entspricht einem MapReduce mit Dateien. Ein Aufspalten der Dateien ist nicht nötig.
  • Der Aggregator fasst die Einzelergebnisse zusammen und gibt das Endergebnis, nachdem alle Dateien verarbeitet wurden, über das Netzwerk zurück an den Nutzer (Client).
  • Als Dateisysteme können sowohl konventionelle Systeme (wie Windows, NAS, Linux, …), als auch das Hadoop Distributed File System (HDFS) genutzt werden.
  • Speicher- / Anwendungsserver
  • Mehrere CPUs mit unabhängigen Speicherservern
  • Schnell & einfach installiert
  • Hoch performant
  • Das neue Dateisystem für Big Test Data
  • Mehrere Nodes (Knoten), jeder mit eigener CPU & Speichereinheit
  • Gruppierung von zusammengehörigen Dateien*
  • Horizontal skalierbar
  • Java NIO kompatibel*
  • Keine Dateiumwandlung notwendig*
  • Data Mining für den Ingenieur*
  • Höchst performant

                                                    *nicht in HDFS erhältlich

Vorteile jBEAM Cluster

Die Übertragung großer Datenmengen entfällt.

Es werden keine Rohdaten zum User-PC übertragen. Lediglich das Endergebnis wird an den Nutzer zurückgegeben.

Berechnungen werden zu den Daten gebracht.

Die Berechnung wird dort durchgeführt, wo sich die Daten tatsächlich befinden.

Integrierbar ins MaDaM Messdaten-Management-System.

Sowohl für Desktop-Anwendungen, als auch für globale MDM-Systeme.

Komponenten für Cluster Operationen:

  1. Datei-Importer
    Ein Datei-Importer definiert, wie die Dateien zu importieren sind (jBEAM unterstützt mehr als 100 Dateiformate)
  2. Daten-reduzierende Berechnungen
    Statistisch (Min, Max, …), Ereigniserkennung, Histogramm, Rainflow…
  3. Aggregator
    Komponente, die definiert, wie die Ergebnisse aggregiert werden sollen (summieren, hinzufügen, u.v.m.)
  4. Multi-File-Analysis-Controller (MFAC)
    Ein Controller auf dem User-jBEAM für die Erstellung von Cluster Jobs
  5. Cluster-Service
    Es gibt verschiedene Cluster-Services:

    • One node - für sequenzielle Operationen
    • Local Cluster - jBEAM-Instanzen in eigener JavaVM
    • External Cluster (siehe Abb. rechts) - Wird mit mehreren PCs gebildet, jeder mit einem oder N Nodes (jBEAMs)
    • External High Performance Cluster - Viele High Performance Linux PCs


Weitere Informationen zum jBEAM Cluster im Überblick

jBEAM im Clusterverbund