Skip to main content

jBEAM Cluster

Analysen parallelisieren mit jBEAM Cluster
Ein Data Lake mit mehreren jBEAMs

jBEAM Cluster

Innerhalb eines Data-Lakes analysieren mehrere Instanzen von jBEAM, die zu einem jBEAM Cluster zusammengefasst sind, zeitgleich unterschiedliche Messdateien. Die Teilergebnisse werden anschließend zu einem Gesamtergebnis aggregiert.

Ablauf im Cluster:

  • Eine Auswertung wird in einem jBEAM erstellt und im jBEAM Cluster mit mehreren jBEAMs parallel durchgeführt.
  • Das jBEAM Cluster besteht aus mehreren Rechnern, auf denen ein oder mehrere jBEAM Instanzen (Nodes) laufen.
  • Jeder Cluster Node bearbeitet eine Datei, gibt das Ergebnis zurück an den Aggregator und meldet dem Cluster Manager, dass die Bearbeitung der Datei abgeschlossen ist. Anschließend bekommt dieser Node eine neue Datei.
  • Dieses Verfahren entspricht einem MapReduce mit Dateien. Ein Aufspalten der Dateien ist nicht nötig.
  • Der Aggregator fasst die Einzelergebnisse zusammen und gibt das Endergebnis, nachdem alle Dateien verarbeitet wurden, über das Netzwerk zurück an den Nutzer (Client).
  • Als Dateisysteme können konventionelle (Windows, NAS, Linux, …) genutzt werden, oder auch das Hadoop Distributed File System (HDFS).

Die Übertragung großer Datenmengen entfällt

Es werden keine Rohdaten zum User-PC übertragen. Lediglich das Endergebnis wird an den Nutzer zurückgegeben.

Berechnungen werden zu den Daten gebracht

Berechnung wird dort durchgeführt, wo sich die Daten tatsächlich befinden.

Integrierbar ins MaDaM Messdaten-Management-System

Sowohl für Desktop Anwendungen als auch für globale MDM Systeme.

Komponenten für Cluster Operationen:

  1. Datei Importer
    Ein Datei Importer definiert, wie die Dateien zu importieren sind (jBEAM unterstützt mehr als 100 Dateiformate)
  2. Daten reduzierende Berechnungen
    Statistisch (Min, Max, …), Ereignis-Erkennung, Histogramm, Rainflow, …
  3. Aggregator
    Komponente, die definiert, wie die Ergebnisse aggregiert werden sollen (summieren, hinzufügen, …)
  4. Multi-File-Analysis-Controller (MFAC)
    Ein Controller auf dem User-jBEAM für die Erstellung von Cluster Jobs
  5. Cluster Service
    Es gibt verschiedene Cluster Services

    • One node
      Sequenzielle Operation
    • Local Cluster
      jBEAM Instanzen in eigener Java VM
    • External Cluster
      Wird mit mehreren PCs gebildet, jeder mit einem oder N Nodes (jBEAMs)
    • External High Performance Cluster
      Viele High Performance Linux PCs


Weitere Informationen zum jBEAM Cluster im Überblick