Skip to main content
Cluster Logo

jBEAM Cluster

Analysen parallelisieren mit jBEAM Cluster
Ein Data Lake mit mehreren jBEAM-Instanzen

jBEAM cluster

Produktübersicht

herunterladen

Wir haben Ihr Interesse geweckt oder noch nicht alle Ihre Fragen zum jBEAM Cluster beantwortet?

Schreiben Sie uns über unser Kontaktformular und wir helfen Ihnen gern weiter!

Innerhalb eines Data-Lakes analysieren mehrere Instanzen von jBEAM, die zu einem jBEAM Cluster zusammengefasst sind, zeitgleich unterschiedliche Messdateien. Die Teilergebnisse werden anschließend zu einem Gesamtergebnis aggregiert.

Ablauf im Cluster:

  • Eine Auswertung wird in einem jBEAM erstellt und im jBEAM Cluster mit mehreren jBEAMs parallel durchgeführt.
  • Das jBEAM Cluster besteht aus mehreren Rechnern, auf denen ein oder mehrere jBEAM -Instanzen (Nodes) laufen.
  • Jeder Cluster-Node bearbeitet eine Datei, gibt das Ergebnis zurück an den Aggregator und meldet dem Cluster-Manager, dass die Bearbeitung der Datei abgeschlossen ist. Anschließend bekommt dieser Node eine neue Datei.
  • Dieses Verfahren entspricht einem MapReduce mit Dateien. Ein Aufspalten der Dateien ist nicht nötig.
  • Der Aggregator fasst die Einzelergebnisse zusammen und gibt das Endergebnis, nachdem alle Dateien verarbeitet wurden, über das Netzwerk zurück an den Nutzer (Client).
  • Als Dateisysteme können sowohl konventionelle Systeme (wie Windows, NAS, Linux, …), als auch das Hadoop Distributed File System (HDFS) genutzt werden.
  • Speicher- / Anwendungsserver
  • Mehrere CPUs mit unabhängigen Speicherservern
  • Schnell & einfach installiert
  • Hoch performant
  • Das neue Dateisystem für Big Test Data
  • Mehrere Nodes (Knoten), jeder mit eigener CPU & Speichereinheit
  • Gruppierung von zusammengehörigen Dateien*
  • Horizontal skalierbar
  • Java NIO kompatibel*
  • Keine Dateiumwandlung notwendig*
  • Data Mining für den Ingenieur*
  • Höchst performant

                                                    *nicht in HDFS erhältlich

Vorteile jBEAM Cluster

Die Übertragung großer Datenmengen entfällt.

Es werden keine Rohdaten zum User-PC übertragen. Lediglich das Endergebnis wird an den Nutzer zurückgegeben.

Berechnungen werden zu den Daten gebracht.

Die Berechnung wird dort durchgeführt, wo sich die Daten tatsächlich befinden.

Integrierbar ins MaDaM Messdaten-Management-System.

Sowohl für Desktop-Anwendungen, als auch für globale MDM-Systeme.

Komponenten für Cluster Operationen:

  1. Datei-Importer
    Ein Datei-Importer definiert, wie die Dateien zu importieren sind (jBEAM unterstützt mehr als 100 Dateiformate)
  2. Daten-reduzierende Berechnungen
    Statistisch (Min, Max, …), Ereigniserkennung, Histogramm, Rainflow…
  3. Aggregator
    Komponente, die definiert, wie die Ergebnisse aggregiert werden sollen (summieren, hinzufügen, u.v.m.)
  4. Multi-File-Analysis-Controller (MFAC)
    Ein Controller auf dem User-jBEAM für die Erstellung von Cluster Jobs
  5. Cluster-Service
    Es gibt verschiedene Cluster-Services:

    • One node - für sequenzielle Operationen
    • Local Cluster - jBEAM-Instanzen in eigener JavaVM
    • External Cluster (siehe Abb. rechts) - Wird mit mehreren PCs gebildet, jeder mit einem oder N Nodes (jBEAMs)
    • External High Performance Cluster - Viele High Performance Linux PCs


Weitere Informationen zum jBEAM Cluster im Überblick

jBEAM im Clusterverbund