Skip to main content

Details

Parallelisieren von Analysen

Der BIG TEST DATA Ansatz der AMS vereint sämtliche Technologien zur Durchführung verteilter Analysen, um das Maximum an Informationen aus Ihren Versuchs- und Messdaten zu erhalten. Die parallele Verarbeitung von Millionen von Dateien und das Aggregieren der gewonnenen Einzelergebnisse zu einem globalen Gesamtergebnis sind dabei die beiden wichtigsten Paradigmen.

Im Bereich der Messdaten steigen die Datenmengen immer weiter exponentiell an. Es ist daher sehr wichtig, die Berechnungen da durchzuführen, wo die entsprechenden Daten dafür sind. Dies macht nämlich die Übertragung großer Datenmengen hinfällig.

Das parallele oder auch zeitgleiche Ausführen von Analysen kann auf 3 Ebenen funktionieren. In der 1. Ebene können einzelne Berechnungskomponenten in jBEAM via Multithreading Datenkanäle aufteilen, Berechnungen parallel durchführen und anschließend die Teilergebnisse zu einem Gesamtergebnis zusammenfassen. In Level 2 findet das Parallelisieren der einzelnen Auswertungen mit jBEAM im Clusterverbund statt. In der 3. Ebene werden globale Daten, die auf unterschiedliche MaDaM-Instanzen (so genannten Data Lakes) verteilt sind, analysiert.

Wir bieten Ihnen für die Verarbeitung großer Datenmengen auf allen Ebenen eine Komplettlösung an. jBEAM dient dabei als Full-State-Applikation für die parallele Verarbeitung und Analyse von BIG TEST DATA. Gemeinsam mit unserem Messdaten-Management-System MaDaM ermöglichen wir Ihnen eine hohe Effizienz im  Umgang mit Ihren Messdaten.

mehr zum Thema Parallelisierung von Analysen