Einleitung

Hardware und Konfiguration des Clusters

Hardware Übersicht Compute-Sektionen

Das Cluster besteht grundsätzlich aus 3 separaten Sektionen:

MPI Sektion für MPI intensive Anwendungen
ACC Sektion für Anwendungen, die von Akzeleratoren profitieren
MEM Sektion für Anwendungen, die sehr viel Hauptspeicher benötigen
TEST Teilsektion für die Evaluation neuer Hardware

Das Komplettsystem befindet sich im HLR-Bau (L5|08) auf dem Campus Lichtwiese und besteht aus zwei gleichzeitig laufenden Ausbaustufen (Phasen).

[NEU] Phase I von Lichtenberg II wird voraussichtlich gegen Ende August 2020 in Betrieb gehen.
Phase II von Lichtenberg I wurde Februar 2015 in Betrieb genommen (Ende 2015 erweitert) und wird voraussichtlich gegen Ende 2021 abgeschaltet.
Phase I von Lichtenberg I war seit Herbst 2013 in Betrieb und wurde im April 2020 abgeschaltet.

Hardware der Phase I Lichtenberg II

596 Rechenknoten und 8 Loginknoten

  • Prozessoren: Zusammen ~4,2 PFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 3,03 PFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: Zusammen 125 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch) und 2,0 Tensor PFlop/s (Mixed Precision)
  • Speicherausbau: insgesamt ~234 TByte Hauptspeicher
  • Alle Rechenknoten in einer großen Insel:
    • MPI Sektion: 586 Knoten (je 96 Rechenkerne, 384 GByte Hauptspeicher)
    • ACC Sektion: 8 Knoten (je 96 Rechenkerne, 384 GByte Hauptspeicher, je 2x Nvidia V100 GPUs)
    • MEM Sektion: 2 Knoten (je 96 Rechenkerne, 1536 GByte Hauptspeicher)

Hardware der Phase II Lichtenberg I

632 Rechenknoten und 8 Loginknoten

  • Prozessoren: Zusammen ~512 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 460 TFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: Zusammen 11,54 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
  • Speicherausbau: insgesamt ~44 TByte Hauptspeicher
  • Rechenknoten unterteilt in 18 Inseln:
    • 1x MPI Insel mit 84 Knoten (2016 Rechenkerne, in Summe 5376 GByte Hauptspeicher)
    • 16x MPI Inseln mit je 32 Knoten (768 Rechenkerne und 2048 GByte Hauptspeicher pro Insel)
    • 1x ACC Insel mit 32 Knoten (ACC-N) – 3x mit Akzeleratoren und 29x ohne Akzeleratoren

Dateisysteme / Storage für Lichtenberg II

Der Ausbau von Lichtenberg II begann mit der Beschaffung der ersten Storage-Ausbaustufe (Beschaffung 2018). Dieses System ersetzte mit seiner Inbetriebnahme in 2019 bereits das veraltete Storage von Lichtenberg I, wird aber erst mit den neuen Cluster-Ausbaustufen von Lichtenberg II seine volle Leistung entfalten.

Das Hochgeschwindigkeits Dateisystem, auch parallel Dateisystem genannt, basiert auf „IBM Spectrum Scale“ (früher General Parallel File System), das für seine besondere Flexibilität bekannt ist.

Das (inzwischen) aktuelle Storage-System stellt 3 PByte an Plattenplatz zur Verfügung. Die Metadaten werden hierbei auf SSDs (Solid State Disks) gespeichert, die Raw-Daten selbst auf ca. 1000 herkömmlichen Festplatten.

Das besondere an diesem System ist, dass alle Dateisysteme / Verzeichnisse über alle Festplatten und SSDs so verteilt sind, dass es kaum noch Geschwindigkeits-Unterschiede, trotz unterschiedlicher Konfiguration für den jeweiligen Zweck, mehr zwischen z.B. /work/scratch oder /home gibt.

So erreicht das Dateisystem bis zu 90 GByte/s im Lesen und 80 GByte/s beim Schreiben.

Dateisysteme / Storage für Lichtenberg I

Die alten Dateisysteme für Lichtenberg I waren getrennt und wurden in 2019 außer Betrieb genommen.

  • /home: 500 TByte, 5 GB/s im Lesen und 4 GB/s beim Schreiben
  • /work/projects & /work/scratch: 1,5 PByte, 40 GB/s Lesen und Schreiben

Nutzung der Rechenknoten

  • Jeder Rechenknoten einzeln mit entweder einem größeren oder mehreren kleinen Jobs
  • Mehrere Knoten gleichzeitig mit Inter-Prozess-Kommunikation (MPI) über InfiniBand:
    • Jede Insel für sich (mit MPI beispielsweise 32 oder bis zu 160 Rechenknoten)
    • Insel-übergreifend mit verringerter Bandbreite zwischen den Nodes verschiedener Inseln