Einleitung

Hardware und Konfiguration des Clusters

Hardware Übersicht Compute-Sektionen

Das Cluster besteht grundsätzlich aus 3 separaten Sektionen:

MPI Sektion für MPI-intensive Anwendungen
ACC Sektion für Anwendungen, die von Akzeleratoren profitieren
MEM Sektion für Anwendungen, die sehr viel Hauptspeicher benötigen
TEST Teilsektion für die Evaluation neuer Hardware

Das Komplettsystem befindet sich im HLR-Bau (L5|08) auf dem Campus Lichtwiese und besteht aus zwei gleichzeitig laufenden Ausbaustufen (Phasen).

Phase II von Lichtenberg II ist zur Zeit im Bau und Test beim Hersteller

Phase I von Lichtenberg II wurde Dezember 2020 in Betrieb genommen.
Phase II von Lichtenberg I wurde Februar 2015 in Betrieb genommen und wurde im Mai 2021 abgeschaltet.
Phase I von Lichtenberg I war seit Herbst 2013 in Betrieb und wurde im April 2020 abgeschaltet.

Hardware der Phase I Lichtenberg II

643 Rechenknoten und 8 Loginknoten

  • Prozessoren: Zusammen ~4,5 PFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 3,03 PFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: Zusammen 424 TFlop/s Rechenleistung (DP/FP64-Genauigkeit, peak – theoretisch)
    und ~6,8 Tensor PFlop/s (Half Precision/FP16)
  • Speicherausbau: insgesamt ~250 TByte Hauptspeicher
  • Alle Rechenknoten in einer großen Insel:
    • MPI Sektion: 630 Knoten (je 96 Rechenkerne, 384 GByte Hauptspeicher)
    • ACC Sektion: 8 Knoten (je 96 Rechenkerne, 384 GByte Hauptspeicher)
      • 4 Knoten mit je 4x Nvidia V100 GPUs
      • 4 Knoten mit je 4x Nvidia A100 GPUs
    • MEM Sektion: 2 Knoten (je 96 Rechenkerne, 1536 GByte Hauptspeicher)
  • NVIDIA DGX A100
    • Status: in Vorbereitung – derzeit noch nicht im Betrieb
    • 3 Knoten (je 128 Rechenkernen, 1024 GByte Hauptspeicher)
      • 8x NVIDIA A100 Tensor Core GPUs (320 GByte total)
      • Lokales Storage: ca. 19 TByte (Flash, NVME)

Hardware der Phase II Lichtenberg I

632 Rechenknoten und 8 Loginknoten (abgeschaltet seit 31. 5. 2021)

  • Prozessoren: zusammen ~512 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 460 TFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: zusammen 11,54 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
  • Speicherausbau: insgesamt ~44 TByte Hauptspeicher
  • Rechenknoten unterteilt in 18 Inseln:
    • 1x MPI Insel mit 84 Knoten (2016 Rechenkerne, in Summe 5376 GByte Hauptspeicher)
    • 16x MPI Inseln mit je 32 Knoten (768 Rechenkerne und 2048 GByte Hauptspeicher pro Insel)
    • 1x ACC Insel mit 32 Knoten (ACC-N) – 3x mit Akzeleratoren und 29x ohne Akzeleratoren

Hardware der Phase I von Lichtenberg I (Betriebsbereit seit 2013)

780 Rechenknoten und 4 Loginknoten (abgeschaltet seit 27. 4. 2020)

  • Prozessoren: zusammen ~261 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 216 TFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: zusammen ~168 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 119 TFlop/s Rechenleistung mit Linpack
  • Speicherausbau: insgesamt ~32 TByte Hauptspeicher
  • Rechenknoten unterteilt in 19 Inseln:
    • 1x MPI Insel mit 162 Knoten (2592 Rechenkerne, in Summe 5184 GByte Hauptspeicher)
    • 2x MPI Inseln mit je 32 Knoten (512 Rechenkerne und 2048 GByte Hauptspeicher pro Insel)
    • 15x MPI Inseln mit je 32 Knoten (512 Rechenkerne und 1024 GByte Hauptspeicher pro Insel)
    • 1x ACC Insel mit 44 Knoten (ACC-G) und 26 Knoten (ACC-M), 4 Knoten (MEM)

Dateisysteme / Storage für Lichtenberg II

Der Ausbau von Lichtenberg II begann mit der Beschaffung der ersten Storage-Ausbaustufe (Beschaffung 2018). Dieses System ersetzte mit seiner Inbetriebnahme in 2019 bereits das veraltete Storage von Lichtenberg I, wird aber erst mit den neuen Cluster-Ausbaustufen von Lichtenberg II seine volle Leistung entfalten.

Das Hochgeschwindigkeits-Dateisystem, auch paralleles Dateisystem genannt, basiert auf „IBM Spectrum Scale“ (früher General Parallel File System), das für seine besondere Flexibilität bekannt ist.

Zuletzt wurde das Storage um 33% in Bezug auf Platz und Bandbreite erweitert. Damit ergibt sich:

Das aktuelle Storage-System stellt 4 PByte an Plattenplatz zur Verfügung. Die Metadaten werden hierbei auf SSDs (Solid State Disks) gespeichert, die Raw-Daten selbst auf ca. 1300 herkömmlichen Festplatten.

Das besondere an diesem System ist, dass alle Dateisysteme / Verzeichnisse über alle Festplatten und SSDs so verteilt werden, dass es kaum noch Geschwindigkeits-Unterschiede, trotz unterschiedlicher Konfiguration für den jeweiligen Zweck, mehr zwischen z.B. /work/scratch oder /home gibt. Außerdem bewirkt jede Kapazitätserweiterung somit auch eine substantielle Erhöhung des Speicherdurchsatzes.

So erreicht das Dateisystem eine (geschätzte) Bandbreite von bis zu ca. 120 GByte/s im Lesen und 106 GByte/s beim Schreiben.

Nutzung der Rechenknoten

  • Jeder Rechenknoten einzeln mit entweder einem größeren oder mehreren kleinen Jobs
  • Mehrere Knoten gleichzeitig mit Inter-Prozess-Kommunikation (MPI) über InfiniBand

Im Lichtenberg 2 gibt es keine „Inseln“ mehr (wie noch beim LB1).
Alle Rechenknoten des geamten Clusters können gleichzeitig und annähernd gleich schnell miteinander kommunizieren (das InfiniBand-Netzwerk ist „non-blocking“ angelegt).