Einleitung

Hardware und Konfiguration des Clusters

Hardware-Übersicht 2015

Das Cluster besteht grundsätzlich aus 3 Sektionen:

MPI Sektion für MPI intensive Anwendungen

MEM Sektion für Anwendungen, die sehr viel Hauptspeicher benötigen

ACC Sektion für Anwendungen, die von Akzeleratoren profitieren

Das Komplettsystem befindet sich im HLR-Bau (L5|08) auf dem Campus Lichtwiese und besteht aus zwei Ausbauphasen, sowie einer Erweiterung.

Die Hardware der Phase I war seit Herbst 2013 in Betrieb, und wurde am 27 4. 2020 abgeschaltet.

Phase II wurde Februar 2015 in Betrieb genommen und zuletzt im Dezember 2015 erweitert.

Hardware der Phase II (Betriebsbereit seit 2015)

632 Rechenknoten und 8 Loginknoten

  • Prozessoren: Zusammen ~512 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 460 TFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: Zusammen 11,54 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
  • Speicherausbau: insgesamt ~44 TByte Hauptspeicher
  • Rechenknoten unterteilt in 18 Inseln:
    • 1x MPI Insel mit 84 Knoten (2016 Rechenkerne, in Summe 5376 GByte Hauptspeicher)
    • 16x MPI Inseln mit je 32 Knoten (768 Rechenkerne und 2048 GByte Hauptspeicher pro Insel)
    • 1x ACC Insel mit 32 Knoten (ACC-N) – 3x mit Akzeleratoren und 29x ohne Akzeleratoren

Dateisysteme / Storage

Technik

Das Speichersystem des Lichtenberg-Clusters nutzt IBM's Spectrum Scale (früher General Parallel File System).

2019

Das neue System stellt 3 PByte an Plattenplatz zur Verfügung. Die Metadaten sind hierbei auf SSDs (Solid State Disks) gespeichert, die Daten selbst auf ~1000 der schnellsten verfügbaren Magnetplatten.

Die Daten aller Filesysteme / Verzeichnisse werden aktiv auf alle vorhandenen Platten verteilt, so dass es keine Geschwindigkeitsunterschiede mehr zwischen /work/scratch oder /home gibt.

2015 – 2019

Im alten Speichersystem waren den Filesystemen jeweils eine bestimmte Anzahl von Magnetplatten fest zugewiesen, so dass einige Filesysteme kleiner und langsamer waren als andere.

  • total: 2 PByte
  • HOME file system: 500 TByte, 5 GB/s read and 4 GB/s write
  • PROJECTS & SCRATCH file systems: 1.5 PByte, 40 GB/s read and write

Nutzung der Rechenknoten

  • Jeder Knoten einzeln (mit bis zu 24 Kernen auf den meisten bzw. 60 Kernen auf wenigen Rechenknoten) mit entweder einem größeren oder mehreren kleinen Jobs
  • Mehrere Knoten gleichzeitig mit Inter-Prozess-Kommunikation (MPI) über InfiniBand:
    • Jede Insel für sich (mit MPI beispielsweise 32 oder bis zu 160 Rechenknoten)
    • Insel-übergreifend mit verringerter Bandbreite zwischen den Nodes verschiedener Inseln (auf Anfrage)