Einleitung

Hardware und Konfiguration des Clusters

Hardware-Übersicht 2015

Das Cluster besteht grundsätzlich aus 3 Sektionen:

MPI Sektion für MPI intensive Anwendungen

MEM Sektion für Anwendungen, die sehr viel Hauptspeicher benötigen

ACC Sektion für Anwendungen, die von Akzeleratoren profitieren

Das Komplettsystem befindet sich im HLR-Bau (L5|08) auf dem Campus Lichtwiese und besteht hauptsächlich aus zwei Ausbauphasen, sowie einer Erweiterung. Die Hardware der Phase I ist seit Herbst 2013 in Betrieb. Phase II wurde Februar 2015 in Betrieb genommen und zuletzt im Dezember 2015 erweitert.

Hardware der Phase I (Betriebsbereit seit 2013)

780 Rechenknoten und 4 Loginknoten

  • Prozessoren: Zusammen ~261 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 216 TFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: Zusammen ~168 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 119 TFlop/s Rechenleistung mit Linpack
  • Speicherausbau: insgesamt ~32 TByte Hauptspeicher
  • Rechenknoten unterteilt in 19 Inseln:
    • 1x MPI Insel mit 162 Knoten (2592 Rechenkerne, in Summe 5184 GByte Hauptspeicher)
    • 2x MPI Inseln mit je 32 Knoten (512 Rechenkerne und 2048 GByte Hauptspeicher pro Insel)
    • 15x MPI Inseln mit je 32 Knoten (512 Rechenkerne und 1024 GByte Hauptspeicher pro Insel)
    • 1x ACC Insel mit 44 Knoten (ACC-G) und 26 Knoten (ACC-M), 4 Knoten (MEM)

Hardware der Phase II (Betriebsbereit seit 2015)

632 Rechenknoten und 8 Loginknoten

  • Prozessoren: Zusammen ~512 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
    • Real erreichbar ca. 460 TFlop/s Rechenleistung mit Linpack
  • Akzeleratoren: Zusammen 11,54 TFlop/s Rechenleistung (DP-Genauigkeit, peak – theoretisch)
  • Speicherausbau: insgesamt ~44 TByte Hauptspeicher
  • Rechenknoten unterteilt in 18 Inseln:
    • 1x MPI Insel mit 84 Knoten (2016 Rechenkerne, in Summe 5376 GByte Hauptspeicher)
    • 16x MPI Inseln mit je 32 Knoten (768 Rechenkerne und 2048 GByte Hauptspeicher pro Insel)
    • 1x ACC Insel mit 32 Knoten (ACC-N) – 3x mit Akzeleratoren und 29x ohne Akzeleratoren

Dateisysteme Phase I+II (in Summe betriebsbereit seit 2015)

  • HOME – Dateisystem: 500 TByte, 5 GB/s Lesen und 4 GB/s Schreiben
  • PROJECTS & SCRATCH – Dateisysteme: 1,5 PByte, 40 GB/s Lesen und Schreiben

Nutzung der Rechenknoten

  • Jeder Knoten einzeln (mit bis zu 16, 24, 60 bzw. 64 Rechenkernen)
  • Mehrere Knoten gleichzeitig mit Datenkommunikation (MPI) über InfiniBand:
    • Jede Insel für sich (für MPI beispielsweise 32 oder bis zu 160 Rechenknoten)
    • Insel-übergreifend mit limitierter Bandbreite (auf Anfrage)