Nutzung des Clusters

Benutzung des Clusters

Empfehlung: Um den Lichtenberg-Hochleistungsrechner schnell und effizient nutzen zu können, empfehlen wir allen neuen Nutzerinnen und Nutzern eine Teilnahme an der „Einführung für Nutzerinnen und Nutzer des Lichtenberg-Hochleistungsrechners“.

Login-Knoten

Zugang zum Cluster für die Nutzer ist ausschließlich über die Loginknoten möglich – eine aktuelle Liste verfügbarer Loginknoten finden Sie hier.

SSH-Fingerprints aller Loginknoten (Neu ab 16. Nov. 2017):

  • 1024 SHA256:J6jNs711jkTWTtq2Gmz1aic7/DjMGYcW6H+v9CDBdMQ (DSA)
  • 2048 SHA256:7DwyCfkMxPWNMlm0rwiiTC9GwC6VD83+q7EKROB3Rl0 (RSA)
  • 2048 SHA256:83Sv25pFP5FsaTW03sNr7Q5tNcYX4r7Pw8vf3TEbl0E (RSA1)
  • 256 SHA256:FtiApfklRof19e1DA4Q1KaFQG3kfHjVg0UScR6cHp+0 (ED25519)
  • 256 SHA256:C+fJ3oDd7oj4fY6e+SurbQuW4mq9MgeQonBjI/QMEQM (ECDSA)

Zulässige Ciphers, MACs und KEx-Algorithmen:

Ciphers: aes256-gcm@openssh.com,aes128-gcm@openssh.com,aes256-ctr,aes192-ctr,aes128-ctr,aes256-cbc,aes192-cbc,aes128-cbc

MACs: hmac-sha2-512,hmac-sha2-256,umac-128-etm@openssh.com,umac-64-etm@openssh.com

KexAlgorithms: diffie-hellman-group-exchange-sha256,ecdh-sha2-nistp521,ecdh-sha2-nistp384,ecdh-sha2-nistp256

Die Loginknoten sind von der Software her identisch, es ist also völlig egal, welcher der Knoten im Einzelfall verwendet wird. Von der Hardware her unterscheiden sich die Login Knoten minimal in zwei Gruppen (siehe hier).

Nutzer der Maschine loggen sich über ssh auf einem dieser Loginknoten ein und stellen ihre Rechenaufträge (=Jobs) in eine Warteschlange (=Queue) ein. Dabei müssen die benötigten Ressourcen (zum Beispiel Speicherbedarf, Anzahl der Kerne, Dauer des Ressourcenbedarfs) angegeben werden.

Die Loginknoten sind nicht für „produktive“ Rechnungen gedacht!

Da sie der Gesamtheit aller Benutzer des Clusters zur Verfügung stehen müssen, sind sie nur für

  • Vorbereiten und Abschicken von Jobs
  • Datentransfers zum und vom Cluster
  • kurze Testläufe Ihrer Software
  • Debugging von Programmen
  • Statusabfragen Ihrer Jobs

zu nutzen.

Da die Loginnodes im öffentlichen und frei erreichbaren Internet stehen, müssen wir von Zeit zu Zeit (Sicherheits-) Updates installieren. Das geschieht ggf. kurzfristig (30 Minuten Vorwarnzeit). Rechnen Sie daher nicht mit einer dauerhaften Verfügbarkeit aller Loginnodes!.

Warteschlangensystem Slurm

Das Rechnen im Cluster wird über das Slurm-Batchsystem organisiert. Slurm berechnet, wann und auf welchen der Rechenknoten der Auftrag gestartet wird. Dabei werden unter anderem der Bedarf an Ressourcen, die Wartezeit des Auftrags und die Priorität des zugeordneten Projektes berücksichtigt.

Die Aufträge werden vom Batch-System auf einem (oder falls so angefordert, mehreren) der Rechenknoten gestartet.

Um den Rechenauftrag (=Job) an Slurm zu übergeben, wird ein Batch-Script benötigt. Dieses Script enthält die

  • Anforderung an Ressourcen in Form von #SBATCH … pragmas und
  • die Abfolge von Kommandos und Programmen, die die eigentliche wissenschaftliche Berechnung ausführen.

Das „Batch-Script“ ist eine einfache Textdatei (mit UNIX-Zeilenenden!), die man entweder am eigenen PC erzeugt und dann auf den Loginknoten überträgt. Unter Windows wird dazu „Notepad++“ empfohlen, das man vor dem Speichern mittels „Bearbeiten“ – „Format Zeilenende“ auf UNIX (LF) umstellen muss.

Oder man legt das Script mit UNIX-Editoren direkt auf dem Loginknoten an, womit man den o.a. potentiellen Ärger mit falschen Zeilenenden von vornherein vermeidet.

Weitere Informationen zu

finden Sie in diesem Kapitel.