30.07.2019
Lichtenberg Cluster ist bereit für maschinelles Lernen
Unterstützung der KI-Forschung durch Erweiterungen der Programmiersprache Python und Container
Forschung zu künstlicher Intelligenz (KI), insbesondere zu maschinellem Lernen (ML), ist in der computergestützten Forschung der letzten Jahre das zentrale Thema. Um die Wissenschaftler_innen bei der Deep Learning- und ML-Forschung auf dem Lichtenberg Cluster zu unterstützen und für seine Nutzung zu gewinnen, wurden alle im Modulsystem vorhandenen Python Installationen ergänzt.
Alle im Modulsystem vorhandenen Python Installationen wurden um folgende Pakete ergänzt:
- TensorFlow, das wohl am weitesten verbreitete Framework für Machine Learning (https://www.tensorflow.org/)
- PyTorch, ein weiteres ML-Framework mit Fokus auf Deep Learning (https://pytorch.org/)
- Keras, eine Deep Learning-Bibliothek mit TensorFlow-Schnittstelle (https://keras.io/)
- h5py, ein Python Interface für das HDF5-Datenformat (http://www.h5py.org/)
- mpi4py, eine MPI Anbindung für Python, um das Rechnen über mehrere Knoten zu ermöglichen (https://pypi.org/project/mpi4py/)
Zusätzlich werden auf dem Lichtenberg Cluster jetzt auch Singularity Container (https://singularity.lbl.gov/) unterstützt. Dadurch wird es leichter, Programme und Workflows extern zu entwickeln (z.B. auf dem eigenen Notebook) und dann auf dem Lichtenberg Cluster auszuführen, ohne sich um Abhängigkeiten und Unterschiede in der Entwicklungsumgebung kümmern zu müssen.
Für weitere Informationen und Beratung zur Nutzung der Module kontaktieren Sie bitte das Lichtenberg-Team (hhlr@hrz.tu-…).