Das Baden-Württemberg Grid (bwGRiD) ist Teil der D-Grid Initiative und stellt an 8 Standorten innerhalb Baden-Württembergs über 11.000 Cores für Forschung und Wissenschaft zur Verfügung. Die teilnehmenden Partner sind die Universitäten Freiburg, Heidelberg, Tübingen, Mannheim, Esslingen und der Verbund Ulm/Konstanz, sowie das Karlsruher Institut für Technologie und das Höchstleistungsrechenzentrum (HLRS) Stuttgart.

Die entsprechenden bwGRiD-spezifischen Seiten der Partner finden Sie hier: Stuttgart, Tübingen, Heidelberg, Mannheim.

Am Standort Ulm werden die Hardwareressourcen für Ulm und Konstanz verwaltet. Somit stehen in Ulm 20 IBM Bladecenter Type H mit je 14 IBM HS21XM Blades, insgesamt also 280 Blades zur Verfügung. Jedes Blade verfügt über zwei 4-Core Intel Harpertown CPUs mit 2.83 GHz und 16GByte RAM. Die Verwaltung und der Login zu den Blades erfolgt über Gigabit-Ethernet, wobei jedes Bladecenter mit nur einer Gigabit-Ethernet Leitung an dem lokalen Backbone angebunden ist. Das bedeutet, dass sich je 14 Blades eine Gigabit-Ethernet Leitung teilen müssen.

Daher besitzt jedes Blade zusätzlich ein DDR4x InfiniBand (IB) Interface (Transferrate: 20 GBit/Sec). Die IB-Verbindungen sind an einen gemeinsamen 288-Port Grid Director ISR 2012 InfiniBand-Switch von Voltaire angeschlossen und ermöglichen so eine sehr schnelle Kommunikation der Blades untereinander. Sowohl der Datenaustausch paralleler Programme via Message-Passing-Interface (MPI) Standard als auch die Anbindung des parallelen SFS Dateisystems (Lustre) von Hewlett Packard (Summentransferrate: 1.8 GByte/Sec, Gesamtkapazität: 64 TByte) erfolgt über das IB-Interface.

Seit März 2009 besitzen die Blades zusätzlich lokale Festplatten. So können den Applikationen 16GB Swap- und 120GB /tmp-Bereich zur Verfügung gestellt werden. Insbesondere Chemieanwendungen profitieren ganz erheblich von den lokalen Festplatten; zum einen aufgrund der sehr viel besseren Zugriffszeiten, zum anderen wegen der Unabhängigkeit der lokalen Platten vom Zustand des Gesamtsystems. Wenn die Chemieapplikation ihre lokalen Platten auf jeder Node optimal und gleichzeitig nutzen, ergibt sich in Summe eine Transferrate von bis zu 20 GByte/sec.

Da die Cluster des bwGRiDs an 7 unterschiedlichen Standorten aufgestellt sind und da jeder Standort einen eigenen Namens-/ID-Raum besitzt, muss es ein Software-System geben, dass es den Grid-Benutzern ermöglicht, sich trotz unterschiedlicher Nutzer-IDs an allen Standorten einzuloggen. Diese Funktionalität wird durch die Grid-Middleware Globus in Verbindung mit DFN-Grid-Nutzerzertifikaten bereitgestellt. Wenn man sich mit dem Globus-System an einem Standort einloggt, dann wird zuerst mittels des DFN-Grid-Nutzerzertifikats die Identität des Nutzers überprüft. Dann wird dem Benutzer automatisch eine lokale Nutzer-ID zugeordnet. Globus verwaltet also die Abbildung der Grid-Nutzerzertifikate auf lokale Nutzer-IDs.

Dieses Vorgehen hat einige Vorteile: Sie können nun mittels des Globus-Systems einfach den bwGRiD-Standort wechseln und so je nach Ressourcen- bzw. Softwarebedarf den Standort auswählen, der für Sie am besten geeignet ist. Wenn zum Beispiel die Queue eines Standorts überfüllt und an einem anderen Standort leer ist, dann wechseln Sie einfach den Standort. Da an allen bwGRiD Standorten die Hardware weitgehend identisch ist, muss man beim Wechsel nur auf die an den Standorten verfügbaren Softwarepakete achten (wenn man bestimmte Softwarepakete benötigt). Denn oft sind die Softwarepakete nicht an allen Standorten verfügbar und insbesondere auch auf bestimmte Benutzergruppen eingeschränkt.

Unabhängig von der Globus-Funktionalität bieten einige Standorte den lokalen Benutzern noch einen vereinfachten direkten Login zum eigenen Cluster. Da man bei dieser Login-Methode jedoch nicht die Vorteile des bwGRiD-Verbundes nutzen kann, ist es sehr empfehlenswert, in jedem Fall den Weg über die Zertifikate zu wählen.

Es gibt also zwei Möglichkeiten, um sich auf dem bwGRiD Cluster am Standort Ulm ein zu loggen:

1. Nachdem Sie die Voraussetzungen zum Zertifikat-basierten Login geschaffen haben, können Sie sich mittels der entsprechenden Globus-Kommandos (verfügbar z.B. auf den Unix-Servern des kiz oder auf den kiz Linux Pool Computern) auf dem Globus-Frontend in Ulm (koios.rz.uni-ulm.de), Stuttgart (gridway.dgrid.hlrs.de), Mannheim (gtbw.grid.uni-mannheim.de) oder Tübingen (gt4.uni-tuebingen.de) einloggen:

   module load system/globus;
   grid-proxy-init -debug -verify;
   gsissh -x -p 2222 koios.rz.uni-ulm.de

   Sie können auch das Globus-Toolkit auf Ihrem eigenen Rechner installieren (gsissh ist Teil von Globus) oder das Java-basierte GSISSH-Term verwenden. In beiden Fällen müssen die Voraussetzungen zum Zertifikat-basierten Login auf Ihrem eigenen Rechner erfüllt sein. Die Konfiguration der Programme ist nicht ganz einfach und wir leisten hier keinen Installationssupport. Wenn Sie bei der Installation der Programme Probleme haben, dann verwenden Sie bitte einfach einen unserer kiz Rechner, denn dort ist Globus bereits installiert und konfiguriert.

2. Wenn Sie sich direkt einloggen wollen und einen kiz Unix-Account besitzen, dann können Sie sich mit Ihrem kiz Unix Account-Namen und Ihrem kiz Unix Passwort auf dem interaktiven Frontend-Knoten des Standorts Ulm via ssh einloggen:

   ssh -l Account-Name themis.rz.uni-ulm.de