Description du hardware

Installation des logiciels de base

Installation du maitre

Ce script modifie un certain nombre de fichiers de config
en sauvegardant les fichiers d'origine dans .orig
avec ce qui est dans /users/node_f8/master/config
(essentiellement
dans le repertoire etc)
Il est donc important de ne faire tourner run_once qu'une seule fois.
Les differentes etapes sont:
  * modifier /opt pour qu'il pointe sur /usr/local
  * modifier /etc/hosts pour inclure les noeuds et le maitre
    sur les deux interfaces
  * modifier /etc/X11/Xresources pour des couleurs plus agreables
  * copier /users/node_f8/master/config/etc/bashrc dans /etc/bashrc (ajout des '-i'
    pour cp, mv, rm et configuration du path)
  * mettre a jour ld.so.conf pour avoir le compilo intel
  * mettre a jour nsswitch.conf (inutile, supprime)
  * mettre a jour /etc/sysconfig/network (inutile, supprime)
  * mettre a jour /etc/sysconfig/network-scripts/ifcfg-eth{0,1}. Important
    pour eth1 car ce sera le cote interne du reseau du cluster
  * mettre a jour /etc/ssh et /root/.ssh pour conserver les memes cles de cryptage
  * script ntpmgr, qui configure ntp pour se synchroniser sur le routeur labo
  * script servicemgr, qui configure les services a demarrer au boot
  * script usermgr, qui recopie les fichiers passwd, shadow, group et gshadow.
    En pratique, il ecrase tout. Lors d'une install d'une nouvelle Fedora, le mieux
    est donc de faire a la main, un mix des fichiers originaux (conserves dans .orig)
    et des utilisateurs rajoutes. Recopier ensuite les fichiers obtenus dans
    /users/node_f8/master/config/etc, car ils serviront pour les noeuds.
  * script exportmgr, qui genere les exports de /users et /var/cache/yum vers le cluster
  * script dhcpdmgr, qui configure le serveur dhcp pour le cluster. En particulier dhcp.conf
    contient les adresses mac des noeuds, a modifier si le hardware change.
  * script yummgr, qui configure yum pour acceder aux repositories interessants.
    Il est ici TRES IMPORTANT de conserver les packages dans /var/cache/yum (option keepcache=1 dans /etc/yum/conf)
    pour pouvoir recreer un repository pour les noeuds.
  
Il peut y avoir quelques warnings (fichiers manquants), sans grande importance.
L'execution de run_once prend quelques secondes.

2. rpm-yum-mgr
Ce script installe tous les packages necessaires (et meme plus) via yum et
les repositories installes dans run_once.
Il peut tourner plusieurs fois sans inconvenient.
L'execution est longue, de l'ordre de 1 heure.
3. install-rpm
Ce script installe des rpm non disponibles sous yum. Ils sont rassembles
dans /users/node_f8/master/rpm. Il y a en particulier c3, qui permet
l'execution de commandes globales sur le cluster via cexec
(3 packages sur le maitre + un fichier de config, c'etait auparavant
dans le script ajout-c3)
Tout est fait en "yum localinstall" plutot que rpm brutal.
4. ajout-systemimager
Ce script installe systemimager
(un paquet de rpms) sur le maitre.
5. ajout-ganglia
Ce script installe ganglia (gmond, gmetad et web) de facon a pouvoir
avoir l'etat du cluster sur thorgal, via une interface web.
Le script configure /etc/gmond.conf et /etc/gmetad.conf.
Copies des fichiers dans /users/node_f8/master/config.etc

diff /etc/gmetad.conf /etc/gmetad.conf.orig
39c39
< data_source "beowulf" localhost
---
> data_source "my cluster" localhost

diff /etc/gmond.conf /etc/gmond.conf.orig
20c20
<   name = "beowulf"
---
>   name = "unspecified"
23c23
<   url = "beowulf"
---
>   url = "unspecified"

On peut aussi rajouter la ligne:
gexec   2875/tcp    # Caltech GEXEC
a la fin de /etc/services (non utilise dans la config actuelle).

Le script demarre les services gmetad et httpd, avec un chkconfig.

Le 20-8-2008, gmetad part dans les choux avec explosion de la memoire suivie
de l'intervention de oom_killer... "yum update ganglia" (en version 3.0.7) resoud le probleme.

6. install-nonrpm installe les packages
utiles qui ne sont pas sous forme de rpm.
Il s'agit en general d'applications genre compilo ou librairie, installee
manuellement sur une machine et dont on a fait un .tgz qui peut etre
reutilise sur toute machine. En particulier, ca doit contenir les fichiers de license necessaires.
Les .tgz eux memes sont dans /users/node_f8/master/tar
Il y a :
  - installation des codes win32 dans /usr/lib/codecs avec quelques liens (pas vraiment teste)
  - installation de fontes diverses dans /usr/share/fonts (pas vraiment teste)
  - installation de la config tex dans /usr/share/texmf (pas vraiment teste)
  - install-intel-compiler-fortran-10.1 : Intel Fortran 32 bits version 10.1
  - install-intel-compiler-fortrane-10.1 : Intel Fortran 64 bits version 10.1
  - install-intel-compiler-cc-10.1 : Intel C 32 bits version 10.1
  - install-intel-compiler-cce-10.1 : Intel C 64 bits version 10.1
  - install-intel-idb-10.1 : Intel debugger 32 bits version 10.1
  - install-intel-idbe-10.1 : Intel debugger 64 bits version 10.1
  - install-mkl-10.0 : Intel MKL library version 10.0, 32 et 64 bits, serial et multithreaded
  - install-acml-4.0.1 : AMD ACML library, version 4.0.1, 64 bits, pour gfortran, ifort, pathscale, single et multi-threaded
  - install-libraries : installe differentes librairies utiles:
    * NAG 32 et 64 bits, ifort et gfortran. Par defaut, libnag.a pointe vers ifort 64 bits.
    * Lapack 32 et 64 bits pour ifort. Par defaut, liblapack.a pointe vers ifort 64 bits.
    * fgsl 32 et 64 bits pour ifort. Par defaut, libfgsl.a pointe vers ifort 64 bits (il y a egalement
      le include correspondant).
    * Goto (BLAS) 64 bits, pour tout compilateur, en versions opteron single et multi-threaded, avec ou sans support
      de sse3. Par defaut, libgoto.a (multi-threaded) pointe vers nosse3 sur la maitre, sse3 sur les noeuds. libgoto-single.a pointe
      sur les versions single.

A la fin, il peut y a voir des fichiers appartenant a delande plutot
que root, on peut donc faire un "cd /opt; chown -R root.root ."

Finalement, il faut lancer un grand "yum update" qui prend environ 2 heures.

 
***** contenu de /users/node_f8/master/config (le 20-1-2008)
Differents fichiers de config du maitre sont gardes dans  /users/node_f8/master/config
Ils peuvent en principe ecraser brutalement les fichiers existant apres une
install standard de Fedora sur le maitre. Certains sont peut-etre
inutiles

/users/node_f8/master/config/:
total 32
drwxr-xr-x  5 root root 4096 ao\ufffd\ufffd 18 17:52 ./
drwxr-xr-x 16 root root 4096 ao\ufffd\ufffd 18 16:45 ../
drwxr-xr-x  8 root root 4096 jan 31  2008 etc/
drwxr-xr-x  4 root root 4096 jan 21  2008 opt/
drwxr-xr-x  3 root root 4096 ao\ufffd\ufffd 18 17:52 root/

/users/node_f8/master/config/etc:
total 168
drwxr-xr-x 8 root root 4096 jan 31  2008 ./
drwxr-xr-x 5 root root 4096 ao\ufffd\ufffd 18 17:52 ../
-rw-r--r-- 1 root root 1686 jan 14  2008 bashrc
-rw-r--r-- 1 root root  110 ao\ufffd\ufffd 18 18:19 c3.conf
-rw-r--r-- 1 root root 1928 ao\ufffd\ufffd 18 18:22 dhcpd.conf
-rw-r--r-- 1 root root  148 jan 16  2008 exports
-rw-r--r-- 1 root root  618 jan 16  2008 fstab
-rw-r--r-- 1 root root 4842 jan 25  2008 gmetad.conf
-rw-r--r-- 1 root root  976 jui 31 10:44 group
-r-------- 1 root root  700 jui 31 10:44 gshadow
-rw-r--r-- 1 root root 1255 ao\ufffd\ufffd 18 18:19 hosts
drwxr-xr-x 2 root root 4096 mai 14  2007 init.d/
-rw-r--r-- 1 root root   96 jan 16  2008 ld.so.conf
-rw-r--r-- 1 root root  235 jui 19  2006 ntp.conf
-rw-r--r-- 1 root root 3591 jui 31 10:44 passwd
drwxr-xr-x 3 root root 4096 nov 25  2007 pki/
drwxr-xr-x 2 root root 4096 jan 31  2008 rc.d/
-r-------- 1 root root 2730 jui 31 10:44 shadow
drwxr-xr-x 2 root root 4096 jan 13  2008 ssh/
drwxr-xr-x 3 root root 4096 jan 16  2008 sysconfig/
-rw-r--r-- 1 root root  285 jui  6  2006 yum.conf
drwxr-xr-x 2 root root 4096 nov 23  2007 yum.repos.d/

/users/node_f8/master/config/etc/init.d:
total 40
drwxr-xr-x 2 root root 4096 mai 14  2007 ./
drwxr-xr-x 8 root root 4096 jan 31  2008 ../
-rwxr-xr-x 1 root root 1738 jun  4  2007 pbs_mom*
-rwxr-xr-x 1 root root  906 jun  4  2007 pbs_sched*
-rwxr-xr-x 1 root root 1033 jun  4  2007 pbs_server*

/users/node_f8/master/config/etc/pki:
total 24
drwxr-xr-x 3 root root 4096 nov 25  2007 ./
drwxr-xr-x 8 root root 4096 jan 31  2008 ../
drwxr-xr-x 2 root root 4096 nov 25  2007 rpm-gpg/

/users/node_f8/master/config/etc/pki/rpm-gpg:
total 128
drwxr-xr-x 2 root root 4096 nov 25  2007 ./
drwxr-xr-x 3 root root 4096 nov 25  2007 ../
-rw-r--r-- 1 root root 1391 nov 25  2007 jpackage.asc
-rw-r--r-- 1 root root 1569 nov 25  2007 kde-redhat.RPM-GPG-KEY
-rw-r--r-- 1 root root 1910 nov 25  2007 RPM-GPG-KEY
-rw-r--r-- 1 root root 1726 nov 25  2007 RPM-GPG-KEY-adobe-linux
-rw-r--r-- 1 root root 1044 nov 25  2007 RPM-GPG-KEY.atrpms
-rw-r--r-- 1 root root 1706 nov 25  2007 RPM-GPG-KEY-beta
-rw-r--r-- 1 root root 2161 nov 25  2007 RPM-GPG-KEY.dries.txt
-rw-r--r-- 1 root root 1519 nov 25  2007 RPM-GPG-KEY-fedora
-rw-r--r-- 1 root root 1105 nov 25  2007 RPM-GPG-KEY-fedora-rawhide
-rw-r--r-- 1 root root 1076 nov 25  2007 RPM-GPG-KEY-fedora-test
-rw-r--r-- 1 root root 1639 nov 25  2007 RPM-GPG-KEY-freshrpms
-rw-r--r-- 1 root root 1422 nov 25  2007 RPM-GPG-KEY-livna
-rw-r--r-- 1 root root 1547 nov 25  2007 RPM-GPG-KEY.planetccrma.txt
-rw-r--r-- 1 root root 1232 nov 25  2007 RPM-GPG-KEY-rawhide

/users/node_f8/master/config/etc/rc.d:
total 16
drwxr-xr-x 2 root root 4096 jan 31  2008 ./
drwxr-xr-x 8 root root 4096 jan 31  2008 ../
-rwxr-xr-x 1 root root  350 jan 31  2008 rc.local*

/users/node_f8/master/config/etc/ssh:
total 220
drwxr-xr-x 2 root root   4096 jan 13  2008 ./
drwxr-xr-x 8 root root   4096 jan 31  2008 ../
-rw------- 1 root root 132839 jan 13  2008 moduli
-rw-r--r-- 1 root root   1827 jui 16  2006 ssh_config
-rw------- 1 root root   3301 jui 16  2006 sshd_config
-rw------- 1 root root    672 jan 13  2008 ssh_host_dsa_key
-rw-r--r-- 1 root root    590 jan 13  2008 ssh_host_dsa_key.pub
-rw------- 1 root root    963 jan 13  2008 ssh_host_key
-rw-r--r-- 1 root root    627 jan 13  2008 ssh_host_key.pub
-rw------- 1 root root   1675 jan 13  2008 ssh_host_rsa_key
-rw-r--r-- 1 root root    382 jan 13  2008 ssh_host_rsa_key.pub

/users/node_f8/master/config/etc/sysconfig:
total 24
drwxr-xr-x 3 root root 4096 jan 16  2008 ./
drwxr-xr-x 8 root root 4096 jan 31  2008 ../
drwxr-xr-x 2 root root 4096 jui  6  2006 network-scripts/

/users/node_f8/master/config/etc/sysconfig/network-scripts:
total 32
drwxr-xr-x 2 root root 4096 jui  6  2006 ./
drwxr-xr-x 3 root root 4096 jan 16  2008 ../
-rw-r--r-- 1 root root  171 jui  6  2006 ifcfg-eth0
-rw-r--r-- 1 root root  214 jui  6  2006 ifcfg-eth1

/users/node_f8/master/config/etc/yum.repos.d:
total 144
drwxr-xr-x 2 root root 4096 nov 23  2007 ./
drwxr-xr-x 8 root root 4096 jan 31  2008 ../
-rw-r--r-- 1 root root  180 nov  9  2007 adobe-linux-i386.repo
-rw-r--r-- 1 root root  639 nov 13  2007 atrpms.repo
-rw-r--r-- 1 root root 1907 oct 30  2007 fedora-development.repo
-rw-r--r-- 1 root root  106 nov 23  2007 Fedora-install-media.repo
-rw-r--r-- 1 root root 1168 oct 30  2007 fedora.repo
-rw-r--r-- 1 root root 1078 oct 30  2007 fedora-updates.repo
-rw-r--r-- 1 root root 1156 oct 30  2007 fedora-updates-testing.repo
-rw-r--r-- 1 root root  283 nov 20  2007 freshrpms.repo
-rw-r--r-- 1 root root 1061 nov  9  2007 jpackage.repo
-rw-r--r-- 1 root root 1680 nov  9  2007 kde-redhat.repo
-rw-r--r-- 1 root root 1904 nov  7  2007 livna-devel.repo
-rw-r--r-- 1 root root 1808 nov  7  2007 livna.repo
-rw-r--r-- 1 root root 2003 nov  7  2007 livna-testing.repo
-rw-r--r-- 1 root root  522 nov  9  2007 planetccrma.repo
-rw-r--r-- 1 root root  179 nov  9  2007 rpmforge.repo
-rw-r--r-- 1 root root  152 nov 20  2007 texlive.repo

/users/node_f8/master/config/opt:
total 20
drwxr-xr-x 4 root root 4096 jan 21  2008 ./
drwxr-xr-x 5 root root 4096 ao\ufffd\ufffd 18 17:52 ../
drwxr-xr-x 3 root root 4096 jan 21  2008 mvapich-gcc/
drwxr-xr-x 3 root root 4096 jan 21  2008 mvapich-icc/

/users/node_f8/master/config/opt/mvapich-gcc:
total 12
drwxr-xr-x 3 root root 4096 jan 21  2008 ./
drwxr-xr-x 4 root root 4096 jan 21  2008 ../
drwxr-xr-x 2 root root 4096 jan 21  2008 bin/

/users/node_f8/master/config/opt/mvapich-gcc/bin:
total 16
drwxr-xr-x 2 root root 4096 jan 21  2008 ./
drwxr-xr-x 3 root root 4096 jan 21  2008 ../
-rw-r--r-- 1 root root  357 jan 21  2008 mpivars.csh
-rw-r--r-- 1 root root  204 jan 21  2008 mpivars.sh

/users/node_f8/master/config/opt/mvapich-icc:
total 12
drwxr-xr-x 3 root root 4096 jan 21  2008 ./
drwxr-xr-x 4 root root 4096 jan 21  2008 ../
drwxr-xr-x 2 root root 4096 jan 21  2008 bin/

/users/node_f8/master/config/opt/mvapich-icc/bin:
total 16
drwxr-xr-x 2 root root 4096 jan 21  2008 ./
drwxr-xr-x 3 root root 4096 jan 21  2008 ../
-rw-r--r-- 1 root root  357 jan 21  2008 mpivars.csh
-rw-r--r-- 1 root root  204 jan 21  2008 mpivars.sh

/users/node_f8/master/config/root:
total 16
drwxr-xr-x 3 root root 4096 ao\ufffd\ufffd 18 17:52 ./
drwxr-xr-x 5 root root 4096 ao\ufffd\ufffd 18 17:52 ../
drwxr-xr-x 2 root root 4096 ao\ufffd\ufffd 18 17:53 .ssh/

/users/node_f8/master/config/root/.ssh:
total 20
drwxr-xr-x 2 root root 4096 ao\ufffd\ufffd 18 17:53 ./
drwxr-xr-x 3 root root 4096 ao\ufffd\ufffd 18 17:52 ../
-rw-r--r-- 1 root root 9839 ao\ufffd\ufffd 18 17:53 authorized_keys

Installation des noeuds

On fait d'abord une installation du noeud 1, avant de cloner
vers les autres noeuds avec systemimager.

Pour l'install, on va utiliser kickstart en utilisant le maitre comme repository source,
puis les fichiers de post-install stockes sur le maitre.

les differentes etapes sont:
1. Preparation des repositories sur le maitre.
Pour cela, on utilise tout ce qu'il y a dans /var/cache/yum.
Il faut aussi copier tous les fichiers de la fedora de base.
On met  l'iso du DVD dans /users/node_f8/F8/Fedora-8-x86_64-DVD.iso,
puis on ouvre en loopback
mkdir /mnt/iso
mount -o loop -t iso9660 /users/node_f8/F8/Fedora-8-x86_64-DVD.iso /mnt/iso
cd /mnt/iso/Packages
cp * /var/cache/yum/fedora/packages (faut il ecraser ou non les packages en double ? je ne sauis pas ; probablement sans importance)
On peut ensuite demonter /mnt/iso
Pour preparer les repositories, on lance le script  /users/node_f8/master/scripts/prepare-repository (ca prend quelques minutes
a creer les repositories, en particulier pour "fedora").

2. Install kickstart du noeud
On boote a partir du CD-Rescue Fedora 8. Apres ESC, on recupere le boote, et on tape

linux ks=nfs:192.168.1.253:/users/node_f8/node/ksnode.cfg

(attention, il y a bien un : entre l'adresse IP et le path)
Bien prendre l'interface eth0, donner 192.168.1.253 comme serveur de nom
(mieux vaut pas a mon avis).
L'install se passe alors normalement en une quinzaine de minutes.
La partie post-install du kickstart est minimum, elle se contente
en fait de modifier le fstab pour pouvoir monter /users et de modifier le /etc/hosts
pour avoir le reseau qui marche correctement.

3. Apres le reboot, c'est un peu comme pour le maitre, il y a des scripts
plus ou moins globaux a passer. Ils sont dans /users/node_f8/node/scripts.
Le script global est suite-installation, que l'on detaille dans la suite. 4. run_once
Ce script modifie un certain nombre de fichiers de config
en sauvegardant les fichiers d'origine dans .orig
avec ce qui est dans /users/node_f8/node/config
(essentiellement dans le repertoire etc)
Il est donc important de ne faire tourner run_once qu'une seule fois.
Les differentes etapes sont:
  * modifier /opt pour qu'il pointe sur /usr/local
  * modifier /etc/X11/Xresources pour des couleurs plus agreables
  * modifier /etc/fstab pour que ca monte /var/cache/yum dans /yummaster
  * copier /users/node_f8/node/config/etc/bashrc dans /etc/bashrc (ajout des '-i'
    pour cp, mv, rm et configuration du path)
  * mettre a jour ld.so.conf pour avoir le compilo intel
  * mettre a jour /etc/ssh et /root/.ssh pour conserver les memes cles de cryptage
  * mettre a jour /etc/modprobe.conf, pour disabler eth1
  * mettre a jour /etc/security/limits.conf, pour mvapich
  * mettre a jour /etc/rc.d/rc.local pour demarrer opensm au boot, sur le noeud 1 
  * script ntpmgr, qui configure ntp pour se synchroniser sur master
  * script inittabgr, qui configure le inittab a 3 (pas de X)
  * script servicemgr, qui configure les services a demarrer au boot. On ne garde que le strict minimum, a savoir:
    - ntpd pour avoir une synchro de l'heure
    - crond pour quelques scripts (atd et anacron inutiles)
    - sshd pour pouvoir se connecter
    - network
    - netfs et rpcbind pour le montage NFS de /users
    - syslog-ng
    Seront ajoutes au cours de l'install openibd et pbs_mom
  * script usermgr, qui recopie les fichiers passwd, shadow, group et gshadow.
    En pratique, il ecrase tout. Lors d'une install d'une nouvelle Fedora, le mieux
    est donc de faire a la main, un mix des fichiers originaux (conserves dans .orig)
    et des utilisateurs rajoutes. En fait, on utilise ici un lien vers les fichiers du master.
  * script yummgr, qui configure yum pour acceder aux repositories interessants.
    Ici, on ne conserve pas les packages dans /var/cache/yum (option keepcache=0 dans /etc/yum/conf)
  
Il peut y avoir quelques warnings (fichiers manquants), sans grande importance.
L'execution de run_once prend quelques secondes.

5. rpm-yum-mgr
Ce script installe tous les packages necessaires (et meme plus) via yum et
les repositories installes sur le maitre dans /yummaster.
Il peut tourner plusieurs fois sans inconvenient.
L'execution prend environ 5 minutes.

6. install-rpm
Ce script installe des rpm non disponibles sous yum. Ils sont rassembles
dans /users/node_f8/master/rpm.
Tout est fait en "yum localinstall" plutot que rpm brutal.

7. ajout-c3
Ceci permet l'execution de commandes globales sur le cluster via cexec
(1 package sur les noeuds)

8. ajout-systemimager
Ce script installe systemimager
(un paquet de rpms) sur le noeud.

9. install-nonrpm installe les packages
utiles qui ne sont pas sous forme de rpm.
Il s'agit en general d'applications genre compilo ou librairie, installee
manuellement sur une machine et dont on a fait un .tgz qui peut etre
reutilise sur toute machine. En particulier, ca doit contenir les fichiers de license necessaires.
Les .tgz eux memes sont dans /users/node_f8/master/tar
Il y a :
  - install-intel-compiler-fortran-10.1 : Intel Fortran 32 bits version 10.1
  - install-intel-compiler-fortrane-10.1 : Intel Fortran 64 bits version 10.1
  - install-intel-compiler-cc-10.1 : Intel C 32 bits version 10.1
  - install-intel-compiler-cce-10.1 : Intel C 64 bits version 10.1
  - install-intel-idb-10.1 : Intel debugger 32 bits version 10.1
  - install-intel-idbe-10.1 : Intel debugger 64 bits version 10.1
  - install-mkl-10.0 : Intel MKL library version 10.0, 32 et 64 bits, serial et multithreaded
  - install-acml-4.0.1 : AMD ACML library, version 4.0.1, 64 bits, pour gfortran, ifort, pathscale, single et multi-threaded
  - install-libraries : installe differentes librairies utiles:
    * NAG 32 et 64 bits, ifort et gfortran. Par defaut, libnag.a pointe vers ifort 64 bits.
    * Lapack 32 et 64 bits pour ifort. Par defaut, liblapack.a pointe vers ifort 64 bits.
    * fgsl 32 et 64 bits pour ifort. Par defaut, libfgsl.a pointe vers ifort 64 bits (il y a egalement
      le include correspondant).
    * Goto (BLAS) 64 bits, pour tout compilateur, en versions opteron single et multi-threaded, avec ou sans support
      de sse3. Par defaut, libgoto.a (multi-threaded) pointe vers nosse3 sur la maitre, sse3 sur les noeuds. libgoto-single.a pointe
      sur les versions single.

10. ajout-ganglia
Ce scripte installe ganglia et ganglia-gmond et configure /etc/gmond.conf.
Pour sortir l'etat des noeuds

A la fin, il peut y a voir des fichiers appartenant a delande plutot
que root, on peut donc faire un "cd /opt; chown -R root.root ."

Finalement, il faut lancer un grand "yum update" qui prend environ 30 minutes.

***** contenu de /users/node_f8/node/config (le 18-8-2008)
Differents fichiers de config des noeuds sont gardes dans  /users/node_f8/node/config
Ils peuvent en principe ecraser brutalement les fichiers existant apres une
install standard de Fedora sur le noeud. Certains sont peut-etre
inutiles. Il y en a qui sont des liens sur /users/node_f8/master/config.

/users/node_f8/node/config/:
total 32
drwxr-xr-x  4 root root 4096 jan 20  2008 .
drwxr-xr-x  8 root root 4096 ao\ufffd\ufffd 18 16:48 ..
drwxr-xr-x  3 root root 4096 f\ufffd\ufffdv  7  2007 boot
drwxr-xr-x 10 root root 4096 ao\ufffd\ufffd 18 17:20 etc

/users/node_f8/node/config/boot:
total 24
drwxr-xr-x 3 root root 4096 f\ufffd\ufffdv  7  2007 .
drwxr-xr-x 4 root root 4096 jan 20  2008 ..
drwxr-xr-x 2 root root 4096 f\ufffd\ufffdv  7  2007 grub

/users/node_f8/node/config/boot/grub:
total 24
drwxr-xr-x 2 root root 4096 f\ufffd\ufffdv  7  2007 .
drwxr-xr-x 3 root root 4096 f\ufffd\ufffdv  7  2007 ..
-rw------- 1 root root 1114 ao\ufffd\ufffd 18 14:48 grub.conf

/users/node_f8/node/config/etc:
total 136
drwxr-xr-x 10 root root 4096 ao\ufffd\ufffd 18 17:20 .
drwxr-xr-x  4 root root 4096 jan 20  2008 ..
lrwxrwxrwx  1 root root   33 jan 16  2008 bashrc -> ../../../master/config/etc/bashrc
-rw-r--r--  1 root root  709 jan 16  2008 fstab
-rw-r--r--  1 root root 5917 jan 31  2008 gmond.conf
lrwxrwxrwx  1 root root   32 jan 11  2008 group -> ../../../master/config/etc/group
lrwxrwxrwx  1 root root   34 jan 11  2008 gshadow -> ../../../master/config/etc/gshadow
-rw-r--r--  1 root root 1207 ao\ufffd\ufffd 18 13:28 hosts
drwxr-xr-x  2 root root 4096 jun  4  2007 infiniband
drwxr-xr-x  2 root root 4096 jan 17  2008 init.d
-rw-r--r--  1 root root 1666 jan 16  2008 inittab
lrwxrwxrwx  1 root root   37 jan 16  2008 ld.so.conf -> ../../../master/config/etc/ld.so.conf
-rw-r--r--  1 root root  196 ao\ufffd\ufffd 18 17:18 modprobe.conf
-rw-------  1 root root   18 nov  6  2006 mpd.conf
-rw-r--r--  1 root root  172 jui 18  2006 ntp.conf
lrwxrwxrwx  1 root root   33 jan 11  2008 passwd -> ../../../master/config/etc/passwd
drwxr-xr-x  3 root root 4096 nov 25  2007 pki
drwxr-xr-x  2 root root 4096 jan 21  2008 rc.d
-rwxr-xr-x  1 root root  298 ao\ufffd\ufffd 18 17:20 rc.local
drwxr-xr-x  2 root root 4096 sep  6  2006 security
lrwxrwxrwx  1 root root   33 jan 11  2008 shadow -> ../../../master/config/etc/shadow
drwxr-xr-x  2 root root 4096 jun 26  2006 ssh
drwxr-xr-x  3 root root 4096 ao\ufffd\ufffd 18 17:25 sysconfig
-rw-r--r--  1 root root  282 jan 16  2008 yum.conf
drwxr-xr-x  2 root root 4096 jan 16  2008 yum.repos.d

/users/node_f8/node/config/etc/infiniband:
total 24
drwxr-xr-x  2 root root 4096 jun  4  2007 .
drwxr-xr-x 10 root root 4096 ao\ufffd\ufffd 18 17:20 ..
-rw-r--r--  1 root root  554 ao\ufffd\ufffd 18 17:19 openib.conf

/users/node_f8/node/config/etc/init.d:
total 32
drwxr-xr-x  2 root root 4096 jan 17  2008 .
drwxr-xr-x 10 root root 4096 ao\ufffd\ufffd 18 17:20 ..
-rwxr-xr-x  1 root root 8152 jan 17  2008 opensm
-rwxr-xr-x  1 root root 1738 mai 14  2007 pbs_mom

/users/node_f8/node/config/etc/pki:
total 16
drwxr-xr-x  3 root root 4096 nov 25  2007 .
drwxr-xr-x 10 root root 4096 ao\ufffd\ufffd 18 17:20 ..
drwxr-xr-x  2 root root 4096 nov 25  2007 rpm-gpg

/users/node_f8/node/config/etc/pki/rpm-gpg:
total 64
drwxr-xr-x 2 root root 4096 nov 25  2007 .
drwxr-xr-x 3 root root 4096 nov 25  2007 ..
-rw-r--r-- 1 root root 1391 nov 25  2007 jpackage.asc
-rw-r--r-- 1 root root 1569 nov 25  2007 kde-redhat.RPM-GPG-KEY
-rw-r--r-- 1 root root 1910 nov 25  2007 RPM-GPG-KEY
-rw-r--r-- 1 root root 1726 nov 25  2007 RPM-GPG-KEY-adobe-linux
-rw-r--r-- 1 root root 1044 nov 25  2007 RPM-GPG-KEY.atrpms
-rw-r--r-- 1 root root 1706 nov 25  2007 RPM-GPG-KEY-beta
-rw-r--r-- 1 root root 2161 nov 25  2007 RPM-GPG-KEY.dries.txt
-rw-r--r-- 1 root root 1519 nov 25  2007 RPM-GPG-KEY-fedora
-rw-r--r-- 1 root root 1105 nov 25  2007 RPM-GPG-KEY-fedora-rawhide
-rw-r--r-- 1 root root 1076 nov 25  2007 RPM-GPG-KEY-fedora-test
-rw-r--r-- 1 root root 1639 nov 25  2007 RPM-GPG-KEY-freshrpms
-rw-r--r-- 1 root root 1422 nov 25  2007 RPM-GPG-KEY-livna
-rw-r--r-- 1 root root 1547 nov 25  2007 RPM-GPG-KEY.planetccrma.txt
-rw-r--r-- 1 root root 1232 nov 25  2007 RPM-GPG-KEY-rawhide

/users/node_f8/node/config/etc/rc.d:
total 20
drwxr-xr-x  2 root root 4096 jan 21  2008 .
drwxr-xr-x 10 root root 4096 ao\ufffd\ufffd 18 17:20 ..
-rwxr-xr-x  1 root root  297 jan 21  2008 rc.local

/users/node_f8/node/config/etc/security:
total 24
drwxr-xr-x  2 root root 4096 sep  6  2006 .
drwxr-xr-x 10 root root 4096 ao\ufffd\ufffd 18 17:20 ..
-rw-r--r--  1 root root 1851 mai 14  2007 limits.conf

/users/node_f8/node/config/etc/ssh:
total 180
drwxr-xr-x  2 root root   4096 jun 26  2006 .
drwxr-xr-x 10 root root   4096 ao\ufffd\ufffd 18 17:20 ..
-rw-------  1 root root 132839 mar  2  2006 moduli
-rw-r--r--  1 root root   1827 mar  2  2006 ssh_config
-rw-------  1 root root   3301 mar  2  2006 sshd_config
-rw-------  1 root root    668 jun 26  2006 ssh_host_dsa_key
-rw-r--r--  1 root root    590 jun 26  2006 ssh_host_dsa_key.pub
-rw-------  1 root root    963 jun 26  2006 ssh_host_key
-rw-r--r--  1 root root    627 jun 26  2006 ssh_host_key.pub
-rw-------  1 root root   1679 jun 26  2006 ssh_host_rsa_key
-rw-r--r--  1 root root    382 jun 26  2006 ssh_host_rsa_key.pub

/users/node_f8/node/config/etc/sysconfig:
total 32
drwxr-xr-x  3 root root 4096 ao\ufffd\ufffd 18 17:25 .
drwxr-xr-x 10 root root 4096 ao\ufffd\ufffd 18 17:20 ..
-rw-r--r--  1 root root   47 ao\ufffd\ufffd 18 17:23 i18n
-rw-r--r--  1 root root   32 ao\ufffd\ufffd 18 17:23 keyboard
drwxr-xr-x  2 root root 4096 ao\ufffd\ufffd 18 17:26 network-scripts
-rw-r--r--  1 root root 4336 ao\ufffd\ufffd 18 17:23 opensm.conf

/users/node_f8/node/config/etc/sysconfig/network-scripts:
total 12
drwxr-xr-x 2 root root 4096 ao\ufffd\ufffd 18 17:26 .
drwxr-xr-x 3 root root 4096 ao\ufffd\ufffd 18 17:25 ..
-rw-r--r-- 1 root root  124 ao\ufffd\ufffd 18 17:26 ifcfg-ib0

/users/node_f8/node/config/etc/yum.repos.d:
total 36
drwxr-xr-x  2 root root 4096 jan 16  2008 .
drwxr-xr-x 10 root root 4096 ao\ufffd\ufffd 18 17:20 ..
-rw-r--r--  1 root root  159 jan 16  2008 adobe-linux-i386.repo
-rw-r--r--  1 root root  207 jan 16  2008 fedora.repo
-rw-r--r--  1 root root  184 jan 16  2008 fedora-updates.repo
-rw-r--r--  1 root root  429 jan 16  2008 kde-redhat.repo
-rw-r--r--  1 root root  237 jan 16  2008 livna.repo
-rw-r--r--  1 root root  121 jan 16  2008 texlive.repo


Difference pour les noeuds 20 et 21:
Les fichiers
/etc/sysconfig/network-scripts/ifcfg-ib{0,1} (deux ports au lieu d'un)
/etc/infiniband/openib.conf (module different)
/etc/modprobe.conf
/boot/grub/grub.conf (pas de memtest)
sont les seuls qui different.
Par flemme, j'ai juste duplique l'arborescence.

gestion des cles

OFED

Installation de OFED, version 1.4-alpha1 (datant du 18 aout 2008)

Il faut tout d'abord recuperer OFED-1.4-alpha1.tgz sur le site http://www.openfabrics.org/builds/ofed-1.4/release/OFED-1.4-alpha1.tgz
Sinon, on peut utiliser git pour recuperer les dernieres versions. Voir https://wiki.openfabrics.org/tiki-index.php
Attention : tout ce qui est svn semble etre obsolete (en avril 2007).
On peut detarrer le package OFED-1.4-alpha1.tgz dans /users/node_f8/master/OFED-1.4-alphpa1
Il y a quelques fichiers a modifier par rapport au OFED-1.4-alpha1 original:
* MYREADME
* myofed.conf

Les contenus suivent.
La compilation du tout se fait via gcc. Inutile d'essayer un compilo
autre, ca n'ameliore rien, bien au contraire.

J'ai essaye d'autres versions: OFED-1.3.2-20080728-0355.tgz, OFED-1.4-20080814-0600.tgz, OFED-1.3.1.tgz
Elles plantent. Les 1.3 ne supportent pas le noyau 2.6.25, la 1.4 plante a l'install.



******* MYREADME par DD le 18-8-2008 *************
Avant de lancer l'install, il est conseille d'effacer entierement /opt/ofed,
sinon des scories risquent de s'y accumuler.

Pour installer OFED, il suffit de lancer simplement

./install.pl -c myofed.conf

pour installer automatiquement tout ce qui parait souhaitable.
Le ibsim et tgt-generic plantent a l'install, il faut donc les disabler.
Pour les tests, mvapich-intel, mvapich2-intel et openmpi-intel plantent juste
a l'installation, car il ne trouve pas les librairies C dans la base de donnees
rpm, puisque l'install a ete faire manuellement via un .tgz.
Je les ai donc disables.
Par contre, j'ai laisse le ipoib, pour le fun.
Il y a quelques petits bugs a corriger a la main:
* en cours d'install, il se plaint de ne pas trouver dapl-2.0.11-1.x86_64.rpm et s'arrete. Il suffit en
fait de faire (virer le .fc8 au milieu)
cd /users/node_f8/master/OFED-1.4-alpha1/RPMS/fedora-release-8-5/x86_64
cp dapl-2.0.11-1.fc8.x86_64.rpm dapl-2.0.11-1.x86_64.rpm
pour que ca marche (faire de meme pour dapl-debuginfo, dapl-devel, dapl-devel-statuic et dapl-utils).
* le fichier opensm.conf est apres l'install dans /etc/@OPENSM_CONFIG_SUB_DIR@,
alors qu'il devrait etre dans /etc/sysconfig. Copier a la main.
* commenter ib0 dans le /etc/modprobe.conf, pour
eviter de demarrer ib0 (facultatif, en fait a eviter si on veut utiliser par exemple le MPI
de Intel);
* sur le maitre, empecher le demarrage du demon openibd
chkconfig --level 35  openibd off

On peut aussi ajouter a la main des liens
du type (il y en a 6):
/opt/ofed/mpi/gcc/mvapich2-1.0.3 vers /opt/mvapich2-gcc

On souhaite aussi utiliser mpi-selector.
Les 6 compilos OFED sont installes automatiquement.
Pour les install manuelles, il faut recopier les fichiers mpivars.{csh,sh}
dans /users/node_f8/master/config/opt/mvapich-gcc vers /opt/mvapich-gcc/bin,
puis taper quelque chose du genre:
mpi-selector --register mvapich-gcc --source-dir /opt/mvapich-gcc/bin
Ensuite, chaque utilisateur peut selectionner son mpi avec
mpi-selector-menu.
     
Il faut faire l'install d'abord sur le noeud 1, puis sur le noeud 20 et enfin sur le maitre
et cloner ensuite les noeuds 1 et 20.
Attention, les modules mlx4 (pour carte Infiniband ConnectX) et mthca
(pour carte Infiniband III) sont installes simultanement sur une machine.
A priori, ce n'est pas grave. On peut corriger dans /etc/infiniband/openib.conf

On peut ensuite faire une install personnalisee
de mvapich (et mvapich2, openmpi), voir plus loin
 

************** end MYREADME ***********************

***************** myofed.conf *********************
kernel-ib=y
core=y
mthca=y
mlx4=y
ipoib=y
sdp=y
srp=y
srpt=y
rds=y
kernel-ib-devel=y
libibverbs=y
libibverbs-devel=y
libibverbs-devel-static=y
libibverbs-utils=y
libibverbs-debuginfo=y
libmthca=y
libmthca-devel-static=y
libmthca-debuginfo=y
libmlx4=y
libmlx4-devel=y
libmlx4-debuginfo=y
libcxgb3=n
libcxgb3-devel=n
libcxgb3-debuginfo=n
libnes=n
libnes-devel-static=n
libnes-debuginfo=n
libipathverbs=n
libipathverbs-devel=n
libipathverbs-debuginfo=n
libibcm=y
libibcm-devel=y
libibcm-debuginfo=y
libibcommon=y
libibcommon-devel=y
libibcommon-static=y
libibcommon-debuginfo=y
libibumad=y
libibumad-devel=y
libibumad-static=y
libibumad-debuginfo=y
libibmad=y
libibmad-devel=y
libibmad-static=y
libibmad-debuginfo=y
ibsim=n
ibsim-debuginfo=n
librdmacm=y
librdmacm-utils=y
librdmacm-devel=y
librdmacm-debuginfo=y
libsdp=y
libsdp-devel=y
libsdp-debuginfo=y
opensm=y
opensm-libs=y
opensm-devel=y
opensm-debuginfo=y
opensm-static=y
compat-dapl=n
compat-dapl-devel=n
dapl=y
dapl-devel=y
dapl-devel-static=y
dapl-utils=y
dapl-debuginfo=y
perftest=y
mstflint=y
sdpnetstat=y
srptools=y
rds-tools=y
ibutils=y
infiniband-diags=y
qperf=y
qperf-debuginfo=y
ofed-docs=y
ofed-scripts=y
tgt-generic=n
mpi-selector=y
mvapich_gcc=y
mvapich_intel=y
mvapich2_gcc=y
mvapich2_intel=y
openmpi_gcc=y
openmpi_intel=y
mpitests_mvapich_gcc=y
mpitests_mvapich_intel=n
mpitests_mvapich2_gcc=y
mpitests_mvapich2_intel=n
mpitests_openmpi_gcc=y
mpitests_openmpi_intel=n
build32=0
prefix=/opt/ofed
mvapich2_conf_impl=ofa
mvapich2_conf_romio=1
mvapich2_conf_shared_libs=1
mvapich2_conf_ckpt=0
mvapich2_conf_vcluster=small
mvapich2_conf_dapl_provider=ib0
************* end myofed.conf **********************

L'installation la plus simple est de le faire d'abord sur un noeud, puis
simplement sur le maitre, ou on ne regenere pas les executables,
mais on se contente d'installer les rpm dans RPMS/fedora-release-8-5
par install.pl -c myofed.conf

Pour desinstaller (avant upgrade), on peut aller dans
/opt/ofed/sbin et executer ofed_uninstall.sh

INSTALLATION personnalisee de MPI

Installation de mvapich

Utilisation de mpi-selector

Clonage d'un noeud

 Install Torque

Firmware des cartes Infiniband

Kernel

Options mvapich