Cluster

¿Sabías que puedes hacer un cluster en tu casa?

Inicialmente, y si es algo nuevo para ti, iniciaré en el término cluster. Este término se aplica a los conjuntos de computadoras con componentes de hardware comunes y que se comportan como si fuesen una única computadora. Hoy en día juegan un papel importante en la solución de problemas que demandan cómputo intensivo.

La intención de este documento es hacerte saber que puedes hacer un cluster en tu casa, para esto requieres dos o más computadoras que quieras que trabajen en paralelo, instalarles Linux como sistema operativo recomendado y un conjunto de utilerías con las que vas a lograr tener una computadora con múltiples procesadores.

Una vez que cuentas con las computadoras con las que quieres formar un cluster, es necesario que estén conectadas en red y les instales el sistema operativo Linux.

Para realizar los pasos que se muestran en esta guía es deseable que tengas cierta experiencia con el sistema operativo Linux. Es muy probable que requieras instalar algunos servicios como NFS, SSH; además de que es necesario compartir, montar y desmontar directorios remotos, y que puedas editar archivos de configuración.

A continuación describiré a grandes rasgos los pasos que tienes que hacer para formar el cluster.

1.- Definir los nombres de hosts en etc/hosts/

Edita el archivo /etc/hosts para que este sea como se muestra a continuación:

127.0.0.1 localhost 192.168.133.100 master 192.168.133.101 node1 192.168.133.102 node2 192.168.133.103 node3

Nota que el archivo tiene que ser visto de esta forma:

127.0.0.1 localhost 127.0.0.1 master 192.168.133.100 master 192.168.133.101 node1 192.168.133.102 node2 192.168.133.103 node3

En este ejemplo, el nodo master será el nodo maestro, a partir del cual ejecutaremos las aplicaciones diseñadas para usar los procesadores del cluster. Todos los demás nodos node1, node2 y node3 serán los nodos que compartirán en CPU para el cluster.

2.- Asegurarte que las computadoras tengan instalado NFS.

NFS (Network File System o Sistema de archivos de red) es un protocolo de nivel de aplicación, según el Modelo OSI. Es utilizado para sistemas de archivos distribuido en un entorno de red de computadoras de área local. Posibilita que distintos sistemas conectados a una misma red accedan archivos remotos como si se tratara de locales.

3.- Compartir la carpeta del nodo maestro

Hacer una carpeta en todos los nodos, ahí almacenaremos todos nuestros datos y programas, en este caso la carpeta es /mirror.

omid@master:~$ sudo mkdir /mirror omid@node1:~$ sudo mkdir /mirror omid@node2:~$ sudo mkdir /mirror omid@node3:~$ sudo mkdir /mirror

Y por lo tanto este directorio será compartido por todos los nodos que formarán parte del cluster, la forma de hacerlo es indicando en el archivo /etc/exports la ruta del directorio a compartir.

omid@master:~$ sudo echo “/mirror *(rw,sync)” >> /etc/exports

Nota que almacenaremos todos nuestros datos y programas en el nodo maestro y todos los nodos lo accederán con NFS.

4. Definir un usuario que ejecute los programas del cluster.

Definiremos un usuario con el mismo nombre e identificador de usuario (UID) en todos los nodos con directorio home en /mirror.

omid@master:~$ useradd -c ”mpi user” -d /mirror mpiu omid@node1:~$ useradd -c “mpi user” -d /mirror mpiu omid@node2:~$ useradd -c “mpi user” -d /mirror mpiu omid@node3:~$ useradd -c “mpi user” -d /mirror mpiu

También es importante que el usuario mpiu sea dueño del directorio /mirror en todos los nodos:

omid@master:~$ sudo chown mpiu /mirror omid@node1:~$ sudo chown mpiu /mirror omid@node2:~$ sudo chown mpiu /mirror

omid@node3:~$ sudo chown mpiu /mirror

5. Montar el directorio maestro en todos los nodos del cluster

omid@node1:~$ sudo mount master:/mirror /mirror omid@node2:~$ sudo mount master:/mirror /mirror omid@node3:~$ sudo mount master:/mirror /mirror

Una recomendación es modificar el archivo /etc/fstab en todos los nodos de manera que el directorio /mirror de maestro será montado en cada nodo durante su arranque

6.- Asegurarse que tengas instalado el servidor ssh en todos los nodos, de no ser así instalalo (ver openssh-server)

7. Establecer SSH sin password para la comunicación entre nodos

Primero entramos en el

...