This translation is older than the original page and might be outdated. See what has changed.
You are here: start » en » centro » servizos » hpc » acceso_al_cluster

Cluster access

This is an old revision of the document!

FIXME This page is not fully translated, yet. Please help completing the translation.
(remove this paragraph once the translation is finished)

>> Back to main page

Access to the cluster is made trough an independent virtual machine called frontend(ctcomp2.inv.usc.es). This frontend has very limited resources and it's only purpose is to manage file transfers and job submissions to queues. Code execution is not allowed in this server.

Remote access to the frontend is made with ssh (secure shell). Access credentials are the CITIUS ones. Note: If having problems connecting using the hostname then use the IP address instead: 172.16.242.122. 

local$ ssh [-X] -p 1301  citius_user@ctcomp2.inv.usc.es
Password:
ctcomp2$

The -X parameter is optional. Connects the X redirection. It is an essential requirement in order to execute programs that need a graphical mode.

File import/export

The cluster's filesystems are independent and are isolated from the CITIUS network so it is necessary to import to the cluster's user space all necessary files to execute our programs (for example, source code or the input files).

An user has the following places available, inside the cluster's filesystem, to place his files:

  • /home/local/name.surname/
    This directory is the user's $HOME and is accessible from all the cluster nodes including the frontend. By default it is the reference directory of code accessed by all running jobs in the computing nodes. Each user's available space is limited by quotes, so very big files will have to be stored in the /sfs/ directory.
NO backups are made of the user's $HOME directory.</note> * /sfs/
Este directorio también está compartido entre los nodos de computación y el frontend. Podrá utilizarse como espacio auxiliar durante la ejecución de trabajos, para el almacenamiento de ficheros temporales que deban estar accesibles en todos los nodos o para almacenar los ficheros resultado de una ejecución. En este directorio no se garantiza la conservación permanente de los ficheros que no hayan sido accedidos en los últimos 30 días. Se recomienda utilizar nombres de ficheros/directorios que identifiquen claramente al binomio usuario/programa, para evitar potenciales conflictos entre usuarios. * /scratch/
Cada nodo computacional del clúster dispone de un directorio scratch local que puede ser utilizado para almacenamiento temporal local durante la ejecución de una tarea. El contenido de un directorio scratch no es visible desde el resto de nodos. El contenido de este directorio no estará accesible desde el frontend, por lo que no es un lugar adecuado para guardar ficheros con resultados. El contenido de este directorio podrá ser borrado en cualquier momento**. Se recomienda utilizar nombres de ficheros/directorios que identifiquen claramente al binomio usuario/programa, para evitar potenciales conflictos entre usuarios.

Para importar y exportar los archivos necesarios dentro y fuera del cluster se usa el comando scp, que permite el intercambio de ficheros con otros sistemas conectados en red. La sintaxis del comando scp es la siguiente: 

scp -P 1031 [-r] <direccion_origen> <direccion_destino>

Los argumentos de este comando son:

  • -r (opcional) Es un argumento que se utiliza cuando direccion_origen es un directorio, e indica que se debe copiar de manera recursiva el contenido del directorio.
  • <direccion_origen> Indica la ruta completa del fichero/directorio que se copiará.
  • <direccion_destino> Indica la ruta completa donde queremos ubicar la copia del fichero/directorio.

=== Ejemplos scp en ctcomp2 ===

A modo de ejemplo, se muestran varios ejemplos de importación de ficheros. En estos ejemplos, se supone que el puesto de trabajo habitual del usuario nombre.apellido es ctXXX.inv.usc.es. El fichero/directorio que queremos importar está situado en ctXXX.inv.usc.es, en el directorio /datos/work/, y queremos hacer una copia en el espacio de usuario del clúster en el directorio work del $HOME del usuario.

Si ejecutamos scp desde el propio clúster después de haber iniciado una sesión por ssh: 

ct$ scp -P 1031  nome.apelido@ctXXX.inv.usc.es:/datos/work/un.fichero  ~/work/
ct$ scp -P 1031  -r nome.apelido@ctXXX.inv.usc.es:/datos/work/directorio/  ~/work/

Si ejecutamos scp desde nuestro equipo: 

local$ scp -P 1031 /datos/work/un.fichero  nome.apelido@ctcomp2.inv.usc.es:~/work/
local$ scp -P 1031  -r /datos/work/directorio/   nome.apelido@ctcomp2.inv.usc.es:~/work/