| Next revision | Previous revision |
| en:centro:servizos:hpc:acceso_al_cluster [2016/05/23 12:53] – created fernando.guillen | en:centro:servizos:hpc:acceso_al_cluster [2018/12/17 17:27] (current) – [File import/export] jorge.suarez |
|---|
| FIXME **This page is not fully translated, yet. Please help completing the translation.**\\ //(remove this paragraph once the translation is finished)// | |
| |
| [[ es:centro:servizos:hpc#instrucciones_de_uso_del_cluster| >> Volver a la página principal del cluster ]] | [[ en:centro:servizos:hpc#instrucciones_de_uso_del_cluster| >> Back to main page ]] |
| |
| ===== Acceso al cluster ===== | ===== Cluster access ===== |
| El acceso de los usuarios al clúster se realiza a través de una máquina virtual independiente, que denominamos ''frontend''(''ctcomp2.inv.usc.es''). Este ''frontend'' tiene unas prestaciones limitadas y únicamente está preparado para gestionar ficheros y enviar trabajos al sistema de colas del clúster. __No está permitida la ejecución de código en esta máquina__. | Access to the cluster is made trough an independent virtual machine called ''frontend''(''ctcomp2.inv.usc.es''). This ''frontend'' has very limited resources and it's only purpose is to manage file transfers and job submissions to queues. __Code execution is not allowed in this server__. |
| |
| El acceso remoto al ''frontend'' se realiza mediante ''ssh'' (//secure shell//). Se utiliza el sistema de autenticación centralizado del CITIUS. //Nota: En caso de tener problemas accediendo con el nombre de host del equipo, se puede utilizar la dirección IP en su lugar: ''172.16.242.122''.// | Remote access to the ''frontend'' is made with ''ssh'' (//secure shell//). Access credentials are the CITIUS ones. //Note: If having problems connecting using the hostname then use the IP address instead: ''172.16.242.122''.// |
| |
| <code bash> | <code bash> |
| local$ ssh [-X] -p 1301 usuario_citius@ctcomp2.inv.usc.es | local$ ssh [-X] -p 1301 citius_user@ctcomp2.inv.usc.es |
| Password: | Password: |
| ctcomp2$ | ctcomp2$ |
| </code> | </code> |
| El argumento ''-X'' es opcional. Activa la redirección de las X. Es un requisito imprescindible para ejecutar aplicaciones que requieran modo gráfico. | The ''-X'' parameter is optional. Connects the X redirection. It is an essential requirement in order to execute programs that need a graphical mode. |
| |
| ===== Importación/exportación de ficheros ===== | |
| |
| Los sistemas de ficheros del cluster son independientes y están aislados de la red del CITIUS, por lo que es necesario importar al espacio de usuario del clúster todos los ficheros necesarios para la ejecución de nuestros programas (por ejemplo, el código fuente o los ficheros de entrada del programa). | ===== File import/export ===== |
| |
| El usuario dispone de los siguientes espacios, dentro del sistema de ficheros del clúster, para ubicar los ficheros relacionados con sus trabajos: | The cluster's filesystems are independent and are isolated from the CITIUS network so it is necessary to import to the cluster's user space all necessary files to execute our programs (for example, source code or the input files). |
| |
| * ''/home/local/nombre.apellido/''\\ Este directorio es el ''$HOME'' del usuario ''<nombre.apellidos>'' y es accesible por todos los nodos del clúster incluido el ''frontend''. Por defecto, será el directorio de referencia en las ejecuciones de los códigos en los nodos computacionales. El espacio disponible para cada usuario está limitado mediante cuotas, por lo que los usuarios que necesiten gestionar ficheros muy grandes deberán hacerlo a través del directorio ''/sfs/''.((En cualquier caso, los usuarios con necesidades de almacenamiento singulares deberán solicitar esos requerimientos a través del sistema de incidencias del CITIUS.)) | An user has the following places available, inside the cluster's filesystem, to place his files: |
| <note warning> **No se realizan backups** del directorio ''$HOME'' de los usuarios.</note> | |
| |
| * ''/sfs/''\\ Este directorio también está compartido entre los nodos de computación y el ''frontend''. Podrá utilizarse como espacio auxiliar durante la ejecución de trabajos, para el almacenamiento de ficheros temporales que deban estar accesibles en todos los nodos o para almacenar los ficheros resultado de una ejecución. En este directorio **no se garantiza la conservación permanente de los ficheros que no hayan sido accedidos en los últimos 30 días**. Se recomienda utilizar nombres de ficheros/directorios que identifiquen claramente al binomio usuario/programa, para evitar potenciales conflictos entre usuarios. | |
| |
| * ''/scratch/'' \\ Cada nodo computacional del clúster dispone de un directorio //scratch// local que puede ser utilizado para almacenamiento temporal local durante la ejecución de una tarea. El contenido de un directorio //scratch// no es visible desde el resto de nodos. El contenido de este directorio no estará accesible desde el ''frontend'', por lo que no es un lugar adecuado para guardar ficheros con resultados. **El contenido de este directorio podrá ser borrado en cualquier momento**. Se recomienda utilizar nombres de ficheros/directorios que identifiquen claramente al binomio usuario/programa, para evitar potenciales conflictos entre usuarios. | * ''/home/local/name.surname/''\\ This directory is the user's ''$HOME'' and is accessible from all the cluster nodes including the ''frontend''. By default it is the reference directory of code accessed by all running jobs in the computing nodes. Each user's available space is limited by quotes, so very big files will have to be stored in the ''/sfs/'' directory. |
| | <note warning> **NO backups are made of the user's ''$HOME'' directory.**</note> |
| |
| Para importar y exportar los archivos necesarios dentro y fuera del cluster se usa el comando ''scp'', que permite el intercambio de ficheros con otros sistemas conectados en red. | * ''/sfs/''\\ This directory is also shared between the nodes and the ''frontend''. It can be used as an auxiliary space during job execution, for temporary file files that need to be accessible by all nodes or to store files resulting from job execution. Inside this directory ** any file not accessed in the last 30 days can be deleted**. It is recommended to use file/directory names that identify clearly the coupling between user and programs to avoid potential conflicts between users. |
| La sintaxis del comando ''scp'' es la siguiente: | |
| | * ''/scratch/'' \\ Each node has a local //scratch// directory that can be used for temporal local storage during job execution. The contents of the //scratch// directory is not visible from other nodes nor is visible from the ''frontend'', as such is not a good choice for storing results files. **The content of this directory can be erased any time**. It is recommended to use file/directory names that identify clearly the coupling between user and programs to avoid potential conflicts between users. |
| | |
| | |
| | To import and export the necessary files in and out the cluster the ''scp'' command is used. It allows the user to move files between other file systems in the network. Syntax of the ''scp'' command is the following: |
| <code bash> | <code bash> |
| scp -P 1031 [-r] <direccion_origen> <direccion_destino> | scp -P 1301 [-r] <source_address> <destination_address> |
| </code> | </code> |
| Los argumentos de este comando son: | Argument explanation: |
| * ''-r'' (//opcional//) Es un argumento que se utiliza cuando ''direccion_origen'' es un directorio, e indica que se debe copiar de manera recursiva el contenido del directorio. | * ''-r'' (//optional//) Used whenever ''source address'' is a directory and denotes that directory contents must be copied recursively. |
| * ''<direccion_origen>'' Indica la ruta completa del fichero/directorio que se copiará. | * ''<direccion_origen>'' Indica la ruta completa del fichero/directorio que se copiará. |
| * ''<direccion_destino>'' Indica la ruta completa donde queremos ubicar la copia del fichero/directorio. | * ''<direccion_destino>'' Indica la ruta completa donde queremos ubicar la copia del fichero/directorio. |
| |
| === Ejemplos scp en ctcomp2 === | === scp command examples in ctcomp2 === |
| | |
| A modo de ejemplo, se muestran varios ejemplos de importación de ficheros. En estos ejemplos, se supone que el puesto de trabajo habitual del usuario ''nombre.apellido'' es ''ctXXX.inv.usc.es''. El fichero/directorio que queremos importar está situado en ''ctXXX.inv.usc.es'', en el directorio ''/datos/work/'', y queremos hacer una copia en el espacio de usuario del clúster en el directorio ''work'' del ''$HOME'' del usuario. | |
| |
| Si ejecutamos ''scp'' desde el propio clúster después de haber iniciado una sesión por ssh: | As an example, several cases of file imports are shown. In this examples it is assumed that the user is ''user.name'' and that his workplace is ''ctXXX.inv.usc.es''. The file/directory to be imported is located in ''ctXXX.inv.usc.es'' in the ''/datos/work/'' directory and that we want to copy them to the user's working space in the cluster in the directory ''work'' in the user's ''$HOME''. |
| | If we use ''scp'' from inside the cluster after logging in trough ssh: |
| |
| <code bash> | <code bash> |
| ct$ scp -P 1031 nome.apelido@ctXXX.inv.usc.es:/datos/work/un.fichero ~/work/ | ct$ scp -P 1301 user.name@ctXXX.inv.usc.es:/datos/work/one.file ~/work/ |
| ct$ scp -P 1031 -r nome.apelido@ctXXX.inv.usc.es:/datos/work/directorio/ ~/work/ | ct$ scp -P 1301 -r user.name@ctXXX.inv.usc.es:/datos/work/directory/ ~/work/ |
| </code> | </code> |
| |
| Si ejecutamos ''scp'' desde nuestro equipo: | Id using ''scp'' from our own computer: |
| <code bash> | <code bash> |
| local$ scp -P 1031 /datos/work/un.fichero nome.apelido@ctcomp2.inv.usc.es:~/work/ | local$ scp -P 1301 /datos/work/one.file user.name@ctcomp2.inv.usc.es:~/work/ |
| local$ scp -P 1031 -r /datos/work/directorio/ nome.apelido@ctcomp2.inv.usc.es:~/work/ | local$ scp -P 1301 -r /datos/work/directory/ user.name@ctcomp2.inv.usc.es:~/work/ |
| </code> | </code> |
| |