Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision
Previous revision
en:centro:servizos:hpc:acceso_al_cluster [2016/05/23 17:21] fernando.guillenen:centro:servizos:hpc:acceso_al_cluster [2018/12/17 17:27] (current) – [File import/export] jorge.suarez
Line 1: Line 1:
-FIXME **This page is not fully translated, yet. Please help completing the translation.**\\ //(remove this paragraph once the translation is finished)// 
  
 [[ en:centro:servizos:hpc#instrucciones_de_uso_del_cluster| >> Back to main page ]] [[ en:centro:servizos:hpc#instrucciones_de_uso_del_cluster| >> Back to main page ]]
  
-===== Cluter access =====+===== Cluster access =====
 Access to the cluster is made trough an independent virtual machine called ''frontend''(''ctcomp2.inv.usc.es''). This ''frontend'' has very limited resources and it's only purpose is to manage file transfers and job submissions to queues. __Code execution is not allowed in this server__.  Access to the cluster is made trough an independent virtual machine called ''frontend''(''ctcomp2.inv.usc.es''). This ''frontend'' has very limited resources and it's only purpose is to manage file transfers and job submissions to queues. __Code execution is not allowed in this server__. 
  
Line 23: Line 22:
  
  
-  *  ''/home/local/name.surname/''\\  Este directorio es el ''$HOME'' del usuario ''<nombre.apellidos>'' y es accesible por todos los nodos del clúster incluido el ''frontend''Por defecto, será el directorio de referencia en las ejecuciones de los códigos en los nodos computacionales El espacio disponible para cada usuario está limitado mediante cuotaspor lo que los usuarios que necesiten gestionar ficheros muy grandes deberán hacerlo a través del directorio ''/sfs/''.((En cualquier caso, los usuarios con necesidades de almacenamiento singulares deberán solicitar esos requerimientos a través del sistema de incidencias del CITIUS.)) +  *  ''/home/local/name.surname/''\\  This directory is the user'''$HOME'' and is accessible from all the cluster nodes including the ''frontend''By default it is the reference directory of code accessed by all running jobs in the computing nodesEach user's available space is limited by quotesso very big files will have to be stored in the ''/sfs/'' directory.  
-<note warning> **No se realizan backups** del directorio ''$HOME'' de los usuarios.</note>+<note warning> **NO backups are made of the user'''$HOME'' directory.**</note>
  
-  *  ''/sfs/''\\  Este directorio también está compartido entre los nodos de computación y el ''frontend''Podrá utilizarse como espacio auxiliar durante la ejecución de trabajospara el almacenamiento de ficheros temporales que deban estar accesibles en todos los nodos o para almacenar los ficheros resultado de una ejecuciónEn este directorio **no se garantiza la conservación permanente de los ficheros que no hayan sido accedidos en los últimos 30 días**. Se recomienda utilizar nombres de ficheros/directorios que identifiquen claramente al binomio usuario/programa, para evitar potenciales conflictos entre usuarios.+  *  ''/sfs/''\\ This directory is also shared between the nodes and the ''frontend''It can be used as an auxiliary space during job executionfor temporary file files that need to be accessible by all nodes or to store files resulting from job execution Inside this directory ** any file not accessed in the last 30 days can be deleted**. It is recommended to use file/directory names that identify clearly the coupling between user and programs to avoid potential conflicts between users.
  
-  *  ''/scratch/'' \\  Cada nodo computacional del clúster dispone de un directorio //scratch// local que puede ser utilizado para almacenamiento temporal local durante la ejecución de una tareaEl contenido de un directorio //scratch// no es visible desde el resto de nodos. El contenido de este directorio no estará accesible desde el ''frontend'', por lo que no es un lugar adecuado para guardar ficheros con resultados. **El contenido de este directorio podrá ser borrado en cualquier momento**. Se recomienda utilizar nombres de ficheros/directorios que identifiquen claramente al binomio usuario/programa, para evitar potenciales conflictos entre usuarios.+  *  ''/scratch/'' \\ Each node has a local //scratch// directory that can be used for temporal local storage during job executionThe contents of the //scratch// directory is not visible from other nodes nor is visible from the ''frontend'', as such is not a good choice for storing results files. **The content of this directory can be erased any time**. It is recommended to use file/directory names that identify clearly the coupling between user and programs to avoid potential conflicts between users 
 + 
  
-Para importar y exportar los archivos necesarios dentro y fuera del cluster se usa el comando ''scp'', que permite el intercambio de ficheros con otros sistemas conectados en red +To import and export the necessary files in and out the cluster the ''scp'' command is usedIt allows the user to move files between other file systems in the network. Syntax of the ''scp'' command is the following:
-La sintaxis del comando ''scp'' es la siguiente:+
 <code bash> <code bash>
-scp -P 1031 [-r] <direccion_origen> <direccion_destino>+scp -P 1301 [-r] <source_address> <destination_address>
 </code> </code>
-Los argumentos de este comando son+Argument explanation
-  * ''-r'' (//opcional//) Es un argumento que se utiliza cuando ''direccion_origen'' es un directorio, e indica que se debe copiar de manera recursiva el contenido del directorio.+  * ''-r'' (//optional//) Used whenever ''source address'' is a directory and denotes that directory contents must be copied recursively
   * ''<direccion_origen>'' Indica la ruta completa del fichero/directorio que se copiará.   * ''<direccion_origen>'' Indica la ruta completa del fichero/directorio que se copiará.
   * ''<direccion_destino>'' Indica la ruta completa donde queremos ubicar la copia del fichero/directorio.   * ''<direccion_destino>'' Indica la ruta completa donde queremos ubicar la copia del fichero/directorio.
  
-=== Ejemplos scp en ctcomp2 ===+=== scp command examples in ctcomp2 ===
  
-A modo de ejemplose muestran varios ejemplos de importación de ficherosEn estos ejemplos, se supone que el puesto de trabajo habitual del usuario ''nombre.apellido'' es ''ctXXX.inv.usc.es''El fichero/directorio que queremos importar está situado en ''ctXXX.inv.usc.es'', en el directorio ''/datos/work/'', y queremos hacer una copia en el espacio de usuario del clúster en el directorio ''work'' del ''$HOME'' del usuario+As an exampleseveral cases of file imports are shownIn this examples it is assumed that the user is ''user.name'' and that his workplace is ''ctXXX.inv.usc.es''The file/directory to be imported is located in ''ctXXX.inv.usc.es'' in the ''/datos/work/'' directory and that we want to copy them to the user's working space in the cluster in the directory ''work'' in the user'''$HOME''.  
- +If we use ''scp'' from inside the cluster after logging in trough ssh:
-Si ejecutamos ''scp'' desde el propio clúster después de haber iniciado una sesión por ssh:+
  
 <code bash> <code bash>
-ct$ scp -P 1031  nome.apelido@ctXXX.inv.usc.es:/datos/work/un.fichero  ~/work/ +ct$ scp -P 1301  user.name@ctXXX.inv.usc.es:/datos/work/one.file  ~/work/ 
-ct$ scp -P 1031  -r nome.apelido@ctXXX.inv.usc.es:/datos/work/directorio/  ~/work/+ct$ scp -P 1301  -r user.name@ctXXX.inv.usc.es:/datos/work/directory/  ~/work/
 </code> </code>
  
-Si ejecutamos ''scp'' desde nuestro equipo:+Id using ''scp'' from our own computer:
 <code bash> <code bash>
-local$ scp -P 1031 /datos/work/un.fichero  nome.apelido@ctcomp2.inv.usc.es:~/work/ +local$ scp -P 1301 /datos/work/one.file  user.name@ctcomp2.inv.usc.es:~/work/ 
-local$ scp -P 1031  -r /datos/work/directorio/   nome.apelido@ctcomp2.inv.usc.es:~/work/+local$ scp -P 1301  -r /datos/work/directory/   user.name@ctcomp2.inv.usc.es:~/work/
 </code> </code>