===== Repositorio de documentación del clúster HPC ctcomp2 =====

(Volver a la [[centro:servizos:cluster_de_computacion_hpc_ctcomp2|Guía de usuario del clúster HPC ctcomp2]])

<note important>Under continuous construction...</note>

==== Hardware ====
 
  * 8 servidores blade HP Proliant BL685c G7
    * 4x AMD Opteron 6262HE (16 cores, 1.6GHz, 16MB L3)
  * 2 switches 10Gb dúales: Blade HP 6120xg
  * (**Exclusivos iSCSI**) 2 switches 1Gb: HP GbE2c Layer 2/3 Ethernet Blade


^ HP ProLiant BL685c G7 Server Blade | [[http://h20000.www2.hp.com/bizsupport/TechSupport/DocumentIndex.jsp?lang=en&cc=us&taskId=101&prodClassId=-1&contentType=SupportManual&docIndexId=64180&prodTypeId=3709945&prodSeriesId=4132829|HP manuals]] |
^::: | [[http://h10010.www1.hp.com/wwpc/es/es/sm/WF06a/3709945-3709945-3328410-3722793-3722793-4132829.html?dnr=1 | Blade de servidor HP ProLiant BL685c G7- Especificaciones]] |
^::: | [[http://h20000.www2.hp.com/bizsupport/TechSupport/DocumentIndex.jsp?lang=en&cc=us&taskId=101&prodClassId=-1&contentType=SupportManual&docIndexId=64180&prodTypeId=3709945&prodSeriesId=1844065|HP BladeSystem c7000 Enclosures]] |
^ Procesador AMD Opteron 6262 HE  | [[http://www.amd.com/es/products/server/processors/6000-series-platform/6200/Pages/6200-series-processors.aspx|Procesadores AMD Opteron™ Serie 6200]] |
^ ::: | {{:centro:servizos:cluster_de_computacion_hpc_ctcomp2:amd_opteron_6000_comparison.pdf|}} |
^ HP 6120XG Ethernet Blade Switch | [[http://h18006.www1.hp.com/products/blades/components/ethernet/6120xg/index.html|HP specifications]] |


==== Software ====

^ GCC      | [[http://gcc.gnu.org/onlinedocs/gcc-4.7.2/gcc/| Manual GCC 4.7.2]] |
^ :::      | [[http://gcc.gnu.org/onlinedocs/gcc-4.7.2/libgomp/|GCC + OpenMP]] |
^ JAVA     | [[http://www.java.com/es/about/]] |
^ :::      | [[#Tamaño del heap de JAVA]] |
^ Python   | [[http://www.python.org/doc/]] |
^ :::      | [[#Instalar/actualizar/desinstalar paquetes Python]] |

^ MATLAB   | [[http://www.mathworks.es/products/matlab/examples.html]] |
^ R        | [[http://cran.r-project.org/index.html]] |
^:::       | [[#Instalar paquetes R]]|
^ ACML     | [[http://developer.amd.com/tools/cpu-development/amd-core-math-library-acml/]] |
^ FFTW     | [[http://www.fftw.org/#documentation| Documentación oficial]] |
^ WFDB     | [[http://www.physionet.org/physiotools/wug/wug.htm| Documentación oficial]] |

^ Open MPI | [[http://www.open-mpi.org/doc/]] |
^ MPICH    | [[http://www.mpich.org/documentation/guides/]] |



==== Software (administración) ====

^ Modules    | [[http://modules.sourceforge.net/]] |
^ PBS/TORQUE | [[http://www.adaptivecomputing.com/products/open-source/torque/]] |
^ CLUES      | [[http://www.grycap.upv.es/clues/es/index.php]] |


===== Número de procesos MATLAB =====

MATLAB emplea internamente, y de manera transparente al usuario, threads para paralelizar ciertas operaciones, por lo que se puede utilizar reservando varios núcleos computacionales dentro de un mismo nodo. Sin embargo, en las versiones instaladas no es posible controlar esta característica, por lo que MATLAB utiliza todos los recursos del nodo asignado, independientemente de los recursos solicitados. Para evitar posibles cancelaciones debido a un uso indebido de los recursos asignados,  __se recomienda a los usuarios utilizar el paralelismo implícito de MATLAB solo cuando se reserve en exclusividad un nodo del clúster__. En cualquier otro caso, se recomienda solicitar únicamente un núcleo computacional y utilizar la opción ''-singleCompThread'', que desactiva el paralelismo implícito de MATLAB para realizar una ejecución secuencial. En este ejemplo, el nombre del script es ''test.m''.

<code>
#!/bin/bash
#PBS -l nodes=1:ppn=1,walltime=1:00:00
#PBS -N ej-MATLAB
cd $PBS_O_WORKDIR
module load matlab
matlab -r test -nodisplay -nojvm -singleCompThread
# -r:         indicar el fichero a ejecutar (sin .m)
# IMPORTANTE: incluir la orden quit al final del fichero
# -nodisplay: sin display X.
# -nosplash:  sin pantalla inicial (OPCIONAL)
# -nojvm:     sin entorno java (OPCIONAL)
# -singleCompThread: ejecuta MATLAB secuencialmente
</code>

===== Tamaño del heap de JAVA =====

En ctcomp2 el tamaño del //heap// de JAVA está limitado al 25% del límite de memoria de la correspondiente cola y, en cualquier caso, con un **tamaño máximo de 8 GB**. Esta limitación garantiza que las aplicaciones JAVA no consuman más recursos de los asignados.

Los usuarios pueden utilizar otros tamaños de //heap// en sus trabajos si modifican, antes de ejecutar JAVA, el valor de la opción ''-Xmx'' de JAVA a través de la variable ''_JAVA_OPTIONS''. Por ejemplo, si queremos que el //heap// tenga 16 GB, el comando sería:
<code>
export _JAVA_OPTIONS=-Xmx16777216K
</code>

Al modificar el tamaño del //heap// el usuario debe asegurarse, **bajo su responsabilidad**, que el conjunto de procesos que se estén ejecutando concurrentemente en su trabajo no sobrepase el límite de memoria establecido en la correspondiente cola, ya que en ese caso el trabajo será cancelado automáticamente.

Los usuarios que ejecuten en sus trabajos una sola instancia de java (independientemente de los //threads// que ejecute) podrán aumentar el tamaño del //heap//, pero se recomienda que no sea un valor cercano al límite de memoria de la correspondiente cola. Si se ejecutan varias instancias de java, se recomienda ajustar adecuadamente el tamaño del //heap// para evitar cancelaciones.



===== Instalar paquetes R =====

Ejemplo de [[inv:r|instalación]] del paquete ''nnet'' en el ''$HOME'' de usuario del clúster ''ctcomp2''. Para evitar potenciales problemas, se recomienda realizar la instalación de paquetes en unha __sesión //interactiva// en el ''frontend''__.
 
  - Crear un directorio ''~/libR'':<code>
mkdir ~/libR
</code> 
  - Iniciamos una [[centro:servizos:cluster_de_computacion_hpc_ctcomp2#Ejecuciones interactivas|sesión interactiva]]:<code>
qsub -I -q interactive
</code>
  - Arrancar el entorno R:<code>
module load R
R
</code>
  - Ejecutar el siguiente comando dentro de R:<code>
install.packages("nnet",lib="~/libR/", repos="http://cran.es.r-project.org/")
</code>
  - Para usar un paquete instalado en ''~/libR/'', ejecutar dentro de R:<code>
library("nnet", lib.loc="~/libR/")
</code>
  
 
===== Instalar/actualizar/desinstalar paquetes Python =====

En principio, es posible instalar cualquier paquete presente en el [[http://pypi.python.org/pypi|índice de paquetes de python]]. A continuación mostramos un ejemplo de [[inv:python:pip|instalación/actualización/desinstalación]] del paquete ''pywavelets'' en el ''$HOME'' de usuario del clúster ''ctcomp2''. Para evitar potenciales problemas, se recomienda realizar la instalación de paquetes en el ''frontend''.

<note important>Si obtenemos un error:
<code>Please install a more recent version first, using
'easy_install -U distribute'.
</code>

Debemos ejecutar el comando ''easy_install -U --user distribute'', para actualizar en la base de datos en el espacio de usuario.
</note>
 
== Instalación ==
Ejecutar el siguiente comando en bash:
<code>
pip install --user pywavelets
</code>

== Actualización ==
Ejecutar el siguiente comando en bash:
<code>
pip install --upgrade --user pywavelets
</code>

== Desinstalación ==
Ejecutar el siguiente comando en bash:
<code>
pip uninstall --user pywavelets
</code>



===== Instalar paquetes Octave =====

En principio, es posible instalar cualquier paquete presente en el [[http://octave.sourceforge.net/packages.php|índice de paquetes de octave]]. A continuación mostramos un ejemplo de instalación del paquete ''image'' en el ''$HOME'' de usuario del clúster ''ctcomp2'', utilizando una __sesión //interactiva// (''qsub -I -q interactive'')__.

  * Iniciamos una sesión ''octave'':<code>
octave
</code>
  * Definimos el lugar de instalación de los paquetes en el ''$HOME'' de usuario (en este ejemplo, instalaremos los paquetes en el directorio ''/home/local/my.user.name/.octave-pkgs''):<code>
pkg prefix /home/local/my.user.name/.octave-pkgs /home/local/my.user.name/octave
</code>
  * Invocamos al gestor de paquetes de Octave (''dpk'') e instalamos el paquete ''image'' (también instalamos las depencias):<code>
pkg install -local -forge control
pkg install -local -forge general
pkg install -local -forge specfun
pkg install -local -forge signal
pkg install -local -forge image
</code>

  * Para usar los paquetes instalados en una sesión de Octave, simplemente hai que invocarlos a través del gestor de paquetes de Octave:<code>
pkg load image
</code>

===== Ejecución de ocean (CADENCE) =====

Ocean/Cadence no se puede ejecutar directamente en ''ctcomp2'', aunque sea con la opción ''-nograph'', ya que no es capaz de arrancar las X's. Teoricamente, la opción ''nograph'' precisamente haría que ''ocean'' se pudiese ejecutar sin X, pero el problema es que, con esta opción, ''ocean'' trata de arrancan un sistema X //falso// que tampoco funciona.

La solución para solventar este inconveniente en ''ctcomp2'' es crear nuestro propio entrono X //falso// antes de executar ''ocean'' (sin la opción ''nograph''). Utilizamos el comando ''xvfb-run'' para crear ese entorno X. 

Por lo tanto, para ejecutar ''script.cdn'', guardando la salida de ''ocean'' en ''fichero.log'', la secuencia de comandos a ejecutar es:

<code>
module load cadence
source /optct/cadence/2012-2013/lnx86/cadence.bash
xvfb-run -a -n 80 -s "-screen 0 640x480x16" ocean < script.ocn > fichero.log
</code>