Diferencias

Muestra las diferencias entre dos versiones de la página.

--- es:centro:servizos:bd1 [2018/04/27 10:49] – creado fernando.guillen
+++ es:centro:servizos:bd1 [2019/09/30 13:42] (actual) – fernando.guillen
@@ Línea 1: / Línea 1: @@
 ====== Cluster Big Data 1 ======
+==== Descripción del servicio ====
+Cluster de experimentación e investigación en Big Data. El objetivo del cluster es proporcionar una plataforma hardware adecuada para la tipología de trabajos asociada con el Big Data cuya configuración pueda cambiar de forma flexible, de modo que sea posible investigar y experimentar sobre ella.
+==== Alta en el servicio ====
+El alta debe solicitarse mediante es [[https://citius.usc.es/dashboard/enviar-incidencia|formulario de peticiones e incidencias]]. Para acceder al formulario necesitas el usuario y contraseña del CITIUS.
+==== Acceso ====
+Una vez otorgada el alta el acceso se realiza a través del nodo master que actua como frontend de todo el cluster:
+<code bash>
+ssh -X <usuario citius>@master-bd1.inv.usc.es
+</code>
+Para poder acceder a la interfaz de gestión de Ambari, es necesario redirigir el puerto 8080 del ''nodo1'' usando SSH. En caso de querer usar la interfaz de gestión, debe emplearse este comando:
+<code bash>
+ssh -L 8080:nodo1:8080 <usuario citius>@master-bd1.inv.usc.es
+</code>
+==== Uso ====
+Para gestionar el cluster desde la interfaz de Apache Ambari, una vez conectado por SSH con la opción ''-L 8080:nodo1:8080'', conectarse a http://localhost:8080/
+El usuario y contraseña son ''admin/admin''.
+==== Software ====
+Desde la consola de Ambari se puede gestionar el siguiente software:
+    * HDFS 2.7.3
+    * YARN 2.7.3
+    * Tez 0.7.0
+    * Hive 1.2.1000
+    * Pig 0.16.0
+    * ZooKeeper 3.4.6
+    * Storm 1.1.0
+    * Spark 1.6.3
+    * Spark2 2.2.0
+    * Zeppelin Notebook 0.7.3
+    * Slider 0.92.0
+Ademáis en la siguiente tabla se indican otros proyectos gestionados por usuarios en el cluster:
+^   Usuario    ^    Software   ^   Nodos   ^   Notas   ^
+|   David Luaces Cachaza  |   MongoDB Sharding   |  Todos  |  Hasta 12/19  |
+|   Cesar Piñeiro Pomar   |   GlusterFS   |   Todos   |      |
+|   Rodrigo Martinez Castaño  |  Docker  |  3 y 4  |    |
+==== Hardware ====
+Servidores Dell EMC PowerEdge R730, cada uno con la siguiente configuración:
+  * 2 x Intel Xeon E5-2630 v4 (2,2Ghz 10c)
+  * 384 GB de RAM: 12 x 32GB RDIMM 2400MT/s
+  * 32 TB HDD: 8 x 4TB 7.2k SATA 6Gbps en JBOD
+  * 2 x 10Gb BaseT y 2 x 1Gb BaseT