Solicitamos su permiso para obtener datos estadísticos de su navegación en esta web. Si continúa navegando consideramos que acepta el uso de cookies. OK | Política de cookies | Política de Privacidad

Máster HPC

  • Máster HPC

Subscríbeche

  • Suscribete a Novas CESGA

HPC User Portal

  • HPC User Portal

Estado dos sistemas

  • Solo visible desde Firefox o Chrome.

Síguenos ...

  • Twitter FacebbokFlickrYouTube CESGA

Servizos PYME's

  • Servicios para Empresas

díxitos Marzo 2019


  • CESGA ICTS

Plataforma Big Data actualizada a Hadoop 3 e con Spark 2.4

Nova: Plataforma Big Data actualizada a Hadoop 3 e con Spark 2.4

 0 voto(s)

Martes 14/05/2019 10:10

A plataforma Big Data foi actualizada a Hadoop 3, incluíndo tamén a nova versión de Spark 2.4.

O servizo Big Data permite o procesado de grandes volumes de información en paralelo, así como a recollida de datos por streaming e a utilización de Jupyter Notebooks para tarefas de exploración e visualización de datos.

O servizo está baseado na última versión da distribución de Hadoop de Cloudera, CDH 6, baseada en Hadoop 3 que ofrece unha solución estable e que inclúe numerosos compoñentes do ecosistema de Hadoop: YARN, HDFS, MapReduce, Spark, Flume, Hive, Impala, HBase, ...

A plataforma actualizada está accesible por SSH a través de ** hadoop3.cesga.es**, mentres que a antiga baseada en Hadoop 2 seguirase accedendo a través de hadoop. cesga.es. Para facilitar a transición a plataforma antiga permanecerá activa ata o próximo 30 de xuño, momento no que será apagada.

Na Guía de Uso preparamos unha sección que indica como migrar os datos de HDFS: http://bigdata.cesga.es/user- guide/ migrating_data.html

Non é necesario migrar os datos do HOME xa que os datos da antiga plataforma foron automaticamente migrados desde GlusterFS ao novo HOME. Para máis información sobre a plataforma incluíndo titoriais para aprender a usar rapidamente as distintas ferramentas recomendámoslle acceder ao portalespecífico da plataforma: https:// bigdata. cesga.es

Este portal inclúe un interface web ( WebUI) que lle permitirá facer as tarefas máis habituais a través do navegador.

Tamén lle recomendamos consultar a nova guía de usuario que preparamos: http://bigdata.cesga.es/user- guide

NOTA: Nalgúns navegadores, se accedeu anteriormente ao portal ou ao WebUI, terá que limpar antes a caché do navegador para visualizar a nova versión.

Valorar: