Language: English
RSS

Suscribete

  • Suscribete a Novas CESGA

HPC User Portal

  • HPC User Portal

State of the systems

  • Solo visible desde Firefox o Chrome.

For gender equality

  • Igualdad CESGA

6º Foro Transfiere 2017

Follow us ...

  • Twitter FacebbokFlickrYouTube CESGA

SME Services

  • Servicios para Empresas

díxitos Diciembre

  • díxitos Decembro 2017

  • CESGA ICTS

Spark 2 disponible en la plataforma Big Data

 0 vote(s)

Tuesday 30/01/2018 12:30

Ya está disponible Spark 2 en la plataforma Big Data.

Esta nueva versión aporta numerosas novedades entre las que destacan las mejoras en el rendimiento. Además esta nueva versión incluye algoritmos adicionales en la librería de Machine Learning MLlib, así como una nueva API de streaming denominada Structured Streaming.

Las versiones que están disponibles actualmente son las versiones correspondientes a las dos ramas principales: 2.1.2 (Octubre 2017) y 2.2.1 (Diciembre 2017). A medida que vayan saliendo versiones nuevas se irán incorporando a la lista de versiones soportadas.

Para poder usarlo basta con cargar el módulo correspondiente a la versión deseada, por ejemplo:

module load spark/2.2.1

Y a partir de ahí se pueden usar los comandos habituales como spark-submit o start_jupyter, utilizando la versión 2 de spark en vez de la 1.6.

Rate: