Solicitamos su permiso para obtener datos estadísticos de su navegación en esta web. Si continúa navegando consideramos que acepta el uso de cookies. OK | Política de cookies | Política de Privacidad

Máster HPC

  • Máster HPC

Subscríbeche

  • Suscribete a Novas CESGA

HPC User Portal

  • HPC User Portal

Estado dos sistemas

  • Solo visible desde Firefox o Chrome.

Síguenos ...

  • Twitter FacebbokFlickrYouTube CESGA

Servizos PYME's

  • Servicios para Empresas

díxitos Xulio 2018

  • díxitos Julio 2018

  • CESGA ICTS

Spark 2 dispoñible na plataforma Big Data

 0 voto(s)

Martes 30/01/2018 12:30

Xa está dispoñible Spark 2 na plataforma Big Data.

Esta nova versión aporta numerosas novidades entre as que destacan melloras no rendemento. Ademais esta nova versión inclúe algoritmos adicionais na librería de Machine Learning MLlib, así como unha nova API de streaming denominada Structured Streaming.

As versións que están dispoñibles actualmente son as versións correspondentes ás dúas ramas principais: 2.1.2 (Outubro 2017) e 2.2.1 (Decembro 2017). A medida que vaian saíndo versións novas iranse incorporando á lista de versións soportadas.

Para poder usalo basta con cargar o módulo correspondente á versión desexada, por exemplo:

module loade spark/2.2.1

E a partir de aí pódense usar os comandos habituais como spark-submit ou start_jupyter, utilizando a versión 2 de spark no canto da 1.6.

Valorar: