Máster HPC

  • Máster HPC

Subscríbeche

  • Suscribete a Novas CESGA

HPC User Portal

  • HPC User Portal

Estado dos sistemas

  • Solo visible desde Firefox o Chrome.

Compromiso coa Igualdade

  • Igualdad CESGA

Síguenos ...

  • Twitter FacebbokFlickrYouTube CESGA

Servizos PYME's

  • Servicios para Empresas

díxitos Decembro

  • díxitos Decembro 2017

  • CESGA ICTS

Spark 2 dispoñible na plataforma Big Data

 0 voto(s)

Martes 30/01/2018 12:30

Xa está dispoñible Spark 2 na plataforma Big Data.

Esta nova versión aporta numerosas novidades entre as que destacan melloras no rendemento. Ademais esta nova versión inclúe algoritmos adicionais na librería de Machine Learning MLlib, así como unha nova API de streaming denominada Structured Streaming.

As versións que están dispoñibles actualmente son as versións correspondentes ás dúas ramas principais: 2.1.2 (Outubro 2017) e 2.2.1 (Decembro 2017). A medida que vaian saíndo versións novas iranse incorporando á lista de versións soportadas.

Para poder usalo basta con cargar o módulo correspondente á versión desexada, por exemplo:

module loade spark/2.2.1

E a partir de aí pódense usar os comandos habituais como spark-submit ou start_jupyter, utilizando a versión 2 de spark no canto da 1.6.

Valorar: