Procesamiento paralelo de datos medioambientales con Apache Spark

Resumen:

En la actualidad existen enormes volúmenes de datos de tipo medioambiental que son resultado o bien de campañas de recolección de datos de campo en las que se involucran muchos expertos o bien del procesamiento de datos generados por dispositivos de sensorización. En general, los primeros se modelan y gestionan con tecnologías de bases de datos, mientras que los segundos pueden requerir de formatos de array de tipo científico más específicos. El procesamiento declarativo de cualquiera de los tipos de datos está resuelto, con tecnologías de almacenes de datos tradicionales o con bases de datos de arrays. Sin embargo el procesamiento declarativo integrado de ambos tipos de dato todavía demanda soluciones ad-hoc. En este artículo se proporciona una descripción breve de los primeros pasos hacia la implementación de un sistema de procesamiento paralelo integrado de datos relacionales y de arrrays.

Palabras Clave:

Big Data, Environmental Data, OLAP, Spark

Autor(es):

• Diego Ferrón {diego.ferron@rai.usc.es}
  Centro de Investigación en Tecnoloxías da Información (CITIUS). Universidade de Santiago de Compostela
  
• Sebastián Villarroya {sebastian.villarroya@usc.es}
  Centro de Investigación en Tecnoloxías da Información (CITIUS). Universidade de Santiago de Compostela
  
• José R.R. Viqueira {jrr.viqueira@usc.es}
  Centro de Investigación en Tecnoloxías da Información (CITIUS). Universidade de Santiago de Compostela
  
• Tomás F. Pena {tf.pena@usc.es}
  Centro de Investigación en Tecnoloxías da Información (CITIUS). Universidade de Santiago de Compostela
  

Handle:

11705/JISBD/2016/035

Descargas:

Este artículo tiene una licencia de uso CreativeCommons Reconocimiento (by)