Procesamiento paralelo de datos medioambientales con Apache Spark

Abstract

En la actualidad existen enormes volúmenes de datos de tipo medioambiental que son resultado o bien de campañas de recolección de datos de campo en las que se involucran muchos expertos o bien del procesamiento de datos generados por dispositivos de sensorización. En general, los primeros se modelan y gestionan con tecnologías de bases de datos, mientras que los segundos pueden requerir de formatos de array de tipo científico más específicos. El procesamiento declarativo de cualquiera de los tipos de datos está resuelto, con tecnologías de almacenes de datos tradicionales o con bases de datos de arrays. Sin embargo el procesamiento declarativo integrado de ambos tipos de dato todavía demanda soluciones ad-hoc. En este artículo se proporciona una descripción breve de los primeros pasos hacia la implementación de un sistema de procesamiento paralelo integrado de datos relacionales y de arrrays.