Arquitectura de un Framework para la Generación Automatizada de Datasets Temporales en Data Lakes

Abstract

En los últimos años, los data lakes se han popularizado como solución para el almacenamiento centralizado de grandes volúmenes de datos heterogéneos procedentes de fuentes dispares. Estos datos suelen tener un marcado carácter temporal, ya que los datos suelen extraerse periódicamente de diversas fuentes a diferentes frecuencias y se almacenan directamente en crudo. Por tanto, estos datos deben ser adecuadamente preprocesados antes de ser consumidos por las aplicaciones que los explotan. Esta tarea de preprocesamiento se realiza actualmente de manera manual, mediante la escritura de scripts en lenguajes de transformación de datos. Este proceso es laborioso, costoso y, por lo general, propenso a errores. Para tratar de aliviar este problema, este artículo presenta la arquitectura inicial de Hannah, un framework que busca automatizar la generación de datasets para la minería de series temporales a partir de datos en bruto provenientes de data lakes. El objetivo es que, utilizando la menor cantidad de información posible como entrada, el framework sea capaz de recuperar los datos requeridos del data lake y procesarlos para que encajen adecuadamente dentro de un dataset.