Análisis y despliegue de un gestor de flujos para procesos BI, ejecutando scripts ETL en entornos existentes con datos reales

Abstract

Este trabajo fue realizado en las prácticas curriculares en empresa, se plantea, el análisis y comparación de las herramientas disponibles actualmente, para la orquestación de flujos de datos. Posteriormente, se realizará la selección de una de ellas, y se implementará en varios entornos reales de la empresa. Además, se plantea la creación y mejora de flujos de datos ETL, y su adaptación a la herramienta orquestadora. Estos relacionarán las diferentes fuentes de datos de la empresa. Una vez implementados, se explicarán el sistema de datos inicial y final, para poder compararlos objetivamente y ver el impacto de lo anteriormente mencionado. Finalmente, aprovechando la implementación de la herramienta, se propone de manera adicional, el montaje de un sistema de alertas basado en los flujos de datos automatizados.

This work was carried out as part of the curricular practices in a company, in which the analysis and comparison of the tools currently available for the orchestration of data flows is proposed. Subsequently, the selection of one of them and its implementation in several real environments of the company will be made. In addition, the creation, improvement and adaptation of the ETL data flows (which relate the different data sources of the company),to the orchestration tool will be proposed. Once implemented, the initial and final data system will be explained in order to compare them objectively and see the impact of the aforementioned. Finally, taking advantage of the implementation of the tool, it is also proposed to set up an alert system based on the automated data flows.