Análisis y despliegue de un gestor de flujos para procesos BI, ejecutando scripts ETL en entornos existentes con datos reales
Consultable a partir de
2027-07-01
Fecha
2022Autor
Director
Versión
Acceso embargado 5 años / 5 urteko bahitura
Tipo
Trabajo Fin de Grado/Gradu Amaierako Lana
Impacto
|
nodoi-noplumx
|
Resumen
Este trabajo fue realizado en las prácticas curriculares en empresa, se plantea, el análisis y comparación de las herramientas disponibles actualmente, para la orquestación de flujos de datos. Posteriormente, se realizará la selección de una de ellas, y se implementará en varios entornos reales de la empresa. Además, se plantea la creación y mejora de flujos de datos ETL, y su adaptación a la her ...
[++]
Este trabajo fue realizado en las prácticas curriculares en empresa, se plantea, el análisis y comparación de las herramientas disponibles actualmente, para la orquestación de flujos de datos. Posteriormente, se realizará la selección de una de ellas, y se implementará en varios entornos reales de la empresa. Además, se plantea la creación y mejora de flujos de datos ETL, y su adaptación a la herramienta orquestadora. Estos relacionarán las diferentes fuentes de datos de la empresa. Una vez implementados, se explicarán el sistema de datos inicial y final, para poder compararlos objetivamente y ver el impacto de lo anteriormente mencionado. Finalmente, aprovechando la implementación de la herramienta, se propone de manera adicional, el montaje de un sistema de alertas basado en los flujos de datos automatizados. [--]
This work was carried out as part of the curricular practices in a company, in
which the analysis and comparison of the tools currently available for the orchestration
of data flows is proposed. Subsequently, the selection of one of them and its implementation
in several real environments of the company will be made.
In addition, the creation, improvement and adaptation of the ETL data flows
...
[++]
This work was carried out as part of the curricular practices in a company, in
which the analysis and comparison of the tools currently available for the orchestration
of data flows is proposed. Subsequently, the selection of one of them and its implementation
in several real environments of the company will be made.
In addition, the creation, improvement and adaptation of the ETL data flows
(which relate the different data sources of the company),to the orchestration tool will
be proposed. Once implemented, the initial and final data system will be explained in
order to compare them objectively and see the impact of the aforementioned.
Finally, taking advantage of the implementation of the tool, it is also proposed
to set up an alert system based on the automated data flows. [--]
Materias
Data Warehouse,
Data Lake,
ETL,
Elastic Stack,
Postgres,
Bases de datos Relacionales y No Relacionales,
Tubería de datos,
DAG: Gráfico Acíclico Dirigido,
Tareas,
Grupos de Tareas,
Operadores,
Sensores,
Tareas decoradas,
Taskflow API,
Planificador,
Servidor Web,
API,
Orquestador de tareas,
Apache Airflow,
Luigi,
Grafana,
Data Warehouse,
Data Lake,
ETL,
Elastic Stack,
Postgres,
Relational and Non Relational Data Bases,
Pipeline,
DAG: Directed Acyclic Graph,
Tasks,
Taskgroups,
Operators,
Sensors,
Decorated Tasks,
Taskflow API,
Scheduler,
Web Server,
API,
Task Orquestator,
Apache Airflow,
Luigi,
Grafana
Titulación
Graduado o Graduada en Ingeniería en Tecnologías de Telecomunicación por la Universidad Pública de Navarra /
Telekomunikazio Teknologien Ingeniaritzako Graduatua Nafarroako Unibertsitate Publikoan