LSTM Residual Aumentada: una nueva arquitectura de redes neuronales recurrentes aplicada a la traducción de texto
Consultable a partir de
2025-03-01
Fecha
2023Autor
Versión
Acceso embargado 2 años / 2 urteko bahitura
Tipo
Trabajo Fin de Máster/Master Amaierako Lana
Impacto
|
nodoi-noplumx
|
Resumen
Actualmente, con el desarrollo de las tecnologías, la cantidad de datos digitales esta creciendo de manera exponencial. Ya en 2007, el 94 % de los datos mundiales, eran digitales y esta cifra no hace más que crecer. Para poder dar uso a toda esta información, es necesario disponer de sistemas capaces de traducirla a cualquier idioma deseado, por este motivo, entre otros, el procesamiento del leng ...
[++]
Actualmente, con el desarrollo de las tecnologías, la cantidad de datos digitales esta creciendo de manera exponencial. Ya en 2007, el 94 % de los datos mundiales, eran digitales y esta cifra no hace más que crecer. Para poder dar uso a toda esta información, es necesario disponer de sistemas capaces de traducirla a cualquier idioma deseado, por este motivo, entre otros, el procesamiento del lenguaje natural (NLP) es uno de los focos principales de investigación hoy en día. Dentro de este gran grupo de problemas, se encuentra la traducción de texto. Cualquier texto puede interpretarse como una serie de
datos secuenciales, donde el significado de cada palabra depende, en gran medida, de las palabras que la rodean. Por este motivo, es de interés emplear mecanismos que tengan la capacidad de tratar información secuencial. Las Redes Neuronales Recurrentes (RNN) son uno de los sistemas mayormente empleados para tratar información secuencial debido a su capacidad para controlar diferentes flujos de información. Existen diferentes tipos de RNN, destacando principalmente las Long Short-Term Memory Unit (LSTM) o modificaciones de estas como las Residual LSTM (res-LSTM). En este trabajo, primero proponemos una modificación sobre las res-LSTM que permite agregar información del contexto de los datos mediante funciones de agregación, introduciendo las Augmented res-LSTM(ARLSTM). Finalmente, comprobamos el rendimiento de nuestra propuesta frente a un problema de traducción de texto. [--]
Materias
Redes neuronales recurrentes,
LSTM,
Residual LSTM,
Funciones de agregación,
Procesamiento de lenguaje natural,
Traducción de texto
Titulación
Máster Universitario en Ingeniería Informática por la Universidad Pública de Navarra /
Nafarroako Unibertsitate Publikoko Unibertsitate Masterra Informatika Ingeniaritzan