Publication:

LSTM Residual Aumentada: una nueva arquitectura de redes neuronales recurrentes aplicada a la traducción de texto

Actualmente, con el desarrollo de las tecnologías, la cantidad de datos digitales esta creciendo de manera exponencial. Ya en 2007, el 94 % de los datos mundiales, eran digitales y esta cifra no hace más que crecer. Para poder dar uso a toda esta información, es necesario disponer de sistemas capaces de traducirla a cualquier idioma deseado, por este motivo, entre otros, el procesamiento del lenguaje natural (NLP) es uno de los focos principales de investigación hoy en día. Dentro de este gran grupo de problemas, se encuentra la traducción de texto. Cualquier texto puede interpretarse como una serie de datos secuenciales, donde el significado de cada palabra depende, en gran medida, de las palabras que la rodean. Por este motivo, es de interés emplear mecanismos que tengan la capacidad de tratar información secuencial. Las Redes Neuronales Recurrentes (RNN) son uno de los sistemas mayormente empleados para tratar información secuencial debido a su capacidad para controlar diferentes flujos de información. Existen diferentes tipos de RNN, destacando principalmente las Long Short-Term Memory Unit (LSTM) o modificaciones de estas como las Residual LSTM (res-LSTM). En este trabajo, primero proponemos una modificación sobre las res-LSTM que permite agregar información del contexto de los datos mediante funciones de agregación, introduciendo las Augmented res-LSTM(ARLSTM). Finalmente, comprobamos el rendimiento de nuestra propuesta frente a un problema de traducción de texto.