Herramienta de gestión y planificación de robots web basado en la arquitectura MEAN

Abstract

Durante este proyecto se va diseñar y desarrollar una herramienta para la gestión de robots web. Para el desarrollo de la misma se ha optado por usar una plataforma relativamente nueva que no hemos aprendido durante la carrera. Esta plataforma conocida como MEAN está formada por los siguientes componentes: MongoDB, Express, AngularJS, y NodeJS. El objetivo de la herramienta, es proporcionar un sistema que nos permita gestionar distintas configuraciones de robots web, y planificarlos para su posterior ejecución. La configuración de los robots y de sus planificaciones tiene que ser lo más sencilla y simple posible. Para la gestión de las configuraciones de los robots y de las planificaciones de los mismos se ha desarrollado una interfaz web. Esta interfaz permite al usuario crear nuevas configuraciones, planificarlas de distintas formas, y visualizar los logs de las ejecuciones de los robots web. Debido a que la escalabilidad era uno de los objetivos más importantes de la herramienta, se ha separado la parte de gestión de robots de la parte de ejecución de robots, creando así un sistema distribuido. Para que este sistema funcione, se ha diseñado un protocolo que permite la comunicación entre las distintas partes de la herramienta. De esta manera, la tarea de los robots (que consume muchos más recursos que las tareas de gestión) queda totalmente separada. Además, la parte de gestión de robots puede conectarse a cualquier número de servidores en los que se encuentran los robots, permitiendo así repartir el trabajo de los robots entre varias máquinas. Además, en la parte de ejecución de robots se ha desarrollado un sistema que permite desplegar de forma muy sencilla robots en JavaScript. Como JavaScript nos permite ejecutar comandos del sistema en modo seguro, con un programa en JavaScript se podría lanzar un robot escrito en cualquier lenguaje. De forma adicional a la herramienta, se ha desarrollado una pequeña aplicación demo para enseñar y demostrar el funcionamiento de la plataforma MEAN, y se ha probado el rendimiento de NodeJS como servidor.