Generación de conjuntos de datos para el entrenamiento de redes neuronales aplicadas a robótica

Abstract

El presente Trabajo Fin de Master se encuentra enmarcado dentro del proyecto de investigación IMITAI financiado por el Gobierno de Navarra (Ref. 0011-1411-2021-000023) en el que se busca automatizar mediante robots una serie de tareas industriales. Este tipo de tareas presentan cierta aleatoriedad o variabilidad en aspectos tales como la ubicación imprecisa de los elementos a manipular, su propia geometría, la iluminación, etc. Por lo tanto, su automatización exige que el robot posea capacidad de reacción ante dicha aleatoriedad. Para ello, se quiere crear una red neuronal capaz de interpretar el entorno a partir de imágenes y comandar adecuadamente el robot a partir de las mismas. La red neuronal necesita de una serie de datos de entrenamiento para poder ajustar sus parámetros de forma óptima. Este conjunto de datos de entrenamiento debe estar compuesto por las entradas de la red neuronal en forma de imágenes y sus salidas en forma de series de datos temporales. Obtener dichos datos experimentalmente tiene un alto coste, tanto económico como en cuanto al tiempo requerido, por lo que se recurre a la simulación para generar los datos de entrenamiento de manera más eficiente y económica. Este trabajo se ha centrado en la generación de dicho conjunto de datos de entrenamiento y en la creación de un simulador para validar la red neuronal. En primer lugar, se ha analizado la cinemática del robot UR10e, que será el encargado de llevar a cabo las dos tareas de las que consta este proyecto. La primera consiste en asir un cable que puede estar ubicado en distintas posiciones y cuya configuración (orientación, longitud, etc.) es variable. La segunda consiste en soldar tuberías en la parte trasera de un frigorífico. Las tuberías a soldar pueden estar en distintas disposiciones al igual que el frigorífico. A continuación, se han diseñado las trayectorias que debe seguir el robot mediante curvas de Bézier. Además, entre las posibles trayectorias para una misma tarea, se han creado una serie de criterios para rechazar las trayectorias no válidas y seleccionar las más adecuadas. Posteriormente, se han generado entornos gráficos para ambas tareas de cara a la obtención de imágenes. Tanto el cable a asir como la tubería a soldar se han creado de forma paramétrica, provocando de forma directa variabilidad en las trayectorias. Todo lo anterior se ha integrado en un único algoritmo capaz de generar los entornos gráficos, simular las trayectorias y obtener el conjunto de datos a partir de las mismas. Por último, una vez entrenada la red neuronal quiere corroborarse su validez, comprobándose que ejecuta correctamente la tarea para una serie de casos de test. Para ello, se ha diseñado un simulador en el que la red neuronal recibe una serie de imágenes y comanda el robot virtualmente.

Honako Master bukaerako lan hau Nafar Gobernuak finantziatutako IMITAI ikerketa proiektuan kokatzen da (Ref. 0011-1411-2021-000023) non roboten bitartez zenbait eginkizun industrial automatizatu nahi diren. Eginkizun hauek nolabaiteko ausazkotazun edo aldakortasun bat erakusten dute: maneiatu nahi diren objektuan kokapen zehaztugabea, objektu hauen geometria, inguruko argiztapena, etab. Horregatik, prozesu hauen automatizazioak robotek ausazkotazun honi aurre egiteko gaitasun izan dezatela eskatzen dute. Horretarako, irudien bidez ingurua interpretatzeko eta haiei esker robota komandatzeko gai den sare neuronal bat sortu nahi da. Sare neuronalak entrenamendu datuak behar ditu bere parametroak modu optimoan doitzeko. Entrenamendu datu multzo hau sare neuronalaren sarrera diren irudiek eta irteera diren denboraren menpeko datuek osatzen dute. Datu hauek esperimentalki lortzeak oso kostu altua dauka bai ekonomikoki bai behar den denbora luzeari dagokionez. Horregatik, datuak simulazioaren bitartez lortzen dira modu eraginkorrago eta ekonomikoago batean. Lan hau datu multzo honen sorkuntzan eta sare neuronalak baieztatzeko simulagailu batean ardaztu da. Lehenik eta behin, UR10e robotaren zinematika aztertu da, proiektu honetan automatizatu nahi diren bi eginkizunetan erabiliko baita. Lehen eginkizuna kable bat hartzean datza. Kablea posizio ezberdinetan agertu daiteke eta bere konfigurazioa (orientzioa, luzera, etab.) aldakorra da. Bigarren eginkizunean hozkailu baten atzealdeko tutu batzuk soldatzean datza. Tututak zein hozkailuaren posizioa, forma eta kokapena aldakorrak dira. Ondoren, robotak jarraitu behar dituen ibilbideak diseinatu dira Bézier-en kurbak erabiliz. Gainera, eginkizun berdinarentzako ibilbide posible guztien artean baliogabeak deuseztatzeko eta hoberenak hautatzeko zenbait irizpide sortu dira. Jarraian, bi eginkizunentzako inguru grafikoak sortu dira, haietatik irudiak lortzeko. Kablea zein tutuak parametrikoki sortu dira, ibilbideetan aldakortasuna eraginez. Aurreko lan guztia inguru grafikoak sortu, ibilbideak simulatu eta datu multzoak lortzeko gai den algoritmo bakar batean integratu da. Behin sare neuronala entrenatuta bere baliogarritasuna frogatzea azken pausoa da. Balioztatze prozesu honetan, sare neuronala frogazko zenbait kasuetan eginkizuna aurrera eramateko gai den ikusi nahi da. Horretarako, simulagailu bat sortu da non sare neuronalak irudiak jasotzen dituen eta robota birtualki komandatzen duen.

This Master’s Thesis is part of the IMITAI research project financed by the Government of Navarra (Ref. 0011-1411-2021-000023) in which the aim is to automate a series of industrial tasks by means of robots. These types of tasks present a certain randomness or variability in aspects such as the imprecise location of the elements to be manipulated, their geometry, the lighting, etc. Therefore, their automation requires the robot to be able to react to this randomness. To achieve this, it is intended to create a neural network capable of interpreting the environment from images and commanding the robot appropriately based on these images. The neural network needs a training data set in order to be able to optimally tune its parameters. This set of training data must be composed of the neural network’s inputs in the form of images and its outputs in form of time series data. Obtaining this data experimentally is costly, both economically and in terms of the time required, therefore simulation is used to generate the training data more efficiently and economically. This work is focused on the generation of this training dataset and the creation of a simulator to validate the neural network. First, the kinematics of the UR10e robot, which will be responsible of carrying out the two tasks of this project, has been analyzed. The first task consists of gripping a cable that can be located in different positions and whose configuration (orientation, length, etc.) is variable. The second consists on welding pipes on the back of a refrigerator. The pipes to be welded can be in different arrangements as well as the refrigerator. The trajectories to be followed by the robot are then designed using Bézier curves. In addition, among the possible trajectories for the same task, a series of criteria have been created to reject invalid trajectories and select the most suitable ones. Afterwards, graphical environments have been generated for both tasks in order to obtain images. Both the cable to be gripped and the pipes to be welded have been created in a parametric way, directly causing variability in the trajectories. All of the above has been integrated into a single algorithm capable of generating the graphic environments, simulating the trajectories and obtaining the data set from them. Finally, once the neural network has been trained, its validity is to be corroborated by checking that it executes the task correctly for a series of test cases. For this purpose, a simulator has been designed in which the neural network receives a series of images and virtually commands the robot.