Controlador neuronal basado en aprendizaje por refuerzo para el despegue y aterrizaje autónomo de drones en entornos con viento variable

El control autónomo de drones en condiciones de viento variable representa un desafío crucial en los campos de la aeronáutica y la robótica. En esta tesis, se presenta el diseño y la evaluación de un controlador neuronal basado en aprendizaje por refuerzo (RL), orientado a optimizar la maniobrabilidad autónoma durante las fases críticas de despegue y aterrizaje en entornos complejos. El objetivo principal es superar las limitaciones de los controladores PID tradicionales, mejorando la estabilidad y la precisión del vuelo. Para validar estos avances, se realizarán pruebas exhaustivas mediante simulaciones Hardware-in-the-Loop (HIL), estableciendo comparaciones detalladas con el desempeño de los controladores PID. El aprendizaje por refuerzo (RL - Reinforcement Learning) ha emergido como una solución innovadora para sistemas complejos, permitiendo a los agentes desarrollar políticas óptimas de control a partir de la interacción directa con su entorno, sin requerir modelos precisos del sistema. Este enfoque se destaca por su adaptabilidad y su capacidad para gestionar no linealidades en la dinámica de vuelo de los drones, superando así limitaciones de los métodos convencionales. En este trabajo, el RL se implementa progresivamente en controladores neuronales profundos: desde algoritmos en espacios de acción discretos como Deep Q-Network (DQN) hasta soluciones definitivas en entornos continuos mediante Deep Deterministic Policy Gradient (DDPG) y Proximal Policy Optimization (PPO), integrando simulaciones de entornos realistas que modelan dispositivos y fuerzas externas, incluyendo efectos de viento. Una de las contribuciones clave es el desarrollo de una arquitectura de red neuronal con un Módulo de Adaptación y un Módulo de Conversión, que transforman las fuerzas y momentos en velocidades de motor. Esta innovación permite al controlador neuronal responder a ráfagas de viento de hasta 10 m/s, optimizando a su vez la previsibilidad y confiabilidad mediante una discretización de acciones, lo cual reduce tanto la cantidad de acciones necesarias como el error de posición durante maniobras. Los resultados de las pruebas muestran mejoras notables en estabilidad y precisión de trayectoria, así como en la capacidad de respuesta ante variaciones de viento abruptas. Durante las pruebas, el controlador permitió al modelo 3DR Iris+ mantener la estabilidad en situaciones de viento de hasta 10 m/s (91%de su velocidad máxima) en maniobras de despegue y aterrizaje, obteniendo un rendimiento competitivo con drones avanzados en resistencia relativa. Las pruebas con Hardware-in-the-Loop (HIL) también validaron la eficacia del controlador en entornos físicos, comparándolo contra sistemas PID. Los hallazgos indican que el enfoque propuesto no solo ofrece una solución robusta y eficiente para el control autónomo de drones, sino que además abre nuevas oportunidades para aplicaciones seguras en áreas críticas como vigilancia, rescate y logística. Esta tesis aporta significativamente al campo del control autónomo de UAVs, estableciendo una base sólida para futuros desarrollos en controladores adaptativos inteligentes y en el estudio del vuelo en condiciones ambientales adversas.

The autonomous control of drones under variable wind conditions represents a critical challenge in the fields of aeronautics and robotics. This thesis presents the design and evaluation of a neural controller based on reinforcement learning (RL), aimed at optimizing autonomous maneuverability during critical phases of takeoff and landing in complex environments. The main goal is to overcome the limitations of traditional PID controllers, improving flight stability and precision. To validate these advances, exhaustive testing will be conducted through Hardware-in-the-Loop (HIL) simulations, establishing detailed comparisons with the performance of PID controllers. Reinforcement learning has emerged as an innovative solution for complex systems, enabling agents to develop optimal control policies from direct interaction with their environment without requiring precise system models. This approach stands out for its adaptability and ability to handle nonlinearities in drone flight dynamics, overcoming the limitations of conventional methods. In this work, RL is progressively implemented in Deep neural controllers: from discrete-action space algorithms like Deep Q-Network (DQN) to definitive solutions in continuous environments using Deep Deterministic Policy Gradient (DDPG) and Proximal Policy Optimization (PPO), integrating realistic environment simulations that model devices and external forces, including wind effects. One of the key contributions is the development of a neural network architecture with an Adaptation Module and a Conversion Module, which transform forces and moments into motor speeds. This innovation allows the neural controller to respond to wind gusts of up to 10 m/s, optimizing predictability and reliability through action discretization, reducing both the number of required actions and position errors during maneuvers. The test results show notable improvements in stability and trajectory accuracy, as well as responsiveness to abrupt wind variations. During the tests, the controller enabled the 3DR Iris+ model to maintain stability in winds of up to 10 m/s (91% of its maximum speed) during takeoff and landing maneuvers, achieving competitive performance compared to advanced drones in relative resilience. Hardware-in-the-Loop (HIL) tests also validated the controller’s effectiveness in physical environments, comparing it to PID systems. The findings indicate that the proposed approach not only provides a robust and efficient solution for autonomous drone control but also opens new opportunities for safe applications in critical areas such as surveillance, rescue, and logistics. This thesis makes a significant contribution to the field of UAV autonomous control, establishing a solid foundation for future developments in intelligent adaptive controllers and the study of flight under adverse environmental conditions.