Open Access
Modelado 3D de cabeza mediante Kinect
(2015) Larumbe Bergera, Andoni; Cabeza Laguna, Rafael; Villanueva Larre, Arantxa; Escuela Técnica Superior de Ingenieros Industriales y de Telecomunicación; Telekomunikazio eta Industria Ingeniarien Goi Mailako Eskola Teknikoa
Este proyecto se engloba en un marco más amplio consistente en el desarrollo de técnicas de seguimiento de la mirada empleando hardware low cost. Una de las partes más críticas de esta tarea consiste en la determinación precisa de la posición de la cabeza en 3D. Los algoritmos de estimación 3D propuestos están basados en puntos 2D obtenidos de la imagen y en un modelo 3D del objeto a seguir. Es en esta última parte en la que se engloban las tareas asociadas a este proyecto. El objetivo principal consiste en validar Kinect v2 (periférico de Microsoft) como herramienta para la construcción de modelos 3D de la cabeza. La tarea consiste en, mediante el uso de Kinect v2, obtener datos de más de 1000 puntos 3D de la cabeza y, posteriormente, usarlos para realizar un modelado virtual de la misma a través de un análisis PCA (Principal Component Analysis) de un modelo “estándar” BFM (Basel Face Model). El modelo estándar BFM se deformará de manera controlada para lograr una reconstrucción lo más fiel posible al modelo obtenido mediante Kinect. Los resultados servirán para compararlos con los obtenidos empleando otros modelos y con los obtenidos en proyectos anteriores.
Open Access
Gaze estimation based on machine learning
(2024) Larumbe Bergera, Andoni; Villanueva Larre, Arantxa; Ingeniería Eléctrica, Electrónica y de Comunicación; Ingeniaritza Elektrikoa, Elektronikoaren eta Telekomunikazio Ingeniaritzaren; Universidad Pública de Navarra / Nafarroako Unibertsitate Publikoa
Esta tesis, desarrollada en el marco del grupo GI4E, se centra en el desarrollo de un algoritmo de estimación de la mirada para sistemas de videooculografía (Video-oculography, VOG) que hacen uso de componentes genéricos. En primer lugar, se resaltan las limitaciones de la tecnología de seguimiento ocular existente, así como los métodos comúnmente utilizados para la estimación de la mirada en sistemas que emplean este tipo de componentes. La contribución central de la tesis es el desarrollo de un algoritmo de estimación de la mirada dividido en dos grandes bloques: un primer bloque para la detección de puntos de referencia faciales y un segundo bloque que, a partir de un vector de características generado usando esos puntos de referencia, estima el punto de la mirada (Point of Gaze, PoG, en inglés). Debido a los grandes avances en el campo del aprendizaje automático (machine learning), se ha decidido emplear este tipo de técnicas para ambos bloques. Se realiza una revisión de los métodos del estado del arte que hacen uso de técnicas de aprendizaje automático y deep learning para la detección de puntos de referencia faciales. También se exploran y resumen los algoritmos del estado del arte aplicados a la estimación de la mirada. Para el primer bloque de detección de puntos de referencia faciales, se implementan dos modelos, uno basado en métodos de regresión en cascada y un otro basado en redes neuronales. Ambos modelos son comparados sobre diversas bases de datos, analizando las virtudes y defectos de cada uno de ellos. Además, se realiza una comparación del método propuesto con el estado del arte en la que se demuestra la superioridad de nuestro método. En cuanto al segundo bloque, en primer lugar se presenta un método para la generación de un vector de características que incluya informaci ón relevante para poder realizar la estimación de la mirada. Además, se proponen varios modelos basados en redes neuronales y se investiga el uso de datos sintéticos para su entrenamiento. Por último, se plantea un método para adaptar y calibrar los modelos entrenados con usuarios sintéticos, a datos de sujetos reales. La tesis concluye con un resumen de sus contribuciones y principales hallazgos. La integración de técnicas de aprendizaje automático, algoritmos avanzados y datos sintéticos presenta perspectivas prometedoras para futuras investigaciones en este campo.
Open Access
Optimización de sistemas de seguimiento y modelos 3D para Head Pose Estimation
(2017) Larumbe Bergera, Andoni; Cabeza Laguna, Rafael; Villanueva Larre, Arantxa; Escuela Técnica Superior de Ingenieros Industriales y de Telecomunicación; Telekomunikazio eta Industria Ingeniarien Goi Mailako Eskola Teknikoa
En medicina, existen procedimientos en los que se requiere conocer detalladamente si la cabeza del paciente se ha movido y, si es así, cuanto lo ha hecho respecto a una posición inicial. Una forma no invasiva de resolver este problema es a través de la Visión Artificial, más concretamente, mediante la estimación de posición 3D; en este caso estimación de la posición de la cabeza (Head Pose Estimation, HPE). El HPE consiste en estimar la posición de la cabeza del paciente mediante puntos 2D obtenidos de imágenes en distintos instantes de tiempo, y un modelo 3D de la cabeza del paciente. El objetivo principal de este proyecto es el de comparar, por un lado, distintos modelos de cabeza 3D y, por otro, múltiples sistemas de seguimiento facial. Estas comparaciones se realizan a fin de obtener la combinación que proporcione una mejor estimación de la posición de la cabeza de forma no invasiva.
Open Access
Fast and robust ellipse detection algorithm for head-mounted eye tracking systems
(Springer, 2018) Martinikorena Aranburu, Ion; Cabeza Laguna, Rafael; Villanueva Larre, Arantxa; Urtasun, Iñaki; Larumbe Bergera, Andoni; Ingeniería Eléctrica, Electrónica y de Comunicación; Ingeniaritza Elektrikoa, Elektronikoaren eta Telekomunikazio Ingeniaritzaren
In head-mounted eye tracking systems, the correct detection of pupil position is a key factor in estimating gaze direction. However, this is a challenging issue when the videos are recorded in real-world conditions, due to the many sources of noise and artifacts that exist in these scenarios, such as rapid changes in illumination, reflections, occlusions and an elliptical appearance of the pupil. Thus, it is an indispensable prerequisite that a pupil detection algorithm is robust in these challenging conditions. In this work, we present one pupil center detection method based on searching the maximum contribution point to the radial symmetry of the image. Additionally, two different center refinement steps were incorporated with the aim of adapting the algorithm to images with highly elliptical pupil appearances. The performance of the proposed algorithm is evaluated using a dataset consisting of 225,569 head-mounted annotated eye images from publicly available sources. The results are compared with the better algorithm found in the bibliography, with our algorithm being shown as superior.
Open Access
Supervised descent method (SDM) applied to accurate pupil detection in off-the-shelf eye tracking systems
(ACM, 2018) Larumbe Bergera, Andoni; Cabeza Laguna, Rafael; Villanueva Larre, Arantxa; Ingeniería Eléctrica, Electrónica y de Comunicación; Ingeniaritza Elektrikoa, Elektronikoaren eta Telekomunikazio Ingeniaritzaren
The precise detection of pupil/iris center is key to estimate gaze accurately. This fact becomes specially challenging in low cost frameworks in which the algorithms employed for high performance systems fail. In the last years an outstanding effort has been made in order to apply training-based methods to low resolution images. In this paper, Supervised Descent Method (SDM) is applied to GI4E database. The 2D landmarks employed for training are the corners of the eyes and the pupil centers. In order to validate the algorithm proposed, a cross validation procedure is performed. The strategy employed for the training allows us to affirm that our method can potentially outperform the state of the art algorithms applied to the same dataset in terms of 2D accuracy. The promising results encourage to carry on in the study of training-based methods for eye tracking.
Open Access
Low cost gaze estimation: knowledge-based solutions
(IEEE, 2020) Martinikorena Aranburu, Ion; Larumbe Bergera, Andoni; Ariz Galilea, Mikel; Porta Cuéllar, Sonia; Cabeza Laguna, Rafael; Villanueva Larre, Arantxa; Ingeniería Eléctrica, Electrónica y de Comunicación; Ingeniaritza Elektrikoa, Elektronikoaren eta Telekomunikazio Ingeniaritzaren
Eye tracking technology in low resolution scenarios is not a completely solved issue to date. The possibility of using eye tracking in a mobile gadget is a challenging objective that would permit to spread this technology to non-explored fields. In this paper, a knowledge based approach is presented to solve gaze estimation in low resolution settings. The understanding of the high resolution paradigm permits to propose alternative models to solve gaze estimation. In this manner, three models are presented: a geometrical model, an interpolation model and a compound model, as solutions for gaze estimation for remote low resolution systems. Since this work considers head position essential to improve gaze accuracy, a method for head pose estimation is also proposed. The methods are validated in an optimal framework, I2Head database, which combines head and gaze data. The experimental validation of the models demonstrates their sensitivity to image processing inaccuracies, critical in the case of the geometrical model. Static and extreme movement scenarios are analyzed showing the higher robustness of compound and geometrical models in the presence of user’s displacement. Accuracy values of about 3◦ have been obtained, increasing to values close to 5◦ in extreme displacement settings, results fully comparable with the state-of-the-art.
Open Access
Synthetic gaze data augmentation for improved user calibration
(Springer, 2021) Garde Lecumberri, Gonzalo; Larumbe Bergera, Andoni; Porta Cuéllar, Sonia; Cabeza Laguna, Rafael; Villanueva Larre, Arantxa; Ingeniaritza Elektrikoa, Elektronikoaren eta Telekomunikazio Ingeniaritzaren; Institute of Smart Cities - ISC; Ingeniería Eléctrica, Electrónica y de Comunicación
In this paper, we focus on the calibration possibilitiesó of a deep learning based gaze estimation process applying transfer learning, comparing its performance when using a general dataset versus when using a gaze specific dataset in the pretrained model. Subject calibration has demonstrated to improve gaze accuracy in high performance eye trackers. Hence, we wonder about the potential of a deep learning gaze estimation model for subject calibration employing fine-tuning procedures. A pretrained Resnet-18 network, which has great performance in many computer vision tasks, is fine-tuned using user’s specific data in a few shot adaptive gaze estimation approach. We study the impact of pretraining a model with a synthetic dataset, U2Eyes, before addressing the gaze estimation calibration in a real dataset, I2Head. The results of the work show that the success of the individual calibration largely depends on the balance between fine-tuning and the standard supervised learning procedures and that using a gaze specific dataset to pretrain the model improves the accuracy when few images are available for calibration. This paper shows that calibration is feasible in low resolution scenarios providing outstanding accuracies below 1.5 ∘ ∘ of error.
Open Access
SeTA: semiautomatic tool for annotation of eye tracking images
(ACM, 2019) Larumbe Bergera, Andoni; Porta Cuéllar, Sonia; Cabeza Laguna, Rafael; Villanueva Larre, Arantxa; Ingeniería Eléctrica, Electrónica y de Comunicación; Ingeniaritza Elektrikoa, Elektronikoaren eta Telekomunikazio Ingeniaritzaren
Availability of large scale tagged datasets is a must in the field of deep learning applied to the eye tracking challenge. In this paper, the potential of Supervised-Descent-Method (SDM) as a semiautomatic labelling tool for eye tracking images is shown. The objective of the paper is to evidence how the human effort needed for manually labelling large eye tracking datasets can be radically reduced by the use of cascaded regressors. Different applications are provided in the fields of high and low resolution systems. An iris/pupil center labelling is shown as example for low resolution images while a pupil contour points detection is demonstrated in high resolution. In both cases manual annotation requirements are drastically reduced.
Open Access
Improved strategies for HPE employing learning-by-synthesis approaches
(IEEE, 2018) Larumbe Bergera, Andoni; Ariz Galilea, Mikel; Bengoechea Irañeta, José Javier; Segura, Rubén; Cabeza Laguna, Rafael; Villanueva Larre, Arantxa; Ingeniería Eléctrica, Electrónica y de Comunicación; Ingeniaritza Elektrikoa, Elektronikoaren eta Telekomunikazio Ingeniaritzaren
The first contribution of this paper is the presentation of a synthetic video database where the groundtruth of 2D facial landmarks and 3D head poses is available to be used for training and evaluating Head Pose Estimation (HPE) methods. The database is publicly available and contains videos of users performing guided and natural movements. The second and main contribution is the submission of a hybrid method for HPE based on Pose from Ortography and Scaling by Iterations (POSIT). The 2D landmark detection is performed using Random Cascaded-Regression Copse (R-CR-C). For the training stage we use, state of the art labeled databases. Learning-by-synthesis approach has been also used to augment the size of the database employing the synthetic database. HPE accuracy is tested by using two literature 3D head models. The tracking method proposed has been compared with state of the art methods using Supervised Descent Regressors (SDR) in terms of accuracy, achieving an improvement of 60%.
Open Access
Accurate pupil center detection in off-the-shelf eye tracking systems using convolutional neural networks
(MDPI, 2021) Larumbe Bergera, Andoni; Garde Lecumberri, Gonzalo; Porta Cuéllar, Sonia; Cabeza Laguna, Rafael; Villanueva Larre, Arantxa; Ingeniería Eléctrica, Electrónica y de Comunicación; Ingeniaritza Elektrikoa, Elektronikoaren eta Telekomunikazio Ingeniaritzaren; Universidad Pública de Navarra / Nafarroako Unibertsitate Publikoa
Remote eye tracking technology has suffered an increasing growth in recent years due to its applicability in many research areas. In this paper, a video-oculography method based on convolutional neural networks (CNNs) for pupil center detection over webcam images is proposed. As the first contribution of this work and in order to train the model, a pupil center manual labeling procedure of a facial landmark dataset has been performed. The model has been tested over both real and synthetic databases and outperforms state-of-the-art methods, achieving pupil center estimation errors below the size of a constricted pupil in more than 95% of the images, while reducing computing time by a 8 factor. Results show the importance of use high quality training data and well-known architectures to achieve an outstanding performance.