Gaze estimation: a mathematical challenge

Abstract

El interés en los sistemas de eye tracking está creciendo significativamente en la actualidad. Aunque la tecnología de eye tracking puede parecer nueva, el estudio del movimiento del ojo ya empezó a principios del siglo XIX y los primeros sistemas de eye tracking basados en video-oculografía surgieron a principios de los años ochenta. Los eye trackers han estado limitados principalmente a la investigación y a las personas con discapacidad, pero en los últimos años el uso de esta tecnología se está expandiendo. Los sistemas de eye tracking pueden cambiar la forma de interactuar con los dispositivos cotidianos. El objetivo de esta tesis es facilitar el uso general de esta tecnología. Con este fin, los eye trackers tienen que ser baratos, precisos y permitir al usuario mover la cabeza libremente. Hay un gran interés en estimar la mirada con una sola cámara web, ya que casi todos los dispositivos incluyen una, y en reducir el número de luces infrarrojas. Sin embargo, el eye tracking basado en una cámara web supone nuevos desafíos tales como un campo de visión más amplio y una calidad de imagen inferior. En esta tesis, la precisión y robustez de métodos de estimación de la mirada existentes basadas en una cámara y dos luces infrarrojas son evaluadas para un rango amplio de movimiento de cabeza cuando se utiliza una cámara web. Una de las principales fuentes de error en la estimación de la mirada es la precisión de los detectores de características, por ello se analiza el impacto de las características de la cámara en los errores de detección de características. La ventaja de usar una cámara web es que el gran campo de visión permite capturar ambos ojos. El uso de datos binoculares es explotado para diseñar nuevos métodos de estimación de la mirada. La mayoría de los métodos de estimación de la mirada existentes se basan en al menos dos luces infrarrojas para proporcionar robustez al movimiento de cabeza. En esta tesis, se proponen y evalúan métodos de estimación de la mirada que sólo requieren de una cámara y una sola luz infrarroja manteniendo una robustez aceptable al movimiento de cabeza. También se presentan e investigan métodos de estimación de la mirada que no requieren luz infrarroja. Además, se proponen los procesos gaussianos como una alternativa a las regresiones polinomiales.

The interest in eye tracking systems is growing significantly nowadays. Although this technology may seem new, the study of eye movements already begun in the late 19th century and the first video-based eye trackers emerged in the early 1980s. Eye trackers have been mainly restricted to research and to people with disabilities, but in recent years, the use of this technology is expanding. Eye tracking systems can change the way we interact with everyday devices. The aim of this thesis is to facilitate the general use of this technology. To this end, the eye trackers have to be cheap, accurate and allow the user to move the head freely. There is a great interest in estimating gaze with a single webcam, as nearly every device includes one and in reducing the number of infrared lights. However, webcam-based eye tracking results in new challenges to solve such as a wider field of view and a lower image quality. In this thesis, the accuracy and robustness of existent gaze estimation methods that rely on a camera and two infrared lights are evaluated for a large range of head movement using a webcam. One of the main sources of error in gaze estimation is the accuracy of feature detectors, therefore, the impact of the camera characteristics in the feature detection errors has been analyzed. The advantage of using a webcam is that the large field of view permits capturing both eyes. The use of binocular data is exploited to design new gaze estimation methods. Most of the existent gaze estimation methods rely on at least two infrared lights to provide robustness to head movement. In this thesis, gaze estimation methods that only require a camera and a single infrared light while maintaining acceptable robustness to head movement are proposed and evaluated. Gaze estimation methods that do not require infrared light are also presented and investigated. Furthermore, Gaussian processes are proposed as an alternative to polynomial regressions.