Designing and implementing digital educational tools for children and youth with special needs using natural interfaces

Abstract

Esta tesis se centra en el potencial pedagógico de Interfaces Naturales de Usuario (NUIs) y su aplicación en distintos ámbitos educativos. Las NUIs son interacciones remotas basadas en movimientos gestuales del cuerpo y han mostrado mejoras en la implicación y motivación de los niños, lo que puede repercutir en el aprendizaje. Sin embargo, la mayoría de los trabajos publicados estudian su aplicación con personas de desarrollo cognitivo y motriz típico, dejando en segundo plano el estudio de su posible impacto en niños con necesidades educativas especiales (SEN). Por eso, esta tesis basa su investigación sobre la hipótesis de que las NUIs pueden también apoyar el aprendizaje en niños con SEN. Con esta finalidad, se diseñaron dos técnicas de interacción con la Microsoft® Kinect y se evaluaron empíricamente. Por un lado, el Body Menu que asocia iconos con el cuerpo y permite su selección tocando las partes correspondientes del cuerpo. La interfaz se basa en las propiedades de la propiocepción. Por otro lado, el Crank Handle que permite la manipulación con una mano de objetos virtuales 3D. La interfaz se basa en la metáfora de rotar manivelas para orientar los objetos 3D. Estas dos técnicas establecieron la base para explorar el potencial de las NUIs y fueron integradas en herramientas educativas a través de tres estudios.

This thesis focalises on the pedagogical potential of Natural User Interfaces (NUIs) and their impacts in different educational contexts. NUIs are motion-based touchless interactions and have showed increase of engagement and motivation, which may have an effect on learning via the use of the body. However, most of the studies referred to typically developing people with only few evidence concerning children with Special Educational Needs (SEN). Consequently, this thesis based its research on the hypothesis that NUIs could also support learning on children with SEN. Therefore, two interaction techniques using the Microsoft® Kinect were designed and empirically evaluated. On the one hand, the Body Menu that associates icons to the body and allows their selection by touching the corresponding body parts. This interface stems from the use of proprioception properties. On the other hand, the Crank Handle that permits the manipulation with one hand of 3D virtual objects. This interface is based on the metaphor of rotating crank handles to orientate the 3D objects. These two new interfaces built a basis to explore the potential of NUIs and were, thereafter, embedded in different educational tools through three studies.

Cette thèse focalise sur le potentiel pédagogique des Interfaces Utilisateurs Naturelles (NUIs) ainsi que leurs impacts dans différents contextes éducatifs. Les NUIs sont des techniques d’interactions à distance qui se basent sur les gestuelles du corps. Elles ont démontré être motivantes et engageantes, ce qui peut répercuter sur l’apprentissage des enfants. Cependant, la plupart des études font référence aux enfants au développement typique, laissant peu de signes d’évidence en ce qui concerne les enfants aux besoins éducatifs spécialisés (SEN). Par conséquent, cette thèse base sa recherche sur l’hypothèse que les NUIs peuvent aussi soutenir l’apprentissage des enfants avec SEN. Avec cet objectif, deux techniques d’interaction avec la Microsoft® Kinect furent développées puis empiriquement évaluées. D’un côté, le Body Menu qui associe des icônes au niveau du corps tout en permettant leur sélection en touchant les zones du corps correspondantes. Cette interface se base sur les propriétés de la proprioception. Et de l’autre côté, le Crank Handle qui permet la manipulation d’objets virtuels en 3D avec une seule main. L’interface se base sur la métaphore de tourner une manivelle pour orienter les objets 3D. Ces deux techniques fondèrent la base pour explorer le potentiel des NUIs et furent intégrées à des outils éducatifs au travers de trois études.