La gestuelle : un nouveau langage numérique

Se faire obéir au doigt et à l’œil ? C’est là l’avenir du numérique à en juger par les travaux autour de la gestuelle comme interface digitale. Fini les claviers et les écrans tactiles, l’heure est venue de réinvestir nos mouvements en apprenant aux machines à les interpréter. A la clé, bien des applications dans la santé, les arts ou encore l’éducation.

Depuis une dizaine d’années, on assiste à une multiplication des objets connectés dans notre quotidien. Montres, brosses à dents, balances, drones, lampes, caméras… en permanence, des milliards de micro-capteurs mesurent dans le détail nos moindres mouvements. Grâce au machine learning, les données ainsi collectées pourraient bientôt permettre d’associer une signification à chacun de nos gestes et de communiquer avec les machines en se passant des interfaces traditionnelles. Un univers de recherche largement exploré par les jeux vidéo qui s’affranchissent d’interface utilisateur grâce à l’analyse en temps réel des mouvements du corps des joueuses et joueurs.

 

Élargir les capacités d’apprentissage

 

Les champs d’application sont variés, à commencer par la santé, avec la rééducation des patients. Une plaquette équipée de micro-capteurs glissée dans le revers de la chaussette d’un patient permet déjà de mesurer ses mouvements et de déterminer les limites au-delà desquelles un geste est douloureux. Une fois ce seuil atteint, l’application émet un signal sonore qui l’avertit de ne pas insister. Ce dispositif favorise la confiance du patient qui maîtrise ainsi mieux ses capacités et se voit rassuré sachant que le personnel soignant sera averti en cas de besoin.

 

Instaurer la gestuelle comme interface privilégiée pourrait également faciliter l’apprentissage. Tout type d’information numérique pouvant être associé à un mouvement, on peut très bien imaginer apprendre le violon sans jamais avoir à toucher un archet. L’Ircam (Institut de recherche et coordination acoustique musique) a d’ailleurs développé une application web qui permet, via le machine learning, d’apprendre des gestes à son smartphone et de les associer à des sons. Nos gestes pourraient donc servir d’interface pour appréhender l’univers numérique dans ce monde en constante évolution, qui impose d’apprendre tout au long de la vie. Seule condition toutefois : réapprendre une gestuelle qui bien que riche et variée, a longtemps été cantonnée à des pressions de doigts sur un clavier ou un écran.

 

 

Lire l’article (en anglais)

 

En complément :

Quand l’intelligence artificielle compose !

L’avenir des interactions homme-machine