Médias

Kinect, histoire d'une révolution

0

Véritable success-story pour la R&D de Microsoft [l'éditeur de RSLN], l’invention de Kinect a définitivement fait basculer le jeu vidéo dans le XXIe siècle tout en révolutionnant notre rapport aux machines. Découvrez les équipes de recherche de part le monde qui ont collaboré pour la créer.

Cinq touches « s’allument » sur la paume de votre main. D’un geste du doigt, vous ouvrez un mail qui s’affiche sur le mur en face de vous. Ceci n’est pas le futur, c’est Omnitouch. Ce dispositif, que l’on doit à un ingénieur de Microsoft, rend n’importe quel élément de votre environnement tactile, qu’il s’agisse d’une surface plane ou de votre avant-bras… Omnitouch est l’une des évolutions de Kinect, la technologie de commande de jeu sans manette développée par Microsoft.

Et ce n’est que la première. Car la véritable révolution avec Kinect, c’est que cette technologie de pointe se diffuse désormais de façon massive. Des systèmes de détection des mouvements existaient dans les labos bien avant son lancement, en 2010, mais ils impliquaient une installation de plusieurs dizaines de milliers d’euros. Vendu à moins de 150 euros, Kinect n’est pas réservé à une élite. Deux mois après sa sortie, il s’en était vendu près de 8 millions d’exemplaires à travers le monde.

Souvent comparé aux technologies futuristes du film Minority Report de Steven Spielberg, dans lequel le personnage principal, joué par Tom Cruise, manipule des images et des vidéos d’un simple mouvement de la main, Kinect incarne l’émergence d’une nouvelle relation entre l’humain et la machine. Un rapport plus naturel et intuitif, où il suffit de se placer devant le détecteur de mouvement pour que le capteur repère votre présence et réponde à vos gestes. Il n’y a plus besoin de manette, plus besoin de presser des boutons, ni même de toucher quoi que ce soit : votre corps est l’interface.

Si la technologie est en elle-même bluffante, c’est surtout sa capacité à se faire oublier pour rendre « naturelle » l’interaction avec la machine qui fait sa réussite.

« C’est la magie de Kinect : cela marche parce que n’importe qui sait bouger son corps », explique Kudo Tsunoda, créateur du périphérique et directeur général de Microsoft Game Studios, chargé du développement de Kinect. 

« Si vous demandez à quelqu’un de vous montrer comment on conduit une voiture, la plupart du temps, la personne va mettre ses mains devant elle pour mimer le fait de tenir un volant. »

Avec Kinect, c’est pareil : chacun comprend rapidement comment contrôler le dispositif parce que c’est naturel. Pas la peine de reproduire un geste spécifique, c’est la machine qui s’adapte.

Et pourtant, pour les designers, intégrer le comportement naturel des humains à l’intérieur du jeu au lieu d’apprendre aux joueurs comment se mouvoir n’a pas été une mince affaire…

> Une révolution en trois temps

L’aventure Kinect commence en 2007, à Redmond (le siège de Microsoft, situé dans l’État de Washington), quand plusieurs dirigeants de l’entreprise – parmi lesquels Don Mattrick, qui dirige la division divertissement interactif – assistent à la première démonstration d’un concept qui permet d’affranchir totalement le joueur de la manette en remplaçant celle-ci par le corps et la voix de l’utilisateur. 

L’objectif est alors de donner une nouvelle impulsion à la console Xbox 360.

« Il nous faut réinventer la manière dont nous interagissons avec la machine », insiste Marc Whitten, vice-président de Xbox Live, lors d’une réunion stratégique.

Rien de plus compliqué que de rendre les choses simples ! Un groupe d’une quinzaine de personnes se met en place à Redmond, autour d’Alex Kipman, le jeune directeur de l’incubateur Xbox.

« Dans mon équipe, on compte des artistes, des musiciens, des peintres, des chercheurs, des ingénieurs, et même des gens de Hollywood, comme les responsables des effets spéciaux du film Matrix. La diversité est la clé de la créativité », affirmait alors Alex Kipman.

Il donne un nom à ce projet : Natal, en hommage à la ville brésilienne dont il est originaire.

C’est à l’E3, le salon dédié aux jeux vidéo qui se tient à Los Angeles, qu’Alex Kipman découvre une technologie inédite de reconnaissance de mouvement développée par une start-up israélienne, et qui pourrait bien constituer la base de son projet.

Sa spécificité ? Être capable de détecter non seulement la valeur de chaque pixel, mais aussi la distance à laquelle il se trouve par rapport à la caméra. Une sorte de combinaison entre un capteur et un sonar, certes capable de percevoir les objets présents dans l’environnement, mais aussi de « comprendre » que des personnes sont intercalées entre eux et la caméra, et de mesurer précisément la distance entre ces objets et les humains.

Techniquement, cela fonctionne, mais il manque encore « l’intelligence ». Percevoir des masses, c’est bien, être capable de reconnaître des formes, d’en suivre les mouvements et de les interpréter, c’est tout autre chose.

Confrontées à ce nouveau challenge, les équipes Xbox se tournent vers le laboratoire européen de la division recherche de Microsoft à Cambridge, en Angleterre. Plus précisément, c’est l’équipe Computer Vision, spécialisée dans l’analyse des images, qui relève le défi.

« Arriver à suivre les mouvements d’un être humain sans lui poser de capteurs sur le corps était “le” problème qui se posait à toute la communauté de l’intelligence artificielle depuis vingt ans, raconte le directeur du labo, Andrew Blake. Nous l’avons résolu grâce aux techniques de machine learning. Concrètement, nous avons enseigné à l’ordinateur qu’il existe des corps de toutes les formes et de toutes les tailles, pouvant adopter des positions multiples. »

L’équipe Computer Vision s’est donc attelée à un travail titanesque : faire défiler devant la caméra de l’ordinateur des milliers de personnes de toutes tailles, de toutes corpulences, et accomplissant toutes sortes de mouvements pour qu’il apprenne à reconnaître chaque partie du corps et à suivre sans erreur les mouvements d’un être humain en temps réel.

Une fois les ressources du big data et du machine learning exploitées, il restait au laboratoire britannique de Microsoft à relever un ultime défi : mettre au point un algorithme capable de combiner les données concernant la position de chaque partie du corps au fur et à mesure de leur collecte.

Par exemple, il fallait que le logiciel soit capable de suivre, millimètre par millimètre, le mouvement d’un bras qui donne un coup de poing, et qu’il modélise le geste en temps réel pour que celui-ci puisse être reproduit à l’écran au sein d’un jeu de boxe. Un tour de force encore jamais réalisé, et le tout dans un périphérique disponible à un prix abordable. Une caméra, un système de reconnaissance des formes et des mouvements, un algorithme qui analyse les données en temps réel : Kinect était né !

> Des applications qui dépassent l’univers du jeu

Au-delà de l’univers ludique, Kinect ouvre la voie à mille et une possibilités. Un potentiel immédiatement saisi par Microsoft, qui a décidé de laisser le public s’emparer de l’accessoire.

Un kit de développement a ainsi été mis à la disposition des développeurs et des fans afin qu’ils puissent trouver de nouveaux usages pour Kinect. Certains l’ont utilisé pour piloter un aspirateur, d’autres pour jouer avec un sabre laser en réalité augmentée, d’autres encore pour créer un instrument de musique dont on peut jouer à distance...

Mieux, Microsoft propose en téléchargement sur la Xbox 360 un kit de jeu unique en son genre : Kinect Fun Labs. On y trouve les dernières innovations Kinect mises au point par les fans. Par exemple, la possibilité de scanner son propre corps pour se fabriquer un avatar, ou bien de modéliser des objets présents dans l’environnement pour ensuite les intégrer dans un jeu vidéo.

Mais les applications de Kinect se déploient dans bien d’autres domaines. À l’ENSCI (École nationale supérieure de création industrielle), à Paris, les étudiants se sont approprié Kinect pour en faire une interface de création qui leur permet de modéliser un objet en quelques gestes de la main, révolutionnant à la fois les processus du design et l’esthétique des objets créés.

Étudiants à l’université de Pennsylvanie, Eric Berdinis et Jeff Kiske ont, de leur côté, inventé Kinecthesia, une ceinture de détection des obstacles à destination des personnes malvoyantes, qui met en oeuvre la technologie de reconnaissance de mouvement de Kinect.

Autre exemple : à l’hôpital Sunnybrook de Toronto, au Canada, le docteur Calvin Law, spécialiste en chirurgie oncologique, utilise Kinect en salle d’opération pour déclencher la prise d’images médicales d’un simple geste. Une manipulation à distance qui lui évite de toucher le matériel informatique, et qui est donc parfaitement adaptée aux contraintes de l’asepsie…

Bienvenue dans le futur !

> Retrouvez cet article et plus encore dans RSLN #11, un numéro spécial recherche

RSLN le 26/07/2012
rsln
RSLN le 26/07/2012
Photographie : / sur Xbox 360

Pingbacks and trackbacks (1)+

Ajouter un commentaire


Loading
biuquote
  • Comment
  • Preview

S'abonner à la newsletter

Votre adresse email sera uniquement utilisée pour vous envoyer la newsletter de RSLN. Microsoft ne l'utilisera pour aucune autre communication, qu'elle soit commerciale ou institutionnelle. Microsoft ne vend ni ne loue ses listes d'abonnées à des tiers.