Observatoire des nouveaux médias

29. Benjamin Petit. Les systèmes multi-caméras pour la réalité virtuelle.
(présentation par Pierre Hénon)
Observatoire des nouveaux médias
Ensad 31 rue d’Ulm 75005 Paris

Mercredi 3 mars 2010, 18h 30, Amphi Rodin

Benjamin Petit est doctorant-chercheur en réalité virtuelle à l’INRIA de Grenoble. Il explore avec Bruno Raffin de nouvelles voies d’interaction et de télé-présence 3D en utilisant des systèmes multi-caméras. Les travaux de l’équipe de recherche sont centrés sur la reconstruction 3D temps réel qu’elle expérimente sur la plateforme Grimage. Cette recherche a abouti à plusieurs publications scientifiques dans des conférences internationales et à plusieurs démonstrations comme Virtualization Gate lors de la conférence Siggraph 2009. Dans sa conférence, il expose les techniques de reconstruction 3D multi-caméras qui permettent d’obtenir un modèle numérique 3D de la personne filmée. Il  montre l’évolution de ces techniques, des premières expérimentations dans les années 70 aux résultats les plus récents, leurs usages actuels dans le domaine du cinéma en en soulignant les potentiels et les limites. Les environnements 3D sont de plus en plus présents dans les jeux vidéos, dans les réseaux sociaux comme Second life, dans le cinéma, etc. La présence de l’humain dans ces environnements virtuels est souvent réduite à l’utilisation d’un avatar. Les séquences de vidéo 3D peuvent être utilisées pour des effets spéciaux (par exemple pour créer des effets «Matrix»). Utilisé en temps-réel, ce modèle 3D permet à l’utilisateur d’interagir sans périphérique et sans marqueur avec un monde virtuel. L’utilisateur devient présent sur la toile à travers un avatar reproduisant son apparence et sa gestuelle.

Enregistrement vidéo de la conférence-projection de Benjamin Petit

1/5
Présentation par Pierre Hénon. Exposé des systèmes de capture du mouvement avec  capteurs, jeu de marqueurs posés sur les corps, et de caméras qui repèrent ces capteurs, tels qu’utilisés pour les films en réalité virtuelle, Renaissance (2006) de Christian Volckman, Polar Express (2003) de Robert Zemeckis ou Avatar de James Cameron. État de l’art des systèmes de capture de mouvement des corps par caméra avec ou sans marqueurs pour la réalité virtuelle.  Les trois termes spécifiques de la réalité virtuelle: Interaction, Présence et Immersion en réalité virtuelle et leurs objets. L’interaction dont les objets sont des périphériques plus ou moins invasifs. La présence dans la réalité virtuelle révélée dans les avatars, ou un système associant Webcam Vidéo et Son (téléprésence); la nécessité d’une «symbolique», d’un vocabulaire de gestes déclencheurs d’interactions. L’immersion du spectateur par la vision en relief par la stéréovision sans possibilité de mouvement, l’anaglyphe, la stéréovision active et passive… La question du retour sensoriel, le feedback haptique par un dispositif d’exosquelette.  Le Cave est l’environnement le plus immersif pour une personne interagissant avec le dispositif.

2/5.
Etat de l’art de ce qui peut se faire avec une, deux, N caméras en réalité virtuelle. 1 caméra: les pièces de Myron Krueger, Videoplace 1985, [ndlr. Philippe Worthington, Shadow Monsters en 2008 y fait écho]. Le Sony Eye Toy… Avec deux caméras, le projet Natal de Microsoft. Les dispositifs multi-caméras avec motion capture permet d’animer un avatar dans l’espace virtuel. Making of  d’Avatar… Les systèmes multicaméras sans marker: un dispositif primitif multicaméras produisant le  Bullet Time Effect dans la vidéo See You Around, Lomo Matrix Effect réalisée avec les appareils photo Lomo; making of du Bullet Time Effect de Matrix; la Free Viewpoint Video, instrument pour la téléprésence.
•
•

3/5.
Les travaux à l’Inria: la plateforme Grimage pour faire de la reconstruction 3D en temps réel ou hors ligne à partir d’extraits du flux vidéo  issu des multicaméras. Technique d’enveloppe visuelle (Laurentini 1974, Szeliski 1993). Description du processus: le système multicaméras de la plateforme Grimage.
.

••

4/5.
Etat de l’art des systèmes multicaméras au regard de ces notions de présence et téléprésence: Blue-C (2003); UC Berkeley CITRIS Tele-immersion lab and the UIUC TEEVE lab, Tele Immersive Danse Project. Multicamera system for interaction:  Tsuyoshi Horo, ; Zhang Shujun… State Key Laboratory of Virtual Reality Technology and Systems, School of Computer Science and Engineering, Beihang University, Beijing, China; Grimage 2004, Virtual Shower en temps réel et en interaction; Grimage, Jack in the Box, 2007 Siggraph; la qualité immersive du Cave de Blue-C; Les casques HMD Head Mounted Display;
Grimage, Virtualization Gate, Siggraph 2009, un système multicaméras avec casque HMD pour l’immersion en réalité virtuelle et l’interaction en temps réel avec les objets virtuels.

••

5/5.
Conclusion et questions de la salle, avec Pierre Hénon. de l
5. Conclusion et questions•