EdNM

< Retour à Projets

Une expérimentation conduite au Mamco, musée d’art moderne et contemporain de Genève, dans le cadre d’un contrat de recherche de la Haute école d’art et de design-Genève associée au laboratoire « Esthétique des nouveaux médias » de Paris 8, 2005-2008 dans le cadre du programme « Description interactive des œuvres et des collections ».

IDI (Interactivité Descriptive Intégrée/Integrate Descriptive Interactivity) :
Projet de recherche CTI de la HEAD (Haute école d’art et de design-Genève) pour le MAMCO (Musée d’art moderne et contemporain-Genève)
Coordination HEAD : Jean-Louis Boissier, Daniel Pinkas
Réalisation HEAD : Sidonie Carrillat, Annelore Schneider, Pius Zoll
Transcriptions : Liliane Terrier
Programmation informatique : Jean-Noël Lafargue

Voir le site du Mamco-Genève.

Mamco, 2005. Dispositif de caméra pilotée par ordinateur pour les prises de vues de séquences interactives.

L’interactivité descriptive intégrée

Les études contemporaines de la muséographie et de l’archive montrent qu’il est possible, en l’état actuel de la technologie numérique, d’envisager des solutions alternatives aux techniques de catalogage classiques pour « faire parler » les bases de données.
Le projet IDI (Interactivité Descriptive Intégrée/Integrate Descriptive Interactivity) se veut une réflexion approfondie autour d’un prototype sur DVD-rom de catalogue numérique à interactivité intégrée pour des collections riches et complexes. Par « interactivité intégrée », il faut entendre le fait de rendre possibles des parcours d’une collection non seulement à partir de critères de sélection chronologiques, linguistiques ou analytiques, mais aussi à partir de propriétés sensitives ou formelles extraites des représentations ou simulations interactives des éléments de la collection. Concrètement, ces représentations ou simulations mobilisent des procédés de vidéo interactive et des espaces 3D conçus comme espaces de représentation, d’exploration et de classification. Le dispositif même de l’enregistrement, avec ses dimensions techniques, relationnelles et perceptives, détermine les modalités interactives de la vidéo. Le projet vise à faire de l’interactivité une dimension homogène à l’image intégrée, prolongeant sa valeur indicielle, descriptive et esthétique. Le projet IDI concerne une collection d’œuvres d’art contemporain (Mamco/Genève) et ses développements pourront intéresser toutes sortes de collections complexes d’objets (techniques, scientifiques, architecturaux, de design).

Schémas de préparation d’une séquence sur les dessins d’Elisabeth Llach, Mamco, Genève, 2005.

Séquence interactive sur les dessins d’Elisabeth Llach, Mamco, Genève, 2005. Copie d’écran.

TESTS

Dessins d’Elisabeth Llach

Pièce de Robert Filliou

Téléchargement de projecteurs version Macintosh.
Cliquer sur les vignettes ci-dessus.

Vidéo interactive descriptive et sensitive

La chronophotographie interactive

Un aspect majeur de la recherche IDI porte sur une création en matière de vidéo interactive qui met l’accent sur la dimension sensitive des images et sur les capacités descriptives de l’interactivité elle-même. Pour cela est utilisé un procédé d’animation que nous appelons “chronophotographie interactive”, en référence à Étienne Jules Marey et à Edward Muybridge, et d’une façon plus générale, au cinéma primitif. Cela signifie que, si les séquences sont interactives, elles le sont du fait de l’organisation des photogrammes qui constituent le film, ces photogrammes restant conformes au résultat de la prise de vue. Ce procédé se différencie donc des animations interactives obtenues par images calculées, génération de graphismes, objets comportementaux, et autres procédés utilisés en général pour les jeux. Autrement dit encore, un tel procédé se situe explicitement dans la tradition du cinéma, de la prise de vue et du montage, si ce n’est que la prise de vue est faite en fonction du montage interactif qui va suivre et que ce montage est fait au plus près des éléments discrets constitutifs d’un film, c’est-à-dire des photogrammes.

Les configurations et procédures techniques de la chronophotographie interactive

Les prises de vue sont faites avec une caméra vidéo DV. Pour ce qui concerne les gestes et les attitudes, on réalisera des séquences vidéo continues et relativement courtes (par exemple une ou deux minute). Il faut veiller à réaliser toutes les variantes que va nécessiter le montage interactif en évitant d’interrompre la caméra. Qui plus est, plusieurs prises peuvent être enregistrées dans la continuité. Les séquences vidéo retenues sont ensuite importées dans l’ordinateur (format DV natif) puis exportées en une suite d’images fixes. On retient ou bien toutes les images fixes ou bien une sur deux (25 ou 12 par seconde de film). Ces images sont ensuite importées dans une animation Director. C’est cette animation qui va redonner aux images leur aspect de film animé, si ce n’est que l’on peut alors en modifier le nombre, la suite, le rythme. La structure du film interactif est essentiellement constituée de boucles et de transitions. Pour ce qui est des sons que le film Director peut assembler, ils peuvent provenir ou bien des vidéos, ou bien d’un enregistrement séparé. Cette question importante est considérée plus loin.

La notion de vidéo interactive

Avant de décrire plus précisément la procédure, il faut évoquer la notion de vidéo interactive et le scénario particulier que nous envisageons. Une vidéo interactive offre la possibilité à ses regardeurs d’intervenir sur le cours des images. Les principales figures de cette interactivité sont : 1° : le déclenchement; 2° : la bifurcation; 3° : le changement de sens ou de cadence. On peut envisager une vidéo interactive qui se présente comme un film offrant de temps en temps un choix que le regardeur doit opérer. Des œuvres des débuts de l’interactivité artistique, à base de vidéodisques, telles celles de Michael Naimark, Aspen Moviemap (1980) Lynn Hershmann Lorna (1984), ou encore de Luc Courchesne Portrait One (1990) présentaient ainsi des bifurcations soulignées par des textes que le regardeur sélectionne pour déterminer la suite du film.
Différemment, et pour le projet spécifique d’une interactivité descriptive à base de vidéo, nous nous proposons de concevoir des films interactifs dans lesquels le spectateur peut intervenir à tout instant. Mais la contrepartie de ce principe est que l’on doit constamment prévoir non seulement quelle sera la conséquence de l’action du regardeur mais aussi quel sera le comportement du film lorsqu’on n’intervient pas. Pour que le film ne donne jamais le sentiment de s’arrêter, nous décidons de ne jamais le bloquer sur une image fixe. Ce problème est résolu par la confection de boucles d’images qui sont des moments d’attente, des mouvements circulaires ou alternatifs, des petites vibrations, des oscillations ou bien des cycles répétitifs plus longs. À ces moments de mise en suspens vont correspondre des sorties possibles, qui ménagent la continuité apparente du film, mais aussi des points d’entrée dans ces boucles. Il y aura donc aussi des trajets de transition d’une boucle à l’autre, ces trajets pouvant éventuellement être joués à l’endroit ou à l’envers. On comprend que la figure de type 1, le déclenchement, est obtenue par une sortie de boucle. La figure 2, la bifurcation, peut être obtenue soit en prévoyant plusieurs sorties différentes, en fonction de conditions variables qui dépendent à la fois du scénario et du comportement du regardeur, soit encore en ménageant un carrefour dans un trajet de transition, ici encore soumis à des conditions. Quant à la figure 3, la variation de sens ou de cadence qui peut être programmée, elle va dépendre elle aussi de conditions propres au scénario, au contenu des images et à la lecture.

La notion de description sensitive du geste relationnel

Pour rendre compte et restituer la relation aux objets et aux œuvres qui est celle des musées et expositions, la recherche s’attache à une figuration vidéo-interactive qui est de l’ordre de la simulation non pas tant d’une véritable manipulation fonctionnelle — exception faite pour des pièces faisant directement appel à une action effective — mais des modalités sensitives que l’œuvre implique. En parlant de geste relationnel, nous désignons l’ensemble des attitudes et comportement qui mettent en jeu la position du spectateur et lecteur et les divers registres de sa perception.
Pourquoi travailler sur la notion de description sensitive du geste. Il existe aussi des raisons spécifiques à la vidéo interactive. Tout d’abord, les films interactifs que nous proposons sont nécessairement bouclés sur eux-mêmes, répétables, y compris pour que le regardeur en exerce et comprenne le jeu des variations. En ce sens, le film interactif est une sorte de tableau. D’autre part, l’interactivité, parce qu’elle s’attache particulièrement à prévoir, sinon à diriger le comportement du regardeur, parce qu’elle sollicite en tout cas de sa part une certaine attitude, incite à travailler, à mettre en forme la relation avec le regardeur.
Le film interactif vise alors à ce que le regardeur et manipulateur se ressente comme inclus dans un dispositif gestuel et perceptif. D’une manière générale, nous considérons qu’un geste, une relation sensible, peuvent être figurés par une image vidéo interactive. Une telle image peut non seulement figurer les apparences, comme la photographie, figurer les mouvements et le temps, comme le cinéma, mais encore les interactions, les relations. C’est ce qui fonde les capacités descriptives de l’interactivité en tant que telle, et donc ses capacités à faire récit, notamment dans sa version appliquée à la vidéo. C’est pourquoi nous parlons non pas seulement de description interactive mais d’interactivité descriptive.

L’interfaçage de la vidéo interactive publiée dans les supports standardisés

Une question se pose lorsqu’on réalise une image interactive : quelle place et quels moyens d’interaction va-t-on donner aux regardeurs? La notion d’interactivité est indissociable de la notion d’interface. Une séquence vidéo interactive va se lire sur un ordinateur, va être supportée par des supports standardisés, un CD-ROM édité, un site Web ou encore une installation muséographique, une borne d’information et de consultation. Il faut avoir conscience de ces conditions et de ces contraintes. Pour les film interactifs inclus dans divers programmes à vocation descriptive, on sait que le lecteur ne dispose que de l’écran, de la souris et du clavier de l’ordinateur. On peut faire l’hypothèse, pour perfectionner la fonction interactive propre à l’image, de n’avoir à l’écran, aucune interface graphique particulière, si ce n’est l’image vidéo elle-même. Dans ce cas, l’expérience vise à trouver comment l’image vidéo interactive peut constituer sa propre interface, comment le regardeur peut n’être guidé que par les changements internes à l’image. Il ne s’agit pas non plus de faire entrer le spectateur dans l’image ni de s’en remettre à des zones sensibles, des boutons, des menus comme c’est le cas bien sûr de l’hypertexte tel qu’il est mis, bien sûr, en œuvre dans d’autres aspects de notre programme de recherche .
À titre d’exemple, nous nous proposons par contre ici de cerner les possibilités d’une interaction minimale qui consiste à simplement prendre en compte la position du curseur dans l’image ou hors de l’image. Dans ces conditions, c’est en se guidant sur les transformations internes de l’image, par exemple la figuration d’un geste, de la transformation d’un objet ou de son apparition, que le manipulateur peut en quelque sorte jouer avec le film et accéder à la compréhension de ses mutations, éprouver les sensations attachées à cette représentation.
Une autre logique possible pour un dispositif d’interaction simple, analogique et intuitif, consiste à donner à explorer la séquence en simulant une action de la caméra : mouvement de zoom avant ou arrière, panoramique ou travelling. On comprend alors que la place que l’on peut prévoir pour les lecteurs est celle qui aura été attribuée à la caméra dans l’opération de prise de vue. Autrement dit, le dispositif de lecture interactif est comme le symétrique du dispositif de l’enregistrement vidéo et du jeu de relations qui s’est exercé dans cette performance. Se confirme ici encore la proposition qui fait que l’interactivité devient capable de restituer des relations. En situant la source de l’interactivité potentielle de la vidéo dans le dispositif même de l’enregistrement et de toutes les dimensions sémiotiques et technologiques qui relèvent de cette saisie, on vise à faire de l’interactivité une dimension homogène à l’image, intégrée à l’image, parce qu’elle prolonge la valeur indicielle et référentielle de l’image saisie qu’est la vidéo. Cette dernière solution, qui conduit à concevoir des dispositifs de saisie spécifiques, est l’un des aspects les plus important et les plus originaux du programme. C’est pourquoi il convient d’en préciser les conditions techniques, expérimentales et opératoires.

Les procédés de simulation de la saisie vidéo

Il s’agit donc de mettre en place un dispositif, qui, répétons le, règle à la fois la production et la réception des séquences vidéo interactives. Dans tout un ensemble de recherches et d’expérimentations actuelles, y compris celles de plusieurs membres de l’équipe qui s’engage dans la recherche IDI pour cela constitue une spécialité, se découvre une possibilité inédite dans la tradition cinématographique, celle de la dissociation de l’image et de l’écran. Le cinéma s’est fondé sur le principe de la fixité du projecteur et celui d’une image occupant toute la surface de l’écran. Les techniques numériques introduisent ici une variabilité qui permet de retrouver ce que, d’une certaine manière, le cinéma avait entrevu à ses début mais en y renonçant, une mobilité du projecteur destinée à restituer les mouvements de la caméra. On sait cependant que l’un des principes premiers du cinématographe est dans la continuité et la réversibilité du couple caméra-projecteurs, deux appareils au demeurant souvent confondus à l’origine. Ce qui permet d’envisager la mobilité du projecteur est précisément que ses mouvements, que les déplacements de l’image sur l’écran, peuvent désormais être enregistrés et restitués. Une telle variabilité est l’un des moyens les plus pertinents d’action sur l’image vidéo. Ainsi, un mouvement de panoramique de la caméra se traduira par une translation de l’image qui peut être actionnée, impulsée, par le lecteur. Il en va de même pour d’autres mouvements d’appareil comme le travelling et le zoom. Non seulement ces mouvements devenus accessibles dans la lecture pourront être utilisés pour eux-mêmes, par exemple pour découvrir un espace, pour s’approcher d’un détail, mais d’autres mouvements, notamment des gestes, pourront s’inscrire dans ces mouvements d’appareil simulés et devenir par là interactifs.

Principes de scénarisation des documents vidéo interactifs

Dans ces modalités nouvelles d’écriture, la questions du scénario et de la mise en scène doivent être revisitées. On a dit qu’il s’agit de construire la restitution de gestes singuliers et de leurs manifestations sensitives spécifiques. Il faut cependant que cette construction s’inscrive dans le jeu des boucles de mise en suspens et dans les mouvements de transitions qui ont été repérés comme figures de base. Les jeux de scène se rapportant à de possibles retours à certaines positions d’attente et de bifurcation, il est judicieux de placer la caméra dans des positions fixes mais aussi mobiles, à condition d’être parfaitement repérées. Ceci doit faire l’objet de développements mécaniques et robotiques particulier et, bien que ce domaine semble largement exploré par le domaine des automates, ce n’est pas le moindre des enjeux de l’expérimentation pour ce qui concerne les techniques artistiques de l’image. On comprend aussi que les mouvements et les transformations, les entrée et sortie du champ, les présentation d’objets, vont être autant d’événements qui participeront à l’acte d’énonciation et de performance du geste, ces événements étant par principe directement traduisibles en interactions de la part du lecteur. Mais on peut aussi prévoir que certains événements soient laissés à la décision du programme, de l’attente ou du temps dépensé. Une nuance encore, les effets de la manipulation du regardeur peuvent être conditionnés par son insistance, par sa capacité à agir vite ou bien à savoir attendre, par l’historique de son parcours. C’est pourquoi nous disons qu’un film interactif, pour être visible et lisible, doit d’abord être jouable.

La dimension sonore des séquences vidéo interactives

L’implication du son dans les séquences vidéo interactives prolonge les usages classiques mais comporte nombre de spécificités. D’une façon générale, le son enregistré peut être attaché aux images et contribuer à leur valeur descriptive. Cependant, les images étant appelées par les actions de lecture, la dimension temporelle et événementielle du son sera mise à contribution pour souligner les mutations de l’image, dans son énonciation et dans son contenu. Aux divers sons d’ambiance qui peuvent être installés dans le programme peuvent se superposer des sons directement liés aux événements dans l’image ou hors champ et qui seront des signaux très perceptibles et intuitifs pour guider le lecteur dans son exploration. Le travail du son doit donc se porter, pour la description interactive des objets, des œuvres et des collections qui nous intéresse, à la fois sur les sons propres aux œuvres et à leur éventuelle manipulation, sur les sons attachés au contexte de l’exposition et de la présence du public, sur les sons capables de rendre compte des espaces, des distances et des divers aspects relationnels. À ces diverses couches et structures sonores mobiles peuvent s’adjoindre des éléments sonores, signaux et voix, qui sont de l’ordre du commentaire et qui peuvent eux aussi répondre à des modalités de lecture et d’investigation adaptées et variables.

Jean-Louis Boissier, extrait du document « Interactivité Descriptive Intégrée/Integrate Descriptive Interactivity », HEAD-Mamco/Genève, 2005