Intervenants : Monika FLEISCHMANN & Wolfgang STRAUSS. Netzspannung.org
De la métaphore de la navigation à l’ère de l’interactivité digitale.

Présentation

Introduction

La mise en réseau et la surveillance dans le contexte de l’awareness

Awareness (conscience), télématique et réalité virtuelle

De la conquête à la dissolution de l’espace

Le langage des conquérants

L’expédition comme processus d’apprentissage de soi-même

Notes

Monika FLEISCHMANN, artiste chercheur, dirige le MARS Lab, Laboratoire d'étude et de recherche sur les arts des Medias à l'Institut Fraunhofer pour les médias de communication à Sankt Augustin/Bonn, Allemagne.

Wolfgang STRAUSS, architecte et professeur invité au Fraunhofer Institute for Media. Ses derniers travaux concernent les interfaces du corps humain et de l’espace numérique.

traduit de l'allemand par Susanna Lotz, ce texte paraîtra dans Anomalie digital_arts n.3 INTERFACE THEORY en avril 2002

 

- L’artisan colporteur était communicatif: en parcourant le monde, il obtenait des informations et les transportait d’une société à l’autre. Le troubadour, qui se baladait avec ses chansons, transformait les informations, qu’il venait de recueillir, de manière créative.

Depuis vingt ans, Les Dissidenten, groupe allemand de musique contemporaine, composent leur world-music en jouant avec les musiciens des différents pays qu’ils rencontrent en voyage.

Peut-on transposer cette culture de l’interactivité à l’espace virtuel ? Des tentatives existent déjà même avant le projet Brain Opera (1996) de Tod Machover. Pourtant, on n’est qu’à un stade premier, quand il s’agit de l’art et des nouveaux médias. Le préfix inter signifie entre, au milieu. Actif signifie agir de manière active et à été emprunté à un mot latin du XVIIe siècle agere.
Dans le contexte des nouveaux médias numériques, le terme interactivité définit la communication réversible entre un émetteur et un destinataire.

On peut transformer l’auteur/émetteur en utilisateur/destinataire, et l’utilisateur/destinataire en co-auteur/émétteur. La technologie digitale consiste en un moyen de transport pour la communication médiatique.

Le trait distinctif des systèmes interactifs n’est pas un produit fini, mais une situation définie par un processus interactif.

Dans les projets de Mixed Reality , la communication et l’interactivité sont de nouveau expérimentées et perçues dans la superposition et la stratification de l’espace. Le concept de la Mixed Reality représente la tentative de donner de nouvelles réponses à la question de la valeur de l’espace réel, de sa perception et des processus qui y ont lieu.

Le but n’étant pas la virtualisation du réel, mais le développement des possibilités du croisement des différents niveaux (d’origine) du comportement humain dans l’espace médiatique et réel, afin d’intégrer les technologies médiatiques dans l’espace réel.

Des projets comme Hole in Space de Kit Galloway et Sherrie Rabinowitz (1980) essayent de saisir la signification de l’espace télématique. La signification de l’espace médiatique détermine le développement de ses explorations. Dans l’installation de réalité virtuelle Home of the Brain , le cosmos virtuel a été conçu comme une espèce de Mandala et défini comme mémoire de l’ordinateur : une archive numérique de la pensée - une nouvelle forme expressive pour la communication -- un rendez-vous entre le 0 et le 1.

Avec le développement des nouvelles technologies de l’information et des nouveaux médias, que définissent parallèlement des artistes, des hackers et des développeurs, surgissent des questions concernant l’influence du réel sur le virtuel, la communication de ces deux mondes, le changement de la perception et de l’identité produit par la mise en réseau avec un troisième espace produit par des systèmes numériques.

L’union entre l’espace médiatique et l’espace réel peut adopter des formes multiples. L’installation Murmuring Fields explore les questions fondamentales de la perception corporelle. Il s’agit d’un environnement mixed-media, dans lequel l’espace médiatique et réel, en tant que références de l’action et de la perception, sont mis en relation à travers une interface intuitive.

La simultanéité de la présence virtuelle et matérielle des corps est donnée par la dynamique de la motricité du corps comme vecteur de l’expérience spatiale. La scénographie en 3D de Murmuring Fields est obtenue avec eMUSE , un environnement spécialement conçu pour de nombreux utilisateurs. Il s’agit d’une caméra munie d’un tracking-system qui relève les mouvements des joueurs dans l’espace réel et les transpose dans l’espace virtuel. L’activité corporelle réelle n’est pas subordonnée au système de référence médiatique, mais développe une tension de type chiasmatique entre l’événement dans l’espace réel et virtuel.

Murmuring Fields se situe dans la continuité des recherches déjà entamées dans le domaine des interfaces intuitives. Ce type d’interface garantit à l’utilisateur un haut degré de liberté de mouvement, comme le montre l’exemple de Virtual BalanceTM . Cette interface permet d’expérimenter corporellement la navigation grâce au déplacement du centre de gravité.

Virtual BalanceTM est une interface qui se distancie des équipements technologiques très complexes comme le head-mounted system, mais aussi des interfaces plus conventionnelles WIMP (window, icon, souris, pull down/up). Le sol devient une surface interactive et le corps, grâce à la perception du propre équilibre, un système de navigation. Cet instrument est efficace surtout dans le domaine didactique, dans la conception de systèmes informatiques et de l’organisation d’expositions.


Liquid Views questionne la relation entre l’immatérialité du virtuel et la matérialité du corps réel. L’installation reprend le mythe de Narcisse. Le miroir, lieu de la reconnaissance, est représenté par une image vidéo en temps réel qui peut être modifiée en direct par celui qui est filmé, grâce au morphing. Le liquide symbolise l’instabilité des flux des données influençables de façon interactive. Quand l’utilisateur rentre dans l’espace virtuel en tant que reflet médiatique, alors sa présence est soumise à l’action des technologies numériques. L’effet d’étrangeté donné par son propre visage symbolise les lois propres de l’espace artificiel virtuel en relation à la présence matérielle réelle.

Dans Liquid Views, le processus de manipulation numérique est en main de l’utilisateur. Grâce au touch screen, sensible sur toute sa surface, l’interaction devient un processus de modelage. Le double médiatique est manipulable et devient donc une sorte de sculpture virtuelle. “Ici l’interaction a lieu à travers le glissement intuitif des doigts sur l’écran.“ ( Roland Ernst)

Virtual Balance (1995) et Liquid Views (1992) sont deux exemples d’environnements médiatiques, dans lesquels l’interface donne à l’utilisateur un grand degré d’autonomie. Dans Murmuring Fields, cette autonomie est encore renforcée, puisque les utilisateurs évoluent sur scène dans une totale liberté.

La japonaise Kaeko Murata travaille sur l’intégration des médias interactifs dans les activités réelles. Dans son travail Fisherman‘s Café (1998), elle développe un dispositif dans lequel au moment où l’on dépose des tasses sur une table de café, des poissons commencent à nager entre les deux personnes, symbolisant ainsi la communication qui est visualisée et donc rendue plus intense à travers un mode ludique.

Un thème important pour le Mars Exploratory Media Lab est la recherche, lancée en 1987 par Art+Com à Berlin, concernant des interfaces pour des situations dynamiques.

Ce sont des interfaces qui mesurent l’homme et ses déplacements dans un espace numérique et ces données informatiques se transforment ensuite en lumières, sons, sculptures dynamiques ou objets. Ce sont des interfaces qui réagissent à leur environnement et qui restituent les mouvements de l’homme ou du robot en tant que facteurs de dérangement. Le MARS BAG nous signalise nos propres mouvements ou bien l’approchement d’une personne. Le mouvement est traduit en son et devient à la fois instrument d’expression et système d’alerte personnel. Des travaux comme le Mars Bag ou Fisherman’s Café ont développé des systèmes de navigation qu’on peut regrouper sous le terme d’Awareness. La définition de Awareness est proche des concepts de conscience, connaissance et reconnaissance. Dans le domaine des techniques de l’information, ce terme est mis en relation avec la perception de l’activité en rapport avec la téléprésence. Il s’agit de développer une téléconscience en face de processus de communication. Ces processus de communication se basent sur l’activité de personnes, robots et flux d’informations.

Les méthodes d’awareness qui unissent l’espace réel et médiatique et qui sont aptes à la navigation (comme les computer-vision-tracking systems, les webcams, les champs magnétiques ou les capteurs), mesurent et signalent des transformations d’un état numérique en un autre. Ces transformations deviennent visibles, audibles, sensibles, expérimentables. Il s’agit du développement et de la perception du double électronique, ses traces dans le réseau et les conséquences de ces activités sur l’environnement réel.

Il est possible de repérer des premières préfigurations du concept d’awareness, dans des projets artistiques télématiques, comme Hole in Space, Telematic Dreaming de Paul Sermon , ou dans le travail de Steve Mann avec un système personnel de surveillance, un des premiers projets de wearable computer.

 

La mise en réseau et la surveillance dans le contexte de l’awareness


En 2000 - l’année de la Reality-Soap Big Brother (le Loftstory allemand ndr.) - la vision de Orwell dans 1984 n’est plus actuelle, elle n’est plus pertinente. Les caméras de surveillance dans les supermarchés ne sont plus utilisées pour détecter des voleurs, mais servent désormais à évaluer mieux le comportement des clients.

Aujourd'hui, les caméras sont nos accompagnateurs et l’ordinateur, sous la forme de téléphone portable, fait partie de notre environnement personnel. Au Japon, nation qui aime le jeu, existent des services publics pour la communauté des joueurs. Dans le quartier de Shibuya à Tokyo, Panasonic et Sony se livrent bataille sur des écrans géants invitant les passant à envoyer avec leurs portables des petits messages SMS qui seront aussi visibles sur grand écran et via Internet. Simultanément la place est surveillée par des webcams. La plupart des jeunes joueurs se saluent via la caméra pour se revoir ensuite sur grand écran. Leurs images sont projetées sur les écrans des gratte-ciel environnants.

Cette évolution de Hole in Space (1980) montre un système transparent, qui superpose le public et le privé grâce à une interface à la fois architecturale et portable. La mise en communication de l’architecture et d’interfaces mobiles, crée un nouvel espace de communication publique. Sans doute, le contrôle public reste aussi un système de protection. Ce n’est pas uniquement un instrument de pouvoir, les points stratégiquement importants doivent être surveillés dans l’espace réel et virtuel. Il reste la question de savoir qui doit être protégé de qui.

Un travail artistique qui ne cesse d’interroger le thème ‘espace privé et espace public’ est l’œuvre Smell Bytes de Jenny Marketou. A l’origine de cette œuvre, il y a le désir de dépasser le système de connexion habituelle via CUSEEMe (de personnes, au travail ou à la maison, ont installé des webcams qui diffusent leurs images via réseau). Un agent autonome voyage à travers le réseau, mesure les visages et les ordonne selon des critères (leur beauté, régularité ou anomalies), à chacun est attribué une formule chimique symbolisant une odeur en relation à la notion de laideur ou de beauté. Ce projet n’est pas sans rappeler les études du criminologue italien Cesare Lambroso (1873-1900) et ses théories tendancieuses concernant des connexions entre beauté et esprit, anomalie et criminalité.
Smell Bytes a été montré pour la première fois lors de l’exposition Cannibalismes - terme vraiment approprié pour décrire l’état actuel du réseau et les rencontres douteuses qu’on peut y faire.

Il nous semble qu'un service public de surveillance technologique devrait coïncider avec la création d’un espace publique d’information et de communication.

La surveillance n’est pas la solution pour régler les problèmes sociaux qui deviennent visibles par leur intensification. Il faudrait plutôt créer des environnements qui permettent de comprendre les situations qui provoquent ces problèmes pour en déceler les causes et ensuite tester des stratégies d’un maintien productif.
Il faudrait créer des zones ludo-pedagogiques situés dans les points critiques de la société : comme des ateliers de nouveaux médias dans les villes, dans les écoles, dans les cours de jeu en tant que renouvellement des infrastructures publiques.
De telles stratégies tarderont à se mettre en place. C'est sans doute la société et l’industrie qui créeront un nouvel espace pour la politique et bâtiront grâce à des technologies, comme le téléphone portable et l’Internet, un environnement électronique de substitution.

 

Awareness (conscience), télématique et réalité virtuelle


Le débat actuel concernant le concept de la concience (awareness) a été influencé par le développement d’Internet et aussi de la télématique et de la réalité virtuelle (VR).

Cette évolution a motivé l’expérience scientifique et artistique sur des thèmes comme la télé-présence et la perception d’environnements ou de personnes virtuelles ou à distance. C’est ce débat qui est à la base de la compréhension actuelle de l’awareness.

Le développement de la RV est lié à celui de différents domaines comme l’industrie informatique, l’armée, la science-fiction, l’art et la contre-culture.

Le concept de RV naît avec le roman de William Gibson Neuromancer (1984) –l’idée d’entrer dans un univers de données – pour devenir à partir de 1992 une technologie disponible et un thème de discussion pour un plus large public. Dans Neuromancer, nous pouvons constater l’apparition du concept de cyberspace. Le développement simultané de différentes applications des technologies de la RV, montre bien à quel point elle est partie intégrante de notre société actuelle. La RV crée un espace d’illusion de haute définition, une illustration graphique et immersive des données. En 1990, John Perry Barlow publie Being in Nothingness " . Home of the Brain était en 1992 le premier exemple artistique illustrant et thématisant cette technologie.


Les thèmes de l’art télématique reprennent les relations entre proximité et distance, et jouent avec toute forme de téléprésence. Comment est-ce que je vis la présence de quelqu’un, qui, malgré les apparences, ne se trouve pas ici ? Telematic Dreaming est une installation où est exploré le thème de l’awareness en tant qu’espace expérimental de l’utilisateur. Dans un environnement de réalité virtuelle, l’orientation et la navigation posent la base pour un questionnement concernant la représentation d’un espace créé technologiquement ou la perception d’une personne présente virtuellement. Les systèmes de navigation ou de visualisation, tout comme l’interfaçage ont été développés pour explorer l’awareness dans des formes entremêlées de communication et d’interaction. Dans le projet japonais de réalité virtuelle InterDis-communication Machine de Kazuhiko Hachiya, deux spectateurs munis d’un head mounted display, perçoivent la vue et le son de l’autre. Comme dans le film Being John Malkovic , le joueur entre dans un autre corps et parallèlement prend possession aussi de sa perception, pour expérimenter le monde d’une autre perspective.

Les techniques de visualisation utilisées en architecture, dans la recherche scientifique et artistique, ont marqué l’état actuel des nouveaux médias. L’arrière-fond scientifique du développement est donné par la philosophie cybernétique dont les principaux protagonistes sont Norbert Wiener, Heinz von Foerster, Gregory Bateson, Ernst von Glaserfeld et d’autres.

D’un côté, il y a aujourd’hui la thèse dé-matérialiste, qui annonce la disparition du corps. De l’autre côté, nous avons parallèlement une vraie compréhension de comment les médias influencent le corps en le redéfinissant continuellement (body shaping). À partir de ces deux positions, en relation avec les recherches scientifiques actuelles, en résulte une troisième, la thèse du génome. Elle consiste à affirmer que des machines de tout genre pourraient prendre la place du corps "quasi naturel " : des machines réelles ou virtuelles, intelligentes, modèles d’apprentissage autonome, qui peuvent piloter notre corps, comme le montre Stelarc dans ses performances.


L’interface, qui crée une médiation entre corps réel et corps technique, au lieu d’illustrer le processus de perception, pour créer une illusion, le rend visible ; met l’utilisateur en situation d’en comprendre le fonctionnement.

De nombreux projets artistiques abordent la confrontation avec des systèmes artificiels ou des machines autonomes qui stimulent de nouvelles formes de conscience par rapport au corps. Depuis 1998, divers projets de Mixed Reality ont été développés, qui introduisent l’espace virtuel à l’intérieur de l’espace réel. Ainsi se génère la conscience des espaces hybrides. Elle résulte d’une superposition de la perception de l’espace réel et du corps propre, avec la perception de l’autre dans un environnement en réseau. Notre performance Murmuring Fields (1998) en est un exemple.

 

De la conquête à la dissolution de l’espace


La notion de Navigation exprime la décision d’entreprendre et maintenir une route. Ce terme dérive du latin “navigare“ qui pourrait être traduit comme "faire de la voile" ou "transborder". Sur Internet ce terme est utilisé avec le même sens. Le déplacement à travers les pages d’un CD ROM, des pages Internet ou à travers des scénario virtuel, doit se faire de manière à garder la vision d’ensemble. Dans la navigation virtuelle on n’a pas à faire avec de l’eau ou à l’Océan, mais avec un espace informatif interactif.

La conquête de l’espace a été le but de la plupart des guerres ou des expéditions scientifiques. Dans un premier temps, la notion d’expédition était synonyme de campagne militaire. Par la suite, il s'agissait d’"un voyage pour acquérir de nouvelles connaissances scientifiques". Le terme provient du XVIs, et il signifiait à peu près, "libérer son propre pied des chaînes". [1]

La notion d’espace s’est modifiée au XX siècle surtout grâce aux moyens de transport et de déplacement.

Après avoir envoyé dans l’espace le télescope spatial Hubble en 1990, la Nasa a dû attendre trois ans et effectuer beaucoup de travaux de réparation pour voir son “œil“ fonctionner. Hubble représente un élargissement de la vue aussi au sens d’un changement des points de repère dû à la visibilité si nette dans l’espace .

Après la conquête de l’espace, de la terre, des personnes et des marchés, il s’agit maintenant de la dissolution de l’espace et de la conquête des marchés virtuels. Le concept de la mise en réseau des ordinateurs signifie rapidité et accélération. Pouvoir et vitesse semblent s’assimiler. Les mots "puissant" (mächtig) et "imposant" (gewaltig) sont apparenté avec l’adjectif allemand du moyen âge " geschwind " (rapide), donc en filiation avec la notion de vitesse. Ainsi on peut comprendre la notion de ‘Vitesse de Libération’ avec laquelle Paul Virilio définit Internet.

 

Le langage des conquérants

Orientation et définition de route sur Internet, à travers des concepts comme "Explorer" et "Navigator" servent surtout au commerce électronique. Sur Internet, la langue des conquérants est sous les yeux de tout le monde, mais elle ne semble effectivement déranger personne. Pouvoir et marché sont des forces reconnues qui se régulent eux-mêmes. Les vieilles métaphores sont restées : Microsoft Explorer, Netscape Navigator sont comme des “leitmotiv“ de cette évolution. Marc Andreesen avait appelé son Netscape Browser d’abord Mosaic, mais ce nom, qui évoquait les différentes constellations du savoir et avait donc une forte pertinence pour le réseau, a vite disparu. De toute évidence, les stratégies du marché avaient besoin d’un Navigator.

Le sémiologue juif Victor Klemperer étudie le pouvoir de la langue. Il l'appelle la langue du troisième Reich : " LTI "[2] : Lingua Tertii Imperi . Dans Mein Kampf de Hitler (1925), Klemperer reconnaît déjà cette langue, qui après 1933 prend possession de tous les domaines de la vie publique et privée. " Les déclarations d’une personne peuvent être mensongères mais dans le style de son langage, son être se trouve dévoilé. " Klemperer met en garde devant le fait de voir dans la langue des Nazis uniquement un style esthétisant et inoffensif. " Si l’on utilise des termes du registre du fanatisme pour exprimer les concepts de “héroïsme“ ou de “vertu“, on finit par croire qu’un fanatique est un héros vertueux et que sans fanatisme on ne peut pas être un héros."

L’expédition comme processus d’apprentissage de soi-même


Les voyages de Marco Polo en Chine – documentés en images - ont inspirés le théologue et pédagogue tchécoslovaque Comenius. Il était lui-même un grand voyageur, et avec son abécédaire " Orbis sensualium pictus " (Le monde visible, 1653) voulait rendre accessible aux enfants le savoir du monde, auquel l’homme participe en nom de Dieu. C’est pour cela que tous les hommes devaient avoir libre accès à une culture. Les méthodes pédagogiques devaient être adaptées au processus d’apprentissage et donc plus proches du jeu que du travail. En 1992, les Telecom allemandes ont lancé le projet " Comenius " pour réaliser dans des écoles en réseau l’idéal de Comenius. Ce qui reste encore à accomplir aujourd’hui….

Les expéditions dans le monde virtuel sont caractérisées par l’absence de corporéité. Pour autant, le corps n’a pas disparu. Avec un avatar dans les chat-room du Palace , je me trouve dans un espace de projection et j’ai un statut semblable à celui d’un invité de talk show. Les rituels de communication sont primitifs et se réduisent à des échanges comme : " salut, tu viens d’où ?"

En août 1997, la chaîne de télévision anglaise Channel 4, invite 100 participants à intervenir à l’émission Heaven and Hell, via Intranet en tant qu’avatar. Chaque intervenant pouvait s’observer sur l’écran sous l’aspect de son avatar propre et en même temps il était vu par de millions de spectateurs. Les invités communiquaient entre eux surtout grâce au choix des couleurs et de la forme de leurs avatars et à travers les textes qui s’affichaient dans une petite bulle sur l’écran, comme dans les bandes dessinées. Au début, les avatars erraient désorientés dans la scénographie et disaient des phrases sans grande importance. "I just saw myself on TV" (je viens de me voir à la télé ) apparaît dans une des bulles d’un avatar. Malgré le “ masque ”, les participants se reconnaissent à l’écran. Sans avoir à renoncer à leur corps physique, ils pénètrent derrière "l’écran-miroir" et saluent désormais leur propre image.

Le concept d’interactivité se limite dans le net et pour la plupart des CD ROMs au choix ou à la sélection des informations. Le concept de navigation pourrait au contraire inventer des mécanismes de mise en relation qui pourraient rendre sensible l’environnement virtuel. Le ZKM, le musée des médias à Karlsruhe, montre dans son exposition permanente quelques exemples, parmi les plus intéressants, d’installations interactives. Tous ces travaux sont documentés dans le CD ROM Media Art History. Chaque installation présentée est à découvrir à l’aide d’un système de navigation complexe, adaptée à l’œuvre présentée. Il n’y a pas de timeline, de ligne du temps, mais un sentiment pour le contexte des machines, installations et concepts artistiques. Beyond Pages de Masaki Fujihata narre l’avenir du livre. Fujihata experimente les limites du livre médiatique en liant l’espace réel et l’espace virtuel de manière simple et joyeuse. Fujihata dit : “I am mostly interested in developing new interfaces. The picture frame is an invention from some hundred years. We can now define another one..." (ce qui m’intéresse surtout, c’est de développer des interfaces nouvelles. Le cadre du tableau est une invention qui date de plusieurs siècles. Maintenant, nous pouvons inventer autre chose…) [3]

 

[1] Kluge, F. (1989) Etymologisches Wörterbuch der deutschen Sprache. Berlin - New York: Walter de Gruyter

[2] Klemperer, V. (1975) Victor Klemperer. LTI. Leipzig: Reclam

[3] Schwarz, H.P (1997) Media - art - history. Prestel Verlag München 1997.


traduit de l'allemand par Susanna Lotz,
ce texte paraîtra dans Anomalie digital_arts n.3 INTERFACE THEORY en avril 2002