Le geste comme passeur d’intermédialité

Fig. 2 : Dessin sur instruments par accompagnement et particules dans La Caverne de Platon (BARBIER et al. : 2019). ©John Fu
Fig. 2 : Dessin sur instruments par accompagnement et particules dans La Caverne de Platon (BARBIER et al. : 2019). ©John Fu

Résumé

L’art visuel prend place dans le monde du spectacle vivant par le biais de pratiques performatives. Le numérique, par ses facultés d’amplification et de transformation d’un tracé graphique, nous a conduit à développer une pratique de crayon électrique, qui reprend un instrument graphique traditionnel pour l’augmenter visuellement, par analogie avec la guitare électrique, qui est une augmentation sonore de la guitare acoustique. Utilisant ce média dans des spectacles mêlant dessin performatif et musique ou danse, nous avons exploré diverses formes de transmédialité entre cette forme de graphisme vivant et les deux disciplines du spectacle vivant où le geste est source d’expression. Cet article présente cinq types de transferts intermédias entre ces disciplines pour lesquelles le mouvement apparaît comme moteur, mais selon des modalités physiques ou cognitives variées. Nous espérons ainsi remettre l’expérience physique et cognitive du mouvement au cœur de la convergence performative de pratiques artistiques dont il est la source.

Mots-clés : spectacle vivant, transmédialité, geste, augmentation numérique, crayon électrique, dessin performatif.

Abstract

Visual art enters the realm of live performance through performative practices. The digital by its faculties of amplification and transformation of a graphic stroke, led us to develop a practice of electric pencil. The electric pencil is the modification of a traditional graphic instrument (the pencil) for its visual augmentation by analogy with the electric guitar which is a sonic augmentation of the acoustic guitar. Using this medium in shows combining performative drawing and music or dance, we explored various forms of transmediality between such a live graphic expression and two disciplines of live performance in which gesture is a source of expression. This article presents five types of intermedia transfer between live drawing and these disciplines for which movement appears as a driving force, but according to various physical and/or cognitive modalities. We thus give a central role to the physical and cognitive experience of movement in the performative convergence of artistic practices based on it.

Keywords : live performance, transmediality, gesture, digital augmentation, electric pencil, performative drawing.

Le geste comme passeur d’intermédialité

Gesture as a go-between for intermediality

Du point à la ligne. Le point n’est pas sans dimension mais un élément de surface infinitésimal, un agent effectuant un mouvement nul, c’est-à-dire au repos. Le mouvement est égal à zéro, il se repose. La mobilité est la condition du changement. Certaines choses ont un mouvement primordial. Le point est cosmique, un élément primordial. Les choses sur terre sont bloquées dans leur mouvement, elles ont besoin d’une impulsion. Le mouvement primordial, l’agent, est un point qui se met en mouvement (la genèse d’une forme). Une ligne prend vie. La ligne la plus énergique est la plus authentique, parce que la plus active.
Dans tous ces exemples, la ligne principale et active se développe librement. Elle va se promener, pour ainsi dire, sans but, pour le plaisir de se promener1.

Paul Klee, Notebooks, vol. I : The Thinking Eye.

Performativité du dessin

Le dessin comme la peinture ou la sculpture sont des arts visuels, pour lesquels l’œuvre est le résultat final, sorte de cumul d’actions physiques réalisées sur un médium (toile, papier, pierre, bois, etc.), durant leur fabrication au moyen d’un outil (pinceau, crayon, burin, ponceuse, etc.). Les processus de réalisation de l’objet artistique ne sont pas nécessairement cachés, mais ils relèvent plus souvent de la documentation, comme une vidéo que l’on trouvera en fin de parcours d’exposition, que de l’objet donné à voir en exposition. Les actes ayant contribué à la réalisation sont trop inextricablement intriqués pour qu’ils soient lisibles dans le résultat. Ils sont généralement effacés ou masqués plutôt que mis en avant. On parle de repentir, d’esquisse préalable, de construction géométrique… et non de performance. L’objectif de cet article est de présenter une pratique vivante du dessin et de montrer comment elle ouvre à des convergences que nous qualifions de transmédiales avec d’autres disciplines du spectacle vivant, où le geste est le support de ces croisements.

Un des rares témoignages historiques de la performativité du dessin est l’emblématique film de Georges Clouzot, intitulé Le Mystère Picasso (CLOUZOT : 1956), dont l’objet est de montrer l’artiste à l’œuvre. S’il y a possibilité d’entrer dans le mystère de la création artistique, ce serait donc en rendant visible, par le film, les processus de création dans leur dynamique. Perspective inversée, le résultat visuel final est certes montré, mais très rapidement et comme point d’arrêt, comme instant où la poursuite de la construction ne fait plus sens, où le présent devient futur. Dans ce film, l’œuvre véritable est le processus de création graphique par structuration, séparation, cumul… Assis, en tee-shirt, voire torse nu, par une soirée qu’on pourrait imaginer estivale, Pablo Picasso déploie un geste qui, souvent, prime sur son trait. Celui-ci prend racine dans le torse et l’épaule, se développe le long du bras pour s’exprimer au bout de l’instrument par la dextérité de la main. On s’attendait à comprendre la magie des traits cumulés qui construisent l’assemblage final et l’on comprend que le plus important est ce corps, ce geste, cette danse qui construisent l’œuvre, rituel complexe fait de flacons qu’on débouche, de pigments qu’on dissout, d’outils qu’on manipule et, surtout, d’une gestuelle calculée, performée, scénarisée. Mais du geste à l’impression visible par transparence sur le papier tendu, il y a l’instant de retard dû au temps de percolation du solvant à travers le papier. Instant qui ajoute au temps suspendu du geste imprévisible mais supposé la magie de la chimie des pigments et des essences.

Comme l’écrit Paul Klee dans la citation introductrice, c’est par le mouvement primordial que le point fait ligne et qu’il part pour une marche. Une danse, dirions-nous.

Deuxième exemple : Trisha Brown, dans sa performance dansée It’s a Draw/Live Feed (BROWN : 2003), fait le chemin inverse. Sur une feuille de papier posée au sol, elle réalise une performance dansée où elle manipule, avec ses pieds et ses mains, des bâtons de peinture qu’elle roule ou presse au sol et qui construisent progressivement une peinture de traces de gestes. La création graphique finale, résultant du cumul des empreintes sur la feuille, même si elle est exposée pour elle-même, est secondaire. La capture vidéo de la performance prime, elle est l’œuvre. Fait intéressant pour une danseuse dont le « métier » est la maîtrise du geste et son accomplissement contrôlé, Trisha Brown dans sa performance semble rechercher la limite du geste, son point de rupture, sa perte de contrôle, ce qui serait l’échec d’un geste dansé, accompli professionnellement. À plusieurs reprises dans la performance, Trisha Brown étend un geste au-delà de sa zone de contrôle physique pour en explorer le décrochage. À l’inverse du toréador Pablo Picasso, qui plante ses banderilles graphiques avec précision et engagement physique contrôlé, la danse graphique de Trisha Brown explore les limbes du mouvement humain, où l’inconscient révélerait le lapsus gestuel et où la mémoire ferait bifurquer vers l’inattendu cicatriciel.

En termes de catégories artistiques, on a donc, en commun avec ces deux exemples transgressifs, un pont naturel entre le spectacle vivant et les arts graphiques dont l’armature est le geste. C’est ce que nous souhaitons exposer plus en détail dans cet article, en présentant notre pratique de dessin performatif augmenté pour le spectacle vivant et en analysant les dimensions physiques et techniques de cette pratique. Nous insisterons en particulier sur la possibilité de relier une expression graphique à une expression sonore ou dansée dans une performance collective, au moyen d’exemples de transmédialité pris dans des spectacles avec dessin performatif.

Le crayon électrique

Le dessin n’est pas performatif par nature, mais il existe des formes de spectacles où des dessins sont réalisés en direct et en public. Les dessins sont alors utilisés comme formes de commentaires sur ce qui se passe simultanément, tels les dessins satiriques ou humoristiques réalisés pendant des émissions de télévision, ou des formes de synthèse au cours d’une discussion ou d’un échange, qui pourront même servir de documents de travail ultérieurs. Ces modes de monstration du dessin vivant sont des formes de discours sur un événement et sont assez différentes de notre intérêt qui porte sur l’utilisation du dessin dans le cadre du spectacle vivant. Pour cela, il est nécessaire d’augmenter la visibilité du dessin à l’échelle d’une scène, afin de lui conférer une dimension spectaculaire. Nous allons voir comment l’adjonction technologique permet de créer un nouvel instrument de dessin électr(on)ique. Mais, auparavant, examinons rapidement la métamorphose électrique de la guitare au début du XXe siècle.

Le développement de la guitare électrique coïncide avec la diffusion de l’électricité et l’émergence de formes artistiques favorables au passage de l’instrument acoustique à l’électrique. Outre ces conditions sociales et culturelles, l’économie de la culture de masse et l’intérêt pour la diffusion de spectacles dans des grandes salles ont également soutenu son adoption par les artistes et le public. Rebecca McSwain indique également (McSWAIN : 1995) qu’un atout pour le développement de la guitare électrique était de permettre simultanément augmentation et remédiation. « The conflict, possibly endemic in all cultures, between old and new values involves the effort to integrate traditional ways of constructing reality with changing circumstances. The electric guitar, with its links to the past and its ability to use modern technologies, is a potent vehicle for resolving this tension2. » En effet, la technologie, si elle a permis à de nombreuses formes artistiques contemporaines d’émerger (comme l’art en réseau, la réalité virtuelle ou l’art numérique), n’en a pas pour autant créé une rupture avec des formes artistiques traditionnelles. Comme le montrent Jay Bolter et Richard Grusin, ces nouvelles formes artistiques, à défaut de rompre avec les pratiques antérieures, ont plutôt tendance à les remédier, à reprendre les codes culturels et esthétiques de médias antérieurs (BOLTER, GRUSIN : 1999). Il en a été de même pour la guitare électrique qui, artistiquement, a repris des pratiques antérieures, en particulier celle de la guitare hawaïenne.

Les deux principes qui nous ont guidé dans le développement d’une nouvelle technologie de dessin ont été l’augmentation performative du crayon et sa transmédialité dans l’objectif de rapprocher performance dessinée et performance musicale. À la manière de celle de la guitare, l’électrification du crayon a pour but d’augmenter la taille du public pouvant voir un dessin en train de se faire par l’utilisation conjointe d’une capture (la tablette graphique ou une caméra : équivalentes du microphone), du traitement numérique et de la diffusion (le vidéoprojecteur : équivalent de la diffusion sonore par amplification et haut-parleurs). La capture par caméra d’un dessin physique et sa vidéoprojection sur écran fait passer de l’expérience intimiste d’une poignée de personnes, pouvant regarder par-dessus l’épaule de l’artiste, à l’expérience de masse d’une salle de spectacle pouvant voir sur écran le dessin. Cette forme de diffusion connaît une certaine popularité dans les concerts dessinés (comme ceux de Rodolphe Burger [BURGER et al. : 2009]). Le tracé peut également se faire sur verre transparent, donc de manière proche de la technique du film de Clouzot, avec de la peinture (LE MENS : 2017), du ruban adhésif (IGNACIO : 2019), du sable (YAHAV : 2020), etc. Notre recherche artistique poursuit cependant un objectif différent du concert dessiné, dans la mesure où nous insistons sur la réactivité du dessin spectaculaire et sur sa possibilité d’accord et de partage instantané avec d’autres médias présents sur scène.

La capture par caméra d’un tracé physique est plus proche d’une vision du médium traditionnel, la seule différence existant en termes d’échelle. Le médium n’en est pas transformé et il est de même nature que les concerts dessinés. On peut aussi utiliser la surface de dessin pour d’autres activités graphiques, qui, elles, sont par nature performatives, comme la manipulation d’objets ou de papiers découpés, le tracé dans du sable, que l’on peut facilement effacer ou transformer… La présence de l’artiste est manifeste, puisqu’on en voit la main qui trace ou qui manipule. Si le médium est transparent, on peut aussi voir le visage ou le corps superposé de l’artiste.

En contrepartie d’une vision par caméra, la capture par tablette graphique masque l’artiste et donne au trait une présence plus autonome. Le fait qu’il s’agisse d’une capture électronique autorise des modes de tracés que le trait sur papier des concerts dessinés, capté par caméra, ne permet pas : un effet d’évanescence ou de palimpseste avec un trait qui disparaît avec le temps ; un enregistrement du trait qui, combiné à l’évanescence, donne des tracés répétés en boucle (comme le jeu instrumental en boucle permis par la capture électronique du son) ; une modulation du trait dans sa taille, sa couleur, voire sa distorsion spatiale. La capture sur tablette enregistre position, pression et orientation du stylet, et ce de façon très précise. Elle est donc capture du mouvement. Contrairement à la caméra, elle n’enregistre pas le résultat visuel d’un tracé. Le graphisme qui résulte d’un geste sur une tablette est une reconstruction numérique virtuelle. C’est une fabrication de pixels mimant l’interaction d’un stylet avec un support dans le monde réel, mais sans aucune contrainte physique naturelle. D’autres formes de capture en 3D, comme la Tilt Brush, un capteur de mouvement à 6 degrés de liberté, associé à un casque de réalité virtuelle également suivi avec 6 degrés de liberté, permettent un tracé en volume (donc une sculpture plutôt qu’une peinture). La Tilt Brush offre également une reconstruction très libre du tracé, puisque c’est uniquement une capture de gestes qui est réalisée comme dans les œuvres d’Anna Zhilyaeva (ZHILYAEVA : 2019). Une palette permet de choisir les paramètres du pinceau 3D, comme la couleur, la structure des traits, leur épaisseur, etc., mais aucune contrainte physique ne vient contrôler le geste.

Pour la spectatrice ou le spectateur, la capture par support électronique comme une tablette (moins avec une Tilt Brush) oblige à reconstruire le mouvement mentalement, alors que, dans la capture par caméra, la visibilité de la main objective le mouvement comme composante du tracé.

Les rendus numériques de tracés, captés par caméra ou par tablette, ont cependant ceci en commun d’être, in fine, des pixels dans une grille. Une fois rendus numériquement, ces deux médias peuvent ainsi faire l’objet des mêmes post-traitements, indépendamment de leur nature, ce que nous appellerons des « effets numériques » (taille, percolation, évanescence, saturation, rémanence, etc.), dont les équivalents, dans la guitare électrique, sont les pédales d’effets (saturation, chorus, réverbération, etc.). Ces effets sont ensuite mixés, éventuellement combinés à d’autres sources visuelles, comme des photos ou des vidéos, afin de produire le résultat visuel final. Ces traitements numériques, associés avec la projection du dessin sur la scène, en superposition avec les performeurs, leurs instruments ou d’autres éléments scénographiques, augmentent la présence scénique du dessin et rendent visibles ses interactions avec les autres formes artistiques vivantes (danse, musique, théâtre).

Le dessin électrique est, avant tout, un art performatif. Contrairement aux concerts dessinés, proches du dessin traditionnel, où l’on montre sur scène le dessin en train de se faire, le crayon électrique n’a pas pour objectif de faire un dessin cumulatif. Il transforme le tracé instantané en forme artistique hybride, mêlant trait vivant et éphémère, effets visuels contrôlés par le son, boucles graphiques par enregistrement et rejeu, lumière et décor, et augmentation du monde physique par superposition visuelle du tracé aux éléments scéniques. Même si l’on peut photographier des instantanés de dessin électrique, la meilleure restitution en est une capture vidéo en raison de sa performativité. Comme la danse, le dessin électrique est un instantané du geste, dont la trace visuelle versatile est une mémoire éphémère.

Transmédialité

En plus de l’augmentation, l’autre atout de la musique amplifiée (ou pas) sur scène est le fait de jouer ensemble. Naturellement, des musicien.ne.s coprésent.e.s sur une scène s’écoutent et accordent leur jeu à celui des autres. En plus de cet accord harmonique, la perception du rythme de la musique induit chez l’auditrice.teur des mouvements oscillatoires dont la fréquence est une combinaison entre le rythme perçu et le système moteur personnel (PECKEL, POZZO, BIGAND : 2014).

En tant que dessinateur pendant des spectacles musicaux, que ce soit comme spectateur dessinant sur mes genoux dans le noir ou comme performeur sur scène dessinant sur papier et, plus encore, sur tablette, je suis réceptif aux rythmes des musiciens. Dans deux des spectacles auxquels je suis associé, la musique est essentiellement rythmique : à ce titre, ceux-ci constituent de bons laboratoires d’expérimentation et d’analyse de la transmédialité rythmique son-image. Dans le cas d’une forme artistique mêlant plusieurs disciplines, la transmédialité est la possibilité qu’une expression artistique en influence une autre, comme la musique peut le faire sur la danse, dans le cadre d’un spectacle mêlant danse et musique. Dans les deux exemples suivants, mêlant musique rythmique et dessin électrique, je m’intéresse en détail à l’impact du rythme musical sur l’expression graphique performative.

Transe

Le spectacle La Caverne de Platon (BARBIER et al. : 2019) est une collaboration avec le duo Phase (les percussionnistes Cédric Barbier et Benjamin Soistier), dans laquelle je suis présent sur scène et où la vidéoprojection est frontale et rasante. Dans la première partie de ce spectacle, les deux musiciens sont assis sur scène, dos au public, et jouent des percussions, soit en frappant directement sur le sol, soit en frappant sur un gong tam-tam allongé devant eux. Je dessine sur tablette un trait noir sur fond blanc. La taille du trait et l’effet de diffusion sur le fond d’image croissent avec l’amplitude sonore. La vidéoprojection montre leurs ombres portées sur le fond de scène et y superpose le trait sur tablette, initialement fin, peu évanescent et peu diffus, pour devenir, dans un crescendo sonore et graphique, de plus en plus épais, éphémère et diffusant.

J’agis là comme résonateur de leur rythme. Initialement, le trait est fin et « sautillant », pour prendre progressivement de l’amplitude sous forme de paraphes plus amples et se terminer en mouvements mécaniques cherchant toujours à s’accorder avec le jeu : cercles, hachures, oscillations amples, répétitives et systématiques (fig. 1). Je me trouve sous une triple influence : le rythme des musiciens et de leur gestuelle, que je perçois clairement ; la perception visuelle du trait vidéoprojeté comme sa finesse, sa diffusion et sa durée d’évanescence ; et mes propres limites et capacités physiques, comme souligné dans l’article de Mathieu Peckel (PECKEL, POZZO, BIGAND : 2014). Comme on le voit dans cet exemple, il y a une sorte de renforcement transmédia, dans ma perception et mon jeu, entre ce que je perçois auditivement et visuellement du jeu des musiciens et ce que je perçois de l’augmentation visuelle numérique de mon propre trait, dont la percolation, la durée et la taille sont contrôlées par l’amplitude musicale.

Cette forme artistique, où l’expression est guidée par un rythme musical et où le dessin est réalisé de façon semi-consciente et sans but explicite, relève d’une forme de transe. J’avais déjà été sensibilisé au pouvoir d’une musique rythmique répétitive dans un spectacle réalisé sur de la musique stambeli. Cette musique tunisienne est issue du culte bori pratiqué par les Haoussas et a été importée d’Afrique subsaharienne par des esclaves, des migrants ou des commerçants au XVIIIe siècle. C’est une musique de thérapie destinée à provoquer, chez les participants, des états de transe et, ainsi, chasser les mauvais démons des esprits des possédé.e.s. Elle peut donc induire des états psychologiques semi-conscients et influencer les rythmes physiologiques. Farah Bahri et moi-même avions développé une réceptivité à ces rythmes que nous utilisions pour produire des formes graphiques répétitives, entrelacées et guidées par la musique (Lights and Resonances of Stambeli [BAHRI et al. : 2018]).

Dessin sur instruments par accompagnement et particules dans La Caverne de Platon (BARBIER et al. : 2019). ©John Fu
Fig. 1 : Les trois degrés de transe graphique dans La Caverne de Platon (BARBIER et al. : 2019). ©Émilie Brouchon

Accompagnement

Dans une autre partie de La Caverne de Platon, les deux percussionnistes jouent un morceau composé sur vibraphone et marimba, et un gong tam-tam est visible derrière et entre eux. La vidéoprojection, toujours frontale, est faite de traits de couleur, dont la position est alignée sur celle des tubes des claviers de percussion ou sur le disque du gong. Au cours de ce morceau, je construis sept boucles de séquences répétées de traits graphiques colorés et évanescents. Chaque séquence de traits est alignée sur les tubes ou le fronton d’un clavier ou sur une des couronnes du gong (fig. 2). Ces boucles sont construites en suivant le rythme du morceau et se poursuivent répétitivement.

Fig. 2 : Dessin sur instruments par accompagnement et particules dans La Caverne de Platon (BARBIER et al. : 2019). ©John Fu

Contrairement à mon écoute « automatique » du rythme de la première partie de ce spectacle, décrit au point précédent et qui relevait d’une résonance physique, mon écoute dans cette partie-là est consciente et contrôlée pour essayer d’aligner le mieux possible le rythme de mes traits à celui de la musique. À la fin de ce morceau, je guide par le trait une nuée de particules qui suit la trajectoire de mon crayon sur la tablette (et dont le public ne perçoit pas la trajectoire). Mes mouvements de conduite des particules sont alors plus proches d’une résonance personnelle à la mélodie, mais à un rythme beaucoup plus lent et qui relève de l’accompagnement gestuel non informationnel d’un chef d’orchestre, une respiration empathique en fonction du volume et de l’expressivité de la musique (MARRIN, PICARD : 1998). Contrairement aux mouvements de la première partie, où j’ai une position corporelle assez figée et focalisée sur les gestes des bras et des mains, dans cette dernière partie, le geste lent des bras et des mains est accompagné de celui du torse.

Dans la mesure où mon tracé des sept boucles graphiques suit le rythme du morceau joué par les percussionnistes, l’on peut considérer que la partie musicale joue le rôle d’un accompagnement pour mon expression graphique. Dans une telle disposition, mon dessin, contrairement au cas de la transe, reste sous contrôle et relève d’une forme d’interprétation plutôt que d’improvisation. Je répète à chaque spectacle des tracés similaires, avec les mêmes repères musicaux, pour le calage de ma partition graphique.

Miroir

Le projet Pierres (PERRIN et al. : 2021), inspiré du livre de Roger Caillois La Lecture des pierres (CAILLOIS : 2014), est un concert de percussions augmentées numériquement avec Camille Émaille, aux percussions, et Nicolas Perrin, à la conception musicale et au live électronique. Dans ce spectacle, le rendu graphique est projeté au sol sur un paysage de pierres réparties en zones de jeu pour la percussionniste. Dans une des scènes, intitulée « La meuleuse », la percussionniste frotte une grande pierre plane avec une petite pierre ronde qu’elle tient à deux mains, dans un geste circulaire de plus en plus ample et sonore, et dans un rythme croissant. Dans cette scène, le tracé vidéoprojeté est un trait de plus en plus large et structuré qui suit, le plus exactement possible, le geste de la musicienne (fig. 3). L’objectif de cette synchronisation spatio-temporelle est de faire percevoir au public les deux gestes comme issus de la même source, le mouvement de la musicienne, puisque je suis dans l’ombre et hors du champ de vision du public. Cette synchronisation est renforcée par l’augmentation électronique du son, qui lui donne un rendu de pierre de meule très cohérent tant avec le mouvement circulaire répété de la musicienne qu’avec le rendu graphique texturé sur la pierre poreuse.

Dans le cas de l’accompagnement, le contrôle du rythme du dessin par la musique et l’absence de coïncidence spatiale entre le trait et les gestes des musiciens donnaient la préséance à la musique. Au contraire, dans le cas présent, il n’y a pas perception d’un contrôle ou d’une préséance, mais d’un alignement spatial de la position de la main avec celle du crayon, et, par conséquent, perception d’un alignement temporel des gestes musicaux et graphiques. On est donc dans un effet de miroir ou de fusion entre les deux gestes. Cette cohérence fait associer le déplacement de la petite pierre ronde au trait et, ainsi, identifier le tracé graphique sur la pierre plane à une trace visuelle de la petite pierre déplacée. Cette forme miroir relève également de ce que l’on appelle « augmentation » dans le monde numérique, c’est-à-dire la superposition d’une information numérique généralement visuelle à un objet physique. Pour que cette augmentation soit « crédible », il est nécessaire qu’elle soit bien calibrée spatialement et temporellement et donc que le modèle virtuel (ici le crayon numérique) soit constamment aligné avec le modèle physique (ici le point de contact entre la pierre ronde et la pierre plate).

L’alignement est évidemment un leurre dans le cas du numérique, puisque la position du crayon physique sur la tablette est distincte de celle de la pierre. L’alignement perçu n’a lieu que par l’intermédiaire du dispositif de capture et de restitution numérique, avec un décalage dû tant à mon imperfection du suivi qu’au système numérique (sur le plan temporel). C’est parce que le geste musical est régulier et répétitif qu’il m’est possible de réaliser manuellement un alignement crédible malgré ces imperfections systémiques. Celui-ci repose principalement sur ma vision du geste de la percussionniste et sur ma capacité motrice à anticiper ses positions et à suivre son rythme.

Fig. 3 : Croissance et colocalisation du trait par miroir dans « La meuleuse » du spectacle Pierres
(PERRIN et al. : 2021). ©Lola Ajima

Dialogue

Les trois exemples précédents ont présenté trois formes de transmédialité son-image : transe, accompagnement et miroir. Dans les formes de transe ou d’accompagnement, c’est le son qui guide mes gestes graphiques, même si je ne peux faire abstraction de la gestuelle bien visible des percussionnistes. On a donc prééminence du couplage son-gestes graphiques sur le couplage gestes sonores-gestes graphiques. À l’inverse, le second couplage l’emporte sur le premier, voire l’annule dans la forme miroir. On a donc là un exemple inattendu où, malgré une forme artistique audiovisuelle, le geste prime et où le son et l’image sont secondaires dans la transmission d’informations transmédiales. Par un dispositif miroir, il est ainsi possible de relier les expressions artistiques sonores et visuelles aux gestes qui les produisent.

Dans le cas de la danse, où le geste est l’objet de la forme artistique, s’il y a transmédialité entre la danse et d’autres formes artistiques, le geste prime naturellement comme source du couplage transmédia. La dernière partie du spectacle Araknit (AJIMA et al. : 2021) (Lola Ajima : live électronique et violoncelle ; et Annika Kompart : danse et chorégraphie) est un duo entre la danseuse et un tracé de crayon numérique projeté sur le sol et en fond d’écran, accompagné d’un jeu live au violoncelle. La danseuse et le trait graphique interagissent tour à tour, selon des modalités qui relèvent d’une forme de dialogue : soit la danseuse cherche à suivre le trait et à accorder son mouvement sur les déplacements de celui-ci, soit le crayon vient soutenir les traces gestuelles de la danseuse, soit, au contraire, les gestes de la danse et du crayon sont en opposition, en contradiction. Il s’y ajoute une dimension lumineuse, puisque le trait couvre fréquemment le corps de la danseuse et peut en souligner des postures, intentionnellement ou fortuitement (fig. 4). Cette forme dialogue est proche de la forme miroir, avec une liberté plus grande, puisqu’il y a intentionnellement alternance de suivis précis et de temps d’éloignement, à la manière d’un duo dansé. La transmédialité par dialogue a aussi à voir avec une forme de transe, en raison d’une alternance de contrôles et de lâchers-prise ; lors de ces derniers, certains gestes graphiques peuvent relever du suivi subconscient du geste dansé, sans rechercher un alignement spatio-temporel précis.

Performativité essentielle

L’outillage numérique du crayon électrique possède ses avantages, puisqu’il permet de projeter un trait bien au-delà des contraintes physiques du geste humain et d’offrir ainsi au public une extension du dessin à l’échelle de l’espace scénique. Mais il y a toujours le risque, en projetant de l’image sur scène, de détourner l’attention des spectateurs vers ce média trop prégnant et, conséquemment, de détruire la « magie » du spectacle. Pour éviter de donner au dessin une dimension trop spectaculaire, j’ai de moins en moins recours à des écrans sur scène. Quittant l’écran, l’image perd sa fonction dominante, telle que trop souvent vécue dans des lieux urbains saturés d’écrans. Le dessin peut alors jouer, tour à tour ou simultanément, des rôles d’artiste partenaire, de décor ou de lumière, bien mieux adaptés à l’écologie scénique. À la place d’écrans, j’utilise, comme surfaces de projection, le sol, le fond de la salle, le corps des performeuses.eurs, les instruments, voire du graphisme physique mêlé au graphisme numérique, comme dans la performance Völuspá (AJIMA, NAGEMI : 2021) (Lola Ajima : live électronique et violoncelle).

Dans la dernière partie de ce spectacle, je dessine au pinceau puis à la main sur une feuille posée au sol, sur laquelle est projeté un dessin numérique, pendant que la musicienne développe des boucles de plus en plus fortes et réverbérantes avec le violoncelle. Visuellement, il y a mélange entre les pigments physiques et la lumière pixélisée de l’image digitale (fig. 5). Les effets numériques sur le dessin vidéoprojeté sont assombris par le volume sonore. Le geste graphique de dessin au sol, à la main, débarrassé de l’instrument numérique, est très visible pour le public et relève autant de la performance corporelle que du tracé graphique. Ainsi, le dessin « tiré » vers la danse redonne au geste sa fonction performative essentielle, reléguant, au moins pendant son exécution, le graphisme au rang de trace. Dans cette séquence du spectacle, la peinture à la main se termine par une extension du geste au-delà du graphisme, en déchirant la feuille de dessin et en lui conférant une forme spatiale dégagée du plan du sol, dans l’objectif de sculpter une sorte de cratère.

Fig. 4 : Dialogue entre danse et trait vivant dans Araknit (AJIMA et al. : 2021). ©Patrick Tersinet
Fig. 5 : Dessin performatif manuel et numérique dans Völuspá (AJIMA, NAGEMI : 2021). ©Véronique Godé (à droite) et Mélanie Wetter (à gauche)

Transmédialité numérique

Inversement, il est possible d’envisager des formes de transmédialité purement numériques, pour lesquelles l’informatique opère uniquement entre médias artistiques et ignore le geste physique à la source de ces médias3. Pour le graphisme, il n’y a pas de réceptivité « naturelle » à la musique ; pour le jeu musical, il n’y a pas de transcription « naturelle » des éléments graphiques dans la musique et ces liens doivent être réalisés électroniquement de façon arbitraire, en recherchant des associations expressives entre paramètres audio et paramètres graphiques4. Or, une des forces de la numérisation des médias est de permettre la transmédialité : la capacité qu’un médium, tel que le son, puisse en modifier (en transduire) un autre, et ce de façon réciproque. Cette possibilité repose sur l’analyse des caractéristiques d’un médium (ici le son) et l’utilisation de ces informations pour modifier les paramètres de synthèse de l’autre médium (ici le graphisme).

Dans le logiciel Porphyrograph5, qui contrôle le crayon électrique, l’analyse du son est réalisée dans Pure Data6 et produit les paramètres d’enveloppe, une analyse en trois bandes de fréquence et la détection des attaques. L’analyse spectrale a pour fonction essentielle la gestion de la couleur au moyen de palettes tricolores décrivant la teinte (hue) du crayon. L’enveloppe est une sorte de paramètre universel pour modifier les caractéristiques graphiques du crayon et ses effets numériques en fonction du volume sonore. Enfin, l’attaque sert à générer des battements qui déclenchent des transferts graphiques entre les différentes couches du rendu graphique (voir NAGEMI : 2018). L’ajustement des modulations des paramètres graphiques en fonction des paramètres sonores fait l’objet de réglages fins en fonction des rendus graphiques attendus.

Dans cette forme de transmédialité numérique, pour que le public comprenne et perçoive des relations de cause à effet, il est bien de trouver des correspondances entre paramètres qui peuvent avoir des justifications physiques, comme le lien entre une attaque sonore et une diffusion graphique. L’attaque sonore est identifiée à un geste de frappe, comme celui d’une baguette ou d’une mailloche sur un instrument de percussion. La diffusion graphique soudaine est perçue comme la projection d’un objet sur une surface qui « éclabousse » une matière graphique, encre ou peinture, par exemple. Ces deux événements peuvent donc être aisément perçus dans une relation de cause (un geste de frappe sonore) à effet (une éclaboussure graphique).

La transmédialité peut aussi se faire dans le sens inverse, de l’image vers le son, mais nous l’utilisons de façon beaucoup plus rare. D’une part, des zones de l’image graphique peuvent être déclarées sensibles, et leur changement de couleur peut déclencher des rendus sonores ; d’autre part, et cela nous ramène au geste mais dans sa composante numérique, les paramètres cinématiques du tracé sur la tablette – comme vitesse, accélération, courbure – peuvent servir à contrôler des effets sonores comme du filtrage ou du volume.

Conclusion

Le crayon électrique n’est que la projection délocalisée d’un tracé graphique, au même titre que la musique amplifiée capture le son d’un instrument pour le diffuser dans une salle. Cette diffusion graphique amplifiée présente l’avantage de rendre le dessin performatif et spectaculaire. Cependant, le risque de ce changement d’échelle et de point de diffusion est de masquer le geste et de lui donner un rôle subalterne, de décorporaliser l’expression graphique, surtout si l’on accumule effets et reproduction de séquences enregistrées. Quand bien même le geste serait visible, il n’est pas certain que cause et effet soient perceptibles pour le public.

Mais percevoir le geste ne signifie pas nécessairement le voir.

Comme nous l’avons présenté dans cet article, la transmédialité est un moyen pour révéler le geste dans une expression performative collective impliquant plusieurs médias. Mieux, c’est par le geste que la transmédialité prend son sens, lorsqu’elle ne se limite pas à une opération numérique de transfert de paramètres entre médias numérisés (même si la transmédialité numérique offre une palette très large de transferts d’informations entre médias). Nous avons présenté tour à tour cinq formes de transmédialité entre son ou danse et graphisme, qui révèlent en filigrane le geste créateur des médias ainsi liés. Retournons l’argument : n’est-ce pas le geste qui donne son âme à une expression, qu’elle soit visuelle, sonore ou dansée, que ce geste soit sous contrôle, comme celui de Pablo Picasso, ou qu’il trébuche, comme celui de Trisha Brown, au sein d’un univers limbique. S’il en est ainsi, comment envisager une influence entre des artistes produisant des médias de natures différentes, mais débouchant sur une forme d’expression collective, dont le tout est supérieur aux parties, en particulier par la capacité humaine d’intégration multisensorielle, sans placer le geste au cœur de cette réflexion ? C’est ce que nous avons tenté de mettre en évidence dans cette étude.

Remerciements

Je remercie tous les artistes avec lesquel.le.s j’ai collaboré dans les spectacles susmentionnés et sans qui tous ces développements n’auraient pu se réaliser. Un grand merci également aux deux relectrices.teurs de cet article, dont les commentaires m’ont été très précieux pour la réalisation de la version finale.

Notice biographique

Yukao Nagemi est un artiste visuel performatif, utilisant les médias numériques. Il a obtenu un doctorat en informatique à l’université Paris-VII en 1991 et un postdiplôme en animation 3D à l’Ensad de Paris en 2003. Il a principalement montré son travail dans des performances audiovisuelles en collaboration avec des musicien.ne.s, chorégraphes, metteur.e.s en scène et danseuses (Véronique Caye, duo Phase, Émoi sonneur, Annika Kompart, Konpyuta, SoundInitiative…). Depuis 2009, avec Lola Ajima (voix, violoncelle, composition électroacoustique, son numérique live), ils forment le duo audiovisuel Lola et Yukao Meet, et ont présenté leur travail dans de nombreux festivals européens.

Site Internet de l’artiste : https://yukaonagemi.com

  1. Traduction de l’auteur.
  2. « Le conflit, peut-être endémique dans toutes les cultures, entre les anciennes et les nouvelles valeurs implique l’effort d’intégrer les modes traditionnels de construction de la réalité aux circonstances changeantes. La guitare électrique, avec ses liens avec le passé et sa capacité à utiliser les technologies modernes, est un puissant vecteur de résolution de cette tension. » (Traduction de l’auteur.)
  3. On pourrait également l’envisager pour l’artiste graphique, en l’empêchant de voir les autres performeuses.eurs sur scène et ainsi en n’étant pas influencé par leur gestuelle ; je ne l’ai pas expérimenté. Je souhaite ici souligner le pouvoir de transmédialité du numérique, qui me semble être un atout important et sous-utilisé de ce médium.
  4. Je ne développerai pas ici l’expérience synesthésique qui est de l’ordre de l’intime. Singulière à chacun et à chacune ayant cette capacité cognitive, la synesthésie n’a donc pas à voir avec le spectacle vivant, qui est une expérience collective. La transmédialité vécue par les performeuses.eurs et le public dans le cadre d’un spectacle repose sur des facultés cognitives plus universelles d’intégration multisensorielle, où se mêlent stimuli sensoriels transmodaux, réels ou imaginés (BERGER, EHRSSON : 2017). C’est à ce type de perception que nous nous adressons en nous intéressant à la notion de transmédialité.
  5. Voir : https://github.com/yukao/Porphyrograph
  6. Voir : https://puredata.info/

Bibliographie

Ouvrages et articles

  • BERGER, EHRSSON : 2017. Christopher C. Berger and H. Henrik Ehrsson, « The Content of Imagined Sounds Changes Visual Motion Perception in the Cross-Bounce Illusion », Sci. Rep., vol. 7, 40123, 2017, p. 2045-2322.
  • BOLTER, GRUSIN : 1999. Jay David Bolter and Richard Grusin, Remediation: Understanding New Media, Cambridge, MIT Press, 1999.
  • CAILLOIS : 2014. Roger Caillois, La Lecture des pierres, Paris, Xavier Barral, 2014.
  • LE MENS : 2017. Magali Le Mens, « Du mouvement au tracé. Un entretien avec Lætitia Legros », dans Sarah Burkhalter et Laurence Schmidlin (dir.), Spacescapes. Danse & dessin depuis 1962, Dijon, Presses du réel / JRP Ringier, 2017.
  • MARRIN, PICARD : 1998. Teresa Marrin and Rosalind Picard, « Analysis of Affective Musical Expression With the Conductor’s Jacket », XII Colloquium for Musical Informatics, 1998, p. 61-64.
  • McSWAIN : 1995. Rebecca McSwain, « The power of the electric guitar », Popular Music and Society, vol. 19, no 4, 1995, p. 21-40.
  • NAGEMI : 2018. Yukao Nagemi, « Porphyrograph — the “electric” pen », Conférence Technarte, Bilbao, 2018. [En ligne] : https://tinyurl.com/yckntbrj (consulté le 16 janvier 2022)
  • PECKEL, POZZO, BIGAND : 2014. Mathieu Peckel, Thierry Pozzo and Emmanuel Bigand, « The Impact of the Perception of Rhythmic Music on Self-Paced Oscillatory Movements », Front. Psychol., 5, 1037, 2014, p. 1-16.
  • YAHAV : 2020. Ilana Yahav, « A Life Story Written in the Sand », 2020. [En ligne] : https://www.sandfantasy.com/about (consulté le 16 janvier 2022)

Film

  • CLOUZOT : 1956. Georges Clouzot, Le Mystère Picasso, Gaumont, 1956.

Spectacles et performances

  • AJIMA et al. : 2021. Lola Ajima et al., AraKnit, spectacle avec Lola Ajima : live électronique et violoncelle, Annika KompArt : danse et chorégraphie, Yukao Nagemi : dessin performatif et vidéo, 2021. Voir : https://is.gd/OeVlHv (consulté le 16 janvier 2022)
  • AJIMA, NAGEMI : 2018. Lola Ajima et Yukao Nagemi, Völuspá, spectacle avec Lola Ajima : live électronique et violoncelle, Yukao Nagemi : dessin performatif, 2018. Voir : https://is.gd/Z1dGK0 (consulté le 16 janvier 2022)
  • BAHRI et al. : 2018. Farah Bahri et al., Lights and Resonances of Stambeli, an African Trance Music, spectacle avec Salah el Ouergli et Slim Molki : musique stambeli, Farah Bahri et Yuako Nagemi : dessin performatif, 2018. Voir : https://is.gd/v5uCiY (consulté le 16 janvier 2022)
  • BARBIER et al. : 2019. Cédric Barbier et al., La Caverne de Platon, spectacle avec le duo Phase (Cédric Barbier et Benjamin Soistier) : percussions, musique numérique et composition, Yukao Nagemi : dessin performatif numérique, 2019. Voir : https://vimeo.com/402666032 (consulté le 16 janvier 2022)
  • BROWN : 2003. Trisha Brown, It’s a Draw/Live Feed, performance au Walker Art Center, New York, 2003. Voir : https://youtu.be/U7DQVW6qRq8 (consulté le 16 janvier 2022)
  • BURGER et al. : 2009. Rodolphe Burger et al., Concert dessiné au Festival international de la bande dessinée, Angoulême, 2009. Voir : https://youtu.be/A2k-HTkKaAA (consulté le 16 janvier 2022)
  • IGNACIO : 2019. Jacoba Ignacio, Passager, spectacle présenté au Sonic Drawing 2019, 100ECS, Paris, 2019. Voir : https://lolaandyukaomeet.com/media/Sonic_Drawing_2019.html (consulté le 16 janvier 2022)
  • PERRIN et al. : 2021. Nicolas Perrin et al., Pierres, spectacle avec Camille Émaille : percussions, Nicolas Perrin : conception musicale et live électronique, Yukao Nagemi : dessin performatif numérique, compagnie l’Émoi Sonneur : production, 2021. Voir : https://www.lemoisonneur.org/pierres (consulté le 16 janvier 2022)
  • ZHILYAEVA : 2019. Anna Zhilyaeva, « Virtual Reality Painting: Chatting with Summer’s Elf », 2019. Voir : https://youtu.be/DunWmzd8kXU (consulté le 16 janvier 2022)