CoMo, ce tiny model qui génère des sons par le mouvement

Dans cette nouvelle série, HACNUMédia vous invite à explorer les outils qui façonnent les pratiques de la création numérique. Pas seulement les plus visibles, mais aussi ceux qui circulent en marge des grandes tendances. Ici, on s’intéresse à CoMo : un environnement web développé à l’IRCAM qui utilise de petits modèles d’apprentissage machine pour associer des gestes à des sons. Techniquement, c’est de l’IA. Dans les faits, ça n’a presque rien à voir avec ce qu’on entend sous ce terme aujourd’hui.

Dans le prolongement de notre article sur les tiny models et les alternatives écologiques à l’IA générative, CoMo illustre une autre manière de faire : sobre, corporelle, collective. Développé depuis près de dix ans par l’équipe ISMM de l’IRCAM, l’outil reste encore confidentiel, connu surtout dans les cercles de la recherche musicale et de la création sonore expérimentale. 

À quoi ça sert : jouer des sons par le mouvement

« Co », pour le collectif. « Mo », pour le mouvement. Deux mots qui résument ce que CoMo cherche à faire : permettre à un groupe de personnes de jouer ensemble avec des sons, en bougeant. « L’idée principale, c’était de faire les choses de manière collective. Que ce soit pas juste une interface avec une personne, mais un groupe de personnes qui puissent interagir« , explique Frédéric Bevilacqua, directeur de recherche à l’IRCAM et responsable de l’équipe ISMM (Interaction Son Musique Mouvement).

Cette réflexion sur le geste comme interface sonore ne date pas d’hier : l’équipe ISMM travaille sur le contrôle gestuel du son depuis le milieu des années 2000. CoMo, dont les premières versions remontent à 2017, s’inscrit dans cette lignée. L’outil est accessible directement via un navigateur web, sans installation, open source. Pour le capteur de mouvement, pas besoin de matériel spécialisé : un smartphone suffit. Pas pour son écran (qu’on détourne délibérément de son usage habituel) mais pour les accéléromètres et gyroscopes qu’il embarque. Les différentes déclinaisons de l’application, développées principalement par Benjamin Matuszewski (CoMo Elements, CoMo Vox, CoMo.Education, ou encore CoMo Rehabilitation) partagent le même moteur : ce sont des interfaces adaptées à des contextes d’usage différents.

La singularité : interagir avec son corps, pas avec des prompts

CoMo utilise des techniques d’apprentissage machine. Mais dire que c’est « de l’IA », en 2026, c’est presque trompeur. « Maintenant, on ne peut plus vraiment dire que c’est de l’IA par rapport à l’imaginaire« , reconnaît Frédéric Bevilacqua. Pas de grands modèles de langage (LLM), pas de deep learning, pas de milliards de paramètres. CoMo relève de ce que les chercheur·euse·s appellent le machine learning interactif : des modèles plus classiques, légers, entraînables avec très peu de données (voire un seul geste !) en quelques secondes, directement sur le processeur du smartphone. « Parmi les small data, c’est vraiment les smallest. Des tiny tiny models« , résume Frédéric. C’est délibéré : le mot « IA » a été écarté pour ne pas éloigner les publics attirés par le geste, le corps, la musique. Ce qui distingue CoMo des outils d’IA actuels, c’est aussi la place de l’entraînement dans le processus. Il n’y a pas de phase séparée : on enregistre un geste, on l’associe à un son, on teste, on corrige. Tout ça fait partie du même geste créatif. « L’entraînement est complètement intégré au design. On peut à tout moment enregistrer, modifier. C’est quelque chose d’extrêmement souple« , explique Frédéric.

Comment ça marche ? 

Concrètement, utiliser CoMo se résume à quatre étapes :
1. enregistrer un geste
2. l’associer à un son
3.  tester
4. affiner

On recommence autant de fois que nécessaire. Le workflow est intentionnellement minimal, et c’est là toute la force de l’outil. Pour démarrer, deux scénarios. Le plus simple : se connecter directement à la version hébergée par l’IRCAM, accessible via n’importe quel navigateur. Aucune installation, aucun compte à créer. Les sons disponibles sont prédéfinis et la session est éphémère, mais c’est largement suffisant pour un premier atelier ou une prise en main rapide. Le second scénario, pour celles et ceux qui veulent travailler avec leurs propres sons : installer CoMo sur une machine locale. Cela demande un peu d’expertise technique, les navigateurs modernes qui imposent désormais un protocole sécurisé HTTPS pour accéder aux capteurs en sont un exemple parmi d’autres, même si une nouvelle application en cours de développement devrait prochainement simplifier ce point. Une fois installé, un simple routeur wifi suffit pour créer un réseau local auquel tous les smartphones peuvent se connecter, et pour les praticien·iennes déjà équipé·e·s, des ponts avec Max / Max For Live, TouchDesigner ou n’importe quel outil de développement créatif moderne sont également en préparation.

Exemples d’usage :

Hugo Scurto, artiste chercheur·euse a suivi la naissance de CoMo de l’intérieur, évoluant dans l’équipe ISMM sans pour autant être directement impliqué·e dans sa conception. Ses premiers ateliers avec l’outil se déroulent aux Beaux-Arts de Marseille, avec des enfants : “l’idée était de créer des contes sonores en bougeant. On enregistrait des sons dans la rue, puis on les racontait par le mouvement.” Les participant·e·s reçoivent des smartphones, apprennent quelques gestes, composent une petite mise en scène, le tout sans une ligne de code. Depuis septembre 2025, iel poursuit cette exploration dans un cadre plus inattendu. Soutenu·e par l’Association Régionale pour l’Intégration (ARI), iel intervient chaque semaine au sein d’un centre médico-pédopsychologique avec quatre enfants, une psychologue et une psychomotricienne. Les smartphones de seconde main sont fixés sur des ballons de mousse, pour bouger sans penser à l’écran, pour que l’objet devienne musical. Et dans ce contexte, c’est souvent quand l’application déraille que quelque chose se passe vraiment. « C’est presque l’erreur qui est plus générative que le fonctionnement hyper lisse de l’algorithme« , observe Hugo.

En 2019, la compositrice Michelle Agnes Magalhaes pousse l’outil dans une direction inattendue en résidence à l’IRCAM avec Constella(c)tions, une pièce qui n’utilise pas la reconnaissance de gestes. Plutôt qu’un vocabulaire gestuel défini, c’est ici un mapping direct entre les paramètres bruts du téléphone (énergie, orientation, vitesse) et des filtres appliqués aux sons. Des performeur·euse·s portent des smartphones au poignet et interagissent avec de grandes cordes physiques, pendant que le public participe. La pièce se joue dans des espaces variés, hors scène, avec cette porosité entre interprètes et spectateur·ice·s qui est au cœur de la proposition. Un exemple qui montre que CoMo peut être détourné bien au-delà de son fonctionnement de base, et que le « co » de son nom n’est pas qu’une promesse.

Nos 3 conseils pour débuter avec CoMo

1. Commencer par la version en ligne, sans chercher à tout installer
CoMo est accessible directement via un navigateur, sans installation ni compte à créer. C’est la meilleure porte d’entrée : on se connecte, on enregistre un geste, on l’associe à un son, et en quelques secondes on comprend le principe. Inutile de se lancer dans une installation locale avant d’avoir exploré ce que l’outil a à offrir.

2. Choisir des gestes francs, pas des gestes précis
La tentation du débutant est de chercher la reconnaissance parfaite. Mieux vaut commencer avec des gestes très simples et contrastés, comme simplement différentes postures immobiles, puis essayer d’ajouter un mouvement ample, par exemple. CoMo n’est pas un outil de précision, c’est un outil de jeu. C’est en acceptant l’imprécision, voire l’erreur, qu’on commence à en tirer quelque chose d’intéressant.

3. Penser collectif dès le départ
CoMo peut s’utiliser seul, mais ce n’est pas là qu’il est le plus vivant. L’outil a été pensé pour que plusieurs personnes interagissent en même temps, partagent des modèles, se répondent. Un atelier à deux ou trois, même informel, révèle des dimensions de l’outil qu’une exploration solitaire ne permet pas d’atteindre.

Romain Astouric