Présentation

C'est toi & moi, 2 base est une installation interactive vidéoludique et expérimentale dont les personnages et les décors 3D ont été générés à l'aide de modèles génératifs d'intelligence artificielle (IA). Inspiré des simulateurs de marche (walking simulator), les deux joueurs, séparés en début de partie, parcourent un environnement inconnu afin de se retrouver. La difficulté vient de ce qu'il n'y a ni carte, ni repère de position permettant aux joueurs de visualiser les déplacements de l'autre. Il faut donc, de vive voix, décrire son environnement et trouver des stratégies pour espérer se croiser dans le jeu et donc « gagner ».

Concept

La première version de ce « simulateur de marche » a été créée en 2023 à l’occasion d’une précédente exposition. L’idée clef était de faire parler/dialoguer des joueurs in situ alors que leurs avatars évoluaient dans un espace virtuel, renversant ainsi la logique des visios massivement utilisées durant et après la pandémie de covid-19. L’IA tenait une place réduite dans l’environnement virtuel de cette version, cantonnée à des textures et des extraits musicaux générés pour l’occasion. Dans la nouvelle version, l’approfondissement des possibilités offertes par le modèle génératif Stable Diffusion a permis un travail plus précis sur la production d’images et d’objets 3D. Dans sa version actuelle (nov. 2024), C'est toi & moi, 2 base reste transitoire. Les interactions avec les personnages non-joueurs (PNJ) n’ont pas été implantées et beaucoup d’éléments restent à affiner. Nous souhaitons ainsi inscrire le projet dans un développement long afin d’en poursuivre l’élaboration au rythme de l’évolution des IA dans l’avenir. Cette volonté de garder une trace des changements se retrouve déjà dans l’environnement 3D actuel puisque les objets qui le constituent ont été générés avec différentes versions de Stable Diffusion, Meshy et Tripo construisant ainsi une « archéologie » formelle de ces modèles.

D’un questionnement lié à la visio post-covid le projet s’est donc déplacé vers des problématiques plus ancrées dans l’IA invitant le/la joueur.euse/visiteur.euse à se questionner sur ce qu’il/elle voit. En effet, l’environnement virtuel créé ressemble à un niveau de jeu « classique » alors que ces éléments sont, pour la plupart, incohérents au sens de la modélisation habituelle d’assets 3D (les composants 3D constitutifs du jeu).

Au-delà de cette « bizarrerie » visuelle, le projet pose également la question des métiers liés au jeu vidéo. Que signifie de remplacer des compétences humaines par de l’IA. Quels gains ? Quels risques ? Dans le cas de notre projet, l’équipe très réduite évoque les jeux indépendants (indie games) ou ceux des années 80/90 où le trio programmeur+graphiste+musicien pouvait suffire à produire un jeu commercialisale. Mais ce parallèle est trompeur car notre équipe correspond plutôt à une toute nouvelle configuration de type programmeur+level designer+IA qui change la dynamique de travail : elle permet une certaine rapidité dans la production d’assets et de scripts mais implique encore – en l’état actuel de l’IA – un travail artisanal de positionnement des assets sur la carte et d’écriture de programmes spécifiques. Dans une logique de « pousser » l’utilisation de ces IA, notre prochaine étape sera d’automatiser encore plus afin de mesurer jusqu’où il est possible de créer avec l’IA sans se sentir totalement dépossédé par elle.

Aspects esthétiques

L’esthétique du jeu est en partie issue des propositions de l’IA mais, du fait de la création de notre propre dataset (jeu de données), elle correspond aussi complètement aux choix que nous avons faits pour le constituer. Ce qui est présenté à l’écran reflète une sorte de statistique ou d’« interprétation » des centaines d’images personnelles qui ont permis de construire nos modèle sur la base de la version 1.5 de Stable Diffusion. En somme, le travail de « direction artistique » du jeu s’est effectué en amont de sa modélisation durant la construction du dataset. C’est une démarche qui change l’approche de conception de tels environnements.

Extraits du dataset personnalisé de C'est toi & moi, 2 base, 2024

Aspects techniques liés à l’IA

Les solution d’images génératives en ligne posent divers problèmes : elles sont peu paramétrables (même si certaines en donnent l’impression) et puisent généralement leur source dans une base de données graphiques issue du travail de milliers d’artistes transformant ainsi l’utilisateur en pilleur. De plus, les requêtes envoyées aux data centers et les calculs qui s’ensuivent contribuent grandement au réchauffement climatique.

Nous avons donc choisi de nous éloigner le plus possible de cette logique en créant des datasets personnels constitués à partir de dessins et de photos issues de nos propres ressources. D’un point de vue déontologique, ceci nous a permis d’éviter le pillage d’autres auteur.ices. en créant notre propre répertoire formel. Au niveau de l’impact environnemental, les IA ont majoritairement fonctionné sur des machines locales, limitant ainsi les requêtes et les calculs en data center. Malheureusement, pour des raisons techniques, nous avons dû également faire appel au solutions payantes de Meshy.ai et Tripo3D.ai pour la génération d’assets 3D, nous obligeant ainsi à utiliser des versions en ligne et nous mettant, hélas, en position de contrevenants à nos propres critères d’élaboration.

À noter enfin que nous ne considérons pas, dans sa version actuelle, ce projet comme éco-responsable. Même si nous avons veillé à une utilisation limitée des ressources, la pollution en amont, nécessaire à la production de nos ordinateurs de calcul reste un souci majeur. C’est donc toute une logique d’ordinateurs recyclés et de fermes de calcul locales qu’il faudrait mettre en place pour véritablement limiter l’impact environnemental de tels projets. C’est donc un axe de réflexion important pour l’avenir.

Crédits

Auteurs : Damien Baïs et David-Olivier Lartigaud.

Moyens techniques : Pôle numérique de l’ESADSE (machines de calcul) et Labo NRV de l’Ensba Lyon (tests de motion capture). Le moteur de jeu utilisé est Godot (godotengine.org). Conception et réalisation des piétements des écrans : Guillaume Buisson.

Remerciements particuliers à Jacques-Daniel Pillon du Random(Lab)-ESADSE pour la configuration réseau des machines de calcul. Merci également à Dune(s) Corporation pour le don des six écrans constituant l’installation.