Minecraft : le terrain de jeu de l’IA et de la création de mondes immersifs

Aujourd’hui, j’ai décidé de faire quelque chose d’un peu différent. Avec la sortie du film Minecraft il y a deux semaines, j’ai pensé que c’était l’occasion parfaite pour revenir sur la façon dont ce succès intemporel est devenu un terrain d’expérimentation pour l’IA et la création de mondes immersifs.

Dans cet article :

• Je passerai en revue les recherches en IA les plus récentes construites à partir des capacités de Minecraft

• Comment la construction de mondes en 2D a migré vers la XR (avec plus ou moins de réussite)

• Un tour d’horizon des outils et applications (parfois boostés à l’IA) pour répondre à votre envie créative de voxels

Minecraft et l’IA : un duo parfaitement assorti

Je voulais partager avec vous trois exemples récents qui montrent comment Minecraft est devenu une plateforme puissante pour la recherche et le développement en intelligence artificielle.

Le premier exemple s’appelle Oasis, un jeu bac à sable qui tente de reproduire Minecraft à l’aide de l’IA générative. Il a été développé par l’entreprise d’IA Decart et la startup hardware Etched. Sorti gratuitement le 31 octobre 2024, le jeu utilise la technique de « next-frame prediction » pour simuler le gameplay uniquement à partir des actions de l’utilisateur et d’un entraînement sur des millions d’heures de vidéos Minecraft — sans aucun moteur de jeu ni mémoire sous-jacente.

Vous pouvez y jouer directement en ligne. Certes, la cohérence laisse parfois à désirer et l’expérience devient assez psychédélique au bout d’une minute, mais cela donne un avant-goût du futur des jeux propulsés par l’IA — un terrain sur lequel des géants comme Microsoft et Google DeepMind construisent déjà les prochaines étapes.

Le deuxième exemple est Project Sid, développé par Altera. Ce projet explore comment des centaines d’agents IA peuvent former des sociétés complexes, presque humaines, à travers des simulations à grande échelle dans Minecraft.

Les résultats sont pour le moins stupéfiants :

• Les agents dotés d’une conscience sociale se sont auto-organisés en professions spécialisées — comme agriculteur ou artiste — sans qu’aucun rôle ne leur soit assigné.

• Ils étaient capables de suivre des règles sociétales, y compris des systèmes de taxation, via des votes démocratiques influencés par la dynamique de groupe.

• Des idées culturelles et même des religions pouvaient émerger, se propager et s’implanter de façon organique au sein de sociétés comprenant plus de 500 agents.

Vous pouvez en apprendre plus sur ce projet ici. Altera permet également de jouer aux côtés d'autres agents dans Minecraft, chacun doté de personnalités bien définies. Voici une vidéo qui montre comment faire.

Le dernier exemple, le plus récent, date de la semaine dernière et vient directement de Google DeepMind. Les résultats ont été publiés dans Nature : ils décrivent comment Dreamer AI est devenu le premier système à extraire des diamants dans Minecraft entièrement par lui-même, sans aucune démonstration humaine, instruction ou données de pré-entraînement. Contrairement aux précédents systèmes IA comme Oasis qui s’appuyaient sur des vidéos de joueurs, Dreamer a joué seul pendant neuf jours, avec une réinitialisation du monde toutes les 30 minutes pour l’obliger à s’adapter à de nouveaux environnements. Résultat : il a atteint un niveau de performance comparable à celui d’un humain, parvenant à extraire un diamant en moins de 30 minutes.

De la 2D à la XR

Au fil des années, plusieurs tentatives ont été faites pour porter l’expérience Minecraft dans un casque de réalité virtuelle.

Pour aller droit au but : Vivecraft reste aujourd’hui l’expérience Minecraft la plus complète en VR, mais elle ne fonctionne que sur un PC VR. Parmi ses avantages, la possibilité d’installer des mods et des packs de textures qui décuplent l’immersion. En revanche, il faut passer par quelques étapes de configuration et disposer d’un PC compatible VR.

Une autre option viable sur PC s’appelle Cyube. Inspiré de Minecraft, ce jeu propose une esthétique beaucoup plus réaliste et un système de craft basé sur l’agencement de matériaux sur une grille 3D. Avec une note Très positive sur Steam et plus de 1 000 avis, il mérite clairement qu’on s’y intéresse.

Sur Steam, un jeu récemment sorti appelé Voxel Project VR propose un bac à sable immersif dans un environnement voxel entièrement destructible. Les avis sont plutôt positifs pour le moment, et une démo gratuite est disponible pour se faire une idée.

Du côté du casque autonome Quest, les clones de Minecraft se multiplient. On retrouve notamment Blockverse, Questcraft, RealmCraft et Discovery 2.

Je ne les ai pas tous testés, mais en me basant sur les avis, j’ai essayé Discovery 2 (note de 4,6 avec plus de 50 évaluations), qui propose une expérience créative en réalité mixte, avec prise en charge du hand tracking. Soyons clairs : ce n’est pas Minecraft. Mais si votre objectif est simplement de passer en mode créatif et construire tranquillement, c’est probablement la meilleure option sur Quest.

Après toutes ces années, il est encore difficile de croire qu’il n’existe aucune version officielle de Minecraft en réalité étendue (XR). Ce n’est pourtant pas faute d’avoir essayé. Meta avait porté le jeu sur l’Oculus Rift, mais les retours utilisateurs ont été assez clairs (plus de 4 000 avis et une note moyenne de 2,8), et le projet a été abandonné. Microsoft avait également lancé une version mobile en réalité augmentée, Minecraft Earth, qui a été arrêtée à la mi-2021. Plus récemment, Mojang a annoncé que le support VR pour Minecraft Bedrock allait être supprimé, et que seuls les joueurs de la version Java, avec certains mods, pourraient encore jouer en réalité virtuelle.

L’avenir d’un Minecraft immersif ne semble donc pas très prometteur. J’ai le sentiment que les grands acteurs de la tech évaluent le succès d’un lancement en le comparant à celui de titres « plats » (coucou Ubisoft), et vu la taille des bases utilisateurs, c’est une bataille perdue d’avance.

Créer avec Cubes

Cubes et voxels ont un charme unique. Empiler des cubes colorés pour créer des scènes mignonnes peut être à la fois amusant, gratifiant et relaxant… comme Lego l’a brillamment démontré. J’avais envie de partager avec vous quelques exemples de façons d’apporter cette expérience créative dans le monde numérique, que ce soit sur écran ou en VR — et même d’y intégrer l’IA.

Créer en voxels permet de partir facilement de zéro, mais il est aussi possible d’accélérer considérablement le processus grâce à l’intelligence artificielle. Meshy est un outil de génération 3D par IA qui permet de créer des objets en voxels directement à partir d’un simple texte, avec export possible dans de nombreux formats, dont .glb et .vox.

L’édition sur PC est possible grâce à une grande variété d’outils. Ma recommandation va à MagicaVoxel. Il est utilisé aussi bien par des amateurs que par des professionnels, et ses capacités de rendu rivalisent avec celles des outils de modélisation 3D plus avancés comme Blender.

Créer et éditer des voxels en VR est possible aussi bien en PC-VR que sur casque autonome comme le Quest.

Sur PC-VR, mon outil préféré est VoxVR, car il prend en charge l’import de fichiers .vox. L’interface n’est pas exceptionnelle et le projet est malheureusement abandonné, mais l’outil reste gratuit et mérite d’être essayé.

Sur Quest, vous pouvez choisir entre BoxelVR et UnfoldVR. Mon préféré est BoxelVR, car l’expérience utilisateur y est plus fluide et créer en réalité mixte y est simple et apaisant. Malheureusement, l’export en format .vox n’est pas encore disponible, ce qui limite les passerelles avec des outils 2D comme MagicaVoxel.

Si l’on prend un peu de recul par rapport à l’activité pure de “stacking”, il existe quelques autres apps intéressantes :

• Color-a-Cube : une adaptation en réalité virtuelle et mixte de la peinture par numéros, où l’on colore un modèle voxel 3D en blanc. Disponible sur Quest.

• Bunch of Things : disponible sur Vision Pro, cette app permet d’assembler un petit diorama en 3D à partir d’une vaste bibliothèque de voxels.

Et enfin, Rooms (créée par la même équipe que Bunch of Things). Cette application disponible sur le web et iOS permet de créer des modèles voxel, d’ajouter des interactions simples via des préréglages, et d’assembler le tout dans des scènes joliment rendues. Rooms intègre également de l’IA, permettant par exemple d’ajouter des “personnalités” aux personnages via une intégration avec Google Gemini.

J’ai eu la chance d’interviewer Jason Toff, fondateur de Things Inc. Nous avons plongé en profondeur dans les sujets de la créativité, des contenus générés par les utilisateurs et, bien sûr, du rôle de l’IA dans tout ce processus.

L'interview sera disponible le 22 Avril ici-même sur notre blog.

Avant de conclure cet article, je voulais partager une dernière ressource qui, selon moi, est la conclusion parfaite et montre clairement comment la 3D, Minecraft et l'IA sont interconnectés à de nombreux niveaux. Lors de mes recherches, j'ai découvert que Minecraft Education, une plateforme dédiée à l'enseignement de matières telles que l'informatique, les mathématiques et les sciences du climat, propose désormais un module sur l'IA. Ce module comprend 11 leçons qui peuvent être achetées et ouvertes dans Minecraft, ainsi que des vidéos d'introduction qui font un excellent travail pour initier les pré-adolescents aux bases de l'IA.

Cet article est la traduction de l'excellent travail de Gabriele Romagnoli que nous avons l'accord en exclusivité de vous partager en français.

Nous vous invitons à vous abonner à sa newsletter pour soutenir son travail.