Pourquoi les IA du futur sont entraînées sur… Minecraft

Le jeu de Microsoft est devenu la plateforme de référence pour entraîner des IA à prendre des décisions dans un monde aux possibilités infinies. Un succès qui ne doit rien au hasard.

Les intelligences artificielles qui vous faciliteront la vie dans le futur sont peut-être actuellement en train de… miner du diamant sur Minecraft. Et ce n'est pas une blague: des chercheurs de Nvidia, un des leaders mondiaux en matière d'IA, ont récemment dévoilé "Voyager", un programme qui utilise l'intelligence artificielle GPT-4 pour progresser dans le jeu de Microsoft sans aucune intervention humaine.

Grâce à GPT-4, le programme peut écrire du code pour que son personnage effectue une action, analyser l'action qui en résulte et en tirer les leçons. Il peut même déterminer son prochain objectif, grâce aux milliers d'heures de vidéos qu'il analyse: récolter du bois, créer une pioche en diamant…

Et Nvidia n'est pas seul sur le coup. Facebook s'est penché sur le sujet dès 2019; OpenAI s'y est mis en 2022, en entraînant une IA à partir de dizaines de milliers d'heures de vidéos YouTube sur Minecraft. Chaque année, une compétition (la MineRL) oppose même plusieurs équipes de chercheurs pour déterminer qui pourra créer l'IA la plus efficace sur Minecraft en un temps limité.

Entraîner des IA à des jeux vidéo, ce n'est pas nouveau: en 2018, OpenAI a conçu une IA pour écraser des humains sur le jeu en ligne DotA 2. Mais niveau popularité, Minecraft dépasse aujourd'hui de loin tous ses concurrents. Alors pourquoi Minecraft est-il envahi par les bots?

Des possibilités infinies

Si Minecraft est plébiscité par les chercheurs en IA, c'est pour les mêmes raisons qui attirent encore aujourd'hui des millions de joueurs humains. Et en premier lieu, son champ des possibles absolument infini.

"Contrairement aux autres jeux, Minecraft ne définit aucun score à maximiser, aucun scénario fixe à suivre", explique sur Twitter Jim Fan, chercheur chez Nvidia et co-créateur de Voyager. "Ce qui en fait un terrain d'entraînement ouvert adapté pour des IA."

Car les IA actuelles ont un gros point faible par rapport aux "intelligences artificielles générales" de science-fiction: elles ne sont pas encore capables de se fixer leurs propres objectifs. Et elles sont en général formées à une tâche en particulier (la génération de texte, d'image, la détection de maladie, gagner à un jeu comme le go…), mais sortez-les légèrement des situations qu'elles connaissent, et les résultats peuvent vite dégringoler.

"Un jeu comme le go a environ 10^172 dispositions possibles autorisées. Le seul objectif est de battre l'adversaire. Dans Minecraft, il y a une infinité d'états possibles et une infinité de choses à faire", explique Jim Fan.

Ceux qui veulent faire des IA actuelles des "agents" capables de prendre des décisions tout seuls en fonction de la situation – et d'apprendre de leurs erreurs éventuelles –, doivent donc trouver une méthode d'entraînement adaptée. Et à ce jeu-là, Minecraft est l'outil tout trouvé.

Un monde (presque) réaliste

Minecraft, c'est aussi un monde soumis à des lois (vaguement) proches du nôtre. Il y a trois dimensions, le personnage se fait mal quand il tombe de haut, le bois brûle, les liquides coulent de haut en bas, on ne peut pas poser un bloc sans qu'il soit relié à un autre… Des règles qui prennent parfois quelques libertés avec la physique, mais si l'IA peut apprendre dans ce contexte simplifié, les chercheurs pourront peut-être répliquer cette méthode d'apprentissage dans le monde réel.

Et surtout, Minecraft est un monde incroyablement documenté. Des milliers de pages sur le wiki dédié, des centaines de milliers de publications Reddit, des millions d'heures de vidéos allant du mode survie basique aux créations les plus bluffantes… Une mine d'or pour les chercheurs, qui peuvent soumettre ces contenus au programme pour qu'il s'appuie sur ces exemples.

"Plus de 140 millions de joueurs produisent chaque jour une mine de connaissances, cristallisée dans des vidéos, des pages wiki, et des conversations sur des forums. Nous récoltons cette sagesse et cette créativité collective", expliquait Jim Fan en novembre 2022.

Enfin, ce type d'entraînement serait bien plus compliqué à réaliser dans la réalité que dans Minecraft, un monde virtuel à la physique limitée, où l'on peut réaliser des centaines d'essais en parallèle sans avoir besoin de (re)construire un robot humanoïde extrêmement coûteux à chaque erreur.

Trouvera-t-on bientôt les clés de l'intelligence artificielle parfaite grâce à un jeu vidéo? Ce n'est pas pour tout de suite: les parties de ces "agents" feront sourire les professionnels humains de Minecraft, avec leurs erreurs et leurs indécisions. Mais la recherche continue. "Si nous pouvons faire des tâches si impressionnantes, pourquoi nos IA ne le pourraient-elles?", interroge Jim Fan sur Twitter. "Trouvons la réponse ensemble!"

Luc Chagnon