Voyager est un agent incarné ouvert doté de grands modèles de langage qui opère dans l'environnement Minecraft. Il s'agit du premier agent de ce type à réaliser un apprentissage continu sans intervention humaine. Voyager se compose de trois composants principaux : un curriculum automatique, une bibliothèque de compétences et un mécanisme d'incitation itérative. Le curriculum automatique maximise l'exploration en tenant compte de la progression et de l'état de l'agent. Il génère des tâches basées sur l'objectif de découvrir diverses choses, similaire à une recherche de nouveauté contextuelle. La bibliothèque de compétences stocke et récupère des comportements complexes. Chaque compétence est indexée par l'incorporation de sa description, permettant une récupération facile dans des situations similaires. Des compétences complexes peuvent être synthétisées en composant des programmes plus simples, améliorant les capacités de Voyager au fil du temps et prévenant l'oubli catastrophique. Le mécanisme d'incitation itérative intègre les retours de l'environnement, les erreurs d'exécution et l'auto-vérification pour améliorer le programme. Il permet à Voyager d'apprendre de ses erreurs et de perfectionner ses compétences. Voyager interagit avec GPT-4, un grand modèle de langage, à travers des requêtes en boîte noire, éliminant le besoin d'un fine-tuning des paramètres du modèle. Dans des expériences, Voyager démontre de solides capacités d'apprentissage continu et une compétence exceptionnelle à jouer à Minecraft. Il surpasse les approches de pointe précédentes en obtenant plus d'objets uniques, en parcourant de plus longues distances et en atteignant des étapes clés dans l'arborescence technologique à un rythme plus rapide. Il surpasse également d'autres techniques en généralisant à des tâches nouvelles dans de nouveaux mondes Minecraft. Voyager découvre continuellement de nouveaux objets et compétences grâce à une exploration autonome, dépassant les méthodes de référence. Dans l'ensemble, Voyager combine la puissance des grands modèles de langage avec l'apprentissage incarné pour créer un agent capable d'exploration continue, de développement de compétences et de découvertes novatrices dans des environnements ouverts comme Minecraft.