SceneDreamer est un modèle génératif inconditionnel pour les scènes 3D illimitées qui peut synthétiser des paysages 3D à grande échelle à partir de bruits aléatoires. Le cadre est appris à partir de collections d'images 2D en liberté sans aucune annotation 3D. Au cœur de l'outil se trouve un paradigme d'apprentissage fondé comprenant une représentation de scène 3D efficace et expressive, une paramétrisation de scène générative et un moteur de rendu efficace qui exploite les connaissances des images 2D. SceneDreamer utilise une représentation efficace en vue de dessus (BEV) générée à partir de bruit simplex, qui se compose d'un champ de hauteur et d'un champ sémantique. Le champ de hauteur représente l'élévation de surface des scènes 3D, tandis que le champ sémantique fournit des sémantiques de scène détaillées. La représentation de scène BEV permet à l'outil de représenter une scène 3D avec une complexité quadratique, de dissocier la géométrie et la sémantique, et d'effectuer un entraînement efficace. L'outil propose une nouvelle grille de hachage neuronale générative pour paramétrer l'espace latent en fonction des positions 3D et des sémantiques de scène, dans le but d'encoder des caractéristiques généralisables à travers les scènes et d'aligner le contenu. Enfin, un moteur de rendu volumétrique neuronal, appris à partir de collections d'images 2D grâce à un entraînement adversarial, est employé pour produire des images photoréalistes. SceneDreamer est efficace pour générer des mondes 3D illimités, vivants et divers, et est supérieur aux méthodes de pointe à cet égard.