Mind-Video est un outil d'IA qui vise à reconstruire des vidéos de haute qualité à partir de l'activité cérébrale capturée à travers des données d'imagerie par résonance magnétique fonctionnelle (IRMf) continue. Il s'agit d'une extension du travail précédent de reconstruction d'images par IRMf appelé Mind-Vis. L'outil aborde le défi de récupérer des expériences visuelles continues sous forme de vidéos à partir d'enregistrements cérébraux non invasifs. Mind-Video utilise un pipeline à deux modules qui comble l'écart entre le décodage cérébral d'images et de vidéos. Le premier module se concentre sur l'apprentissage de caractéristiques d'IRMf visuelles générales grâce à un apprentissage non supervisé à grande échelle avec modélisation cérébrale masquée et attention spatiotemporelle. Il distille ensuite des caractéristiques liées à la sémantique en utilisant un apprentissage contrastif multimodal avec un ensemble de données annoté. Dans le second module, les caractéristiques apprises sont affinées grâce à un co-apprentissage avec un modèle de diffusion stable augmenté, spécifiquement conçu pour la génération de vidéos guidée par les données IRMf. La contribution de l'outil réside dans son pipeline flexible et adaptable, qui se compose d'un codeur IRMf et d'un modèle de diffusion stable augmenté entraînés séparément et affinés ensemble. Il utilise un schéma d'apprentissage progressif qui permet au codeur d'apprendre les caractéristiques cérébrales à travers plusieurs étapes. Les vidéos résultantes montrent une grande précision sémantique, y compris les mouvements et la dynamique des scènes, surpassant les approches de pointe antérieures. L'analyse de l'attention des transformateurs décodant les données IRMf révèle la dominance du cortex visuel dans le traitement des informations visuelles spatiotemporelles et la nature hiérarchique des couches du codeur dans l'extraction de caractéristiques visuelles structurelles et abstraites. Le codeur IRMf montre également une amélioration progressive dans l'assimilation d'informations sémantiques plus nuancées au cours de ses étapes de formation. Mind-Video utilise des données du Projet Human Connectome et reconnaît les contributions des collaborateurs et des soutiens dans le développement de l'outil.