NitroGen : un modèle de fondation ouvert pour des agents de jeu généralistes
NitroGen: An Open Foundation Model for Generalist Gaming Agents
January 4, 2026
papers.authors: Loïc Magne, Anas Awadalla, Guanzhi Wang, Yinzhen Xu, Joshua Belofsky, Fengyuan Hu, Joohwan Kim, Ludwig Schmidt, Georgia Gkioxari, Jan Kautz, Yisong Yue, Yejin Choi, Yuke Zhu, Linxi "Jim" Fan
cs.AI
papers.abstract
Nous présentons NitroGen, un modèle de base vision-action pour agents de jeu généralistes, entraîné sur 40 000 heures de vidéos de jeu couvrant plus de 1 000 jeux. Notre approche intègre trois éléments clés : 1) un jeu de données vidéo-action à l'échelle d'Internet, construit par extraction automatique des actions des joueurs à partir de vidéos de gameplay publiques, 2) un environnement d'évaluation multi-jeux permettant de mesurer la généralisation inter-jeux, et 3) un modèle unifié vision-action entraîné par clonage comportemental à grande échelle. NitroGen démontre de fortes compétences dans divers domaines, incluant les combats dans les jeux d'action 3D, le contrôle de haute précision dans les jeux de plateforme 2D, et l'exploration de mondes générés procéduralement. Le modèle transfère efficacement à des jeux non vus, atteignant jusqu'à 52 % d'amélioration relative des taux de réussite par rapport aux modèles entraînés à partir de zéro. Nous publions le jeu de données, la suite d'évaluation et les poids du modèle pour faire progresser la recherche sur les agents incarnés généralistes.
English
We introduce NitroGen, a vision-action foundation model for generalist gaming agents that is trained on 40,000 hours of gameplay videos across more than 1,000 games. We incorporate three key ingredients: 1) an internet-scale video-action dataset constructed by automatically extracting player actions from publicly available gameplay videos, 2) a multi-game benchmark environment that can measure cross-game generalization, and 3) a unified vision-action model trained with large-scale behavior cloning. NitroGen exhibits strong competence across diverse domains, including combat encounters in 3D action games, high-precision control in 2D platformers, and exploration in procedurally generated worlds. It transfers effectively to unseen games, achieving up to 52% relative improvement in task success rates over models trained from scratch. We release the dataset, evaluation suite, and model weights to advance research on generalist embodied agents.