Articles de recherche IA sélectionnés quotidiennement avec traductions
Les récentes avancées dans la compréhension vidéo ont couvert le mouvement, les vidéos longues et l'interaction en streaming, orientant ce domaine vers des applications concrètes. Malgré ces progrès, les modèles open-source actuels restent limités à plusieurs égards. Ils peinent souvent à généraliser sur divers types de vidéos, ce qui les rend efficaces uniquement dans des domaines spécifiques. Leurs coûts de calcul élevés restreignent en outre leur efficacité et leur évolutivité. De plus, la plupart des modèles ne sont que partiellement ouverts, des composants clés tels que le code d’entraînement, la stratégie ou les jeux de données étant indisponibles, ce qui entrave la reproductibilité et ralentit le développement communautaire. Pour remédier à ces problèmes, nous présentons VideoChat3, un MLLM (modèle de langage multimodal de grande taille) entièrement ouvert, efficace et généraliste centré sur la vidéo. VideoChat3 fait progresser la compréhension vidéo grâce à deux conceptions complémentaires. Pour l’efficacité, nous introduisons le Vision Transformer 3D gonflé (I3D-ViT) et la résolution adaptative des trames pour la perception vidéo en streaming, qui permettent une représentation spatiotemporelle efficace et réduisent le coût de traitement des entrées vidéo pendant l’entraînement et l’inférence. Pour l’efficacité (au sens d’efficacité opérationnelle), nous développons un pipeline de synthèse de données vidéo scalable qui produit trois jeux de données d’entraînement diversifiés et de haute qualité : VideoChat3-Academic2M, VideoChat3-LV116K et VideoChat3-OL617K, couvrant des scénarios vidéo généraux, longs et en streaming, améliorant ainsi la généralisation du modèle entre les domaines. En intégrant ces conceptions, VideoChat3 atteint un équilibre rare entre généralisation étendue et efficacité de calcul. Des expériences menées sur des références générales, longues et en streaming montrent que VideoChat3 surpasse les modèles open-source antérieurs avec des nombres de paramètres égaux ou supérieurs, avec seulement 4 milliards de paramètres et une efficacité accrue.
Les grands modèles de langage sont de plus en plus entraînés en tant qu'agents interactifs pour des tâches à long terme impliquant des interactions multi-tours, l'utilisation d'outils et des retours d'environnement. L'apprentissage par renforcement basé sur les résultats (RL) constitue un paradigme d'optimisation pratique, mais ses récompenses parcimonieuses au niveau des trajectoires offrent un guidage limité sur les décisions intermédiaires, créant un écart de supervision entre les résultats au niveau des épisodes et l'apprentissage de politique au niveau des jetons. Nous proposons SEED (SElf-Evolving On-Policy Distillation), un cadre auto-évolutif qui convertit les trajectoires complétées sur politique en compétences rétrospectives pour l'entraînement, et distille leur effet comportemental dans le modèle de politique. SEED ajuste d'abord finement la politique pour analyser les trajectoires complétées et générer des compétences en langage naturel qui capturent des flux de travail réutilisables, des observations décisives ou des règles d'évitement d'échec. Pendant le RL, la politique courante collecte à la fois les trajectoires et sert d'analyseur extrayant les compétences rétrospectives à partir de celles-ci. Les mises à jour de la politique améliorent donc conjointement la prise de décision ultérieure et l'analyse des compétences, permettant à la supervision rétrospective d'évoluer avec la politique. SEED réévalue ensuite les actions échantillonnées dans des contextes ordinaires et augmentés de compétences, convertissant le changement de probabilité induit par les compétences en un signal dense de distillation sur politique au niveau des jetons. Ce signal est optimisé conjointement avec le RL basé sur les résultats, maintenant la supervision auxiliaire alignée avec la distribution courante des trajectoires. Des expériences approfondies sur des tâches agentiques basées sur du texte et des images montrent que SEED améliore constamment les performances et l'efficacité d'échantillonnage, faisant preuve d'une généralisation robuste à des scénarios inconnus. Notre code est disponible à l'adresse https://github.com/jinyangwu/SEED.
Les récentes avancées dans les Modèles de Langage de Grande Taille Intégrés à des Outils ont fait de la recherche web une capacité centrale des agents de recherche d'information. Cependant, à mesure que les historiques d'interaction s'allongent, les agents éprouvent de plus en plus de difficultés à suivre la progression des tâches. Lorsque les tentatives de recherche ne parviennent pas à fournir des preuves utiles, les systèmes mono- et multi-agents actuels peuvent tomber dans des boucles répétitives, gaspillant les budgets de recherche et compromettant in fine la qualité et l'exhaustivité du résultat final. Nous présentons SearchOS, un cadre multi-agent au niveau système qui transforme la progression de recherche implicite et fragile en un état explicite, persistant et partagé. Premièrement, nous formulons la recherche d'information en domaine ouvert comme une complétion de schéma relationnel avec citations ancrées, où les agents découvrent des entités, peuplent des attributs dans des tables liées et ancrent chaque valeur à une preuve source. Ensuite, nous concevons la Gestion de Contexte Orientée Recherche (SOCM), qui externalise l'état en évolution sous la forme d'une Tâche Frontière, d'un Graphe de Preuves, d'une Carte de Couverture et d'une Mémoire d'Échec. Construit sur SOCM, SearchOS applique un mécanisme d'ordonnancement en pipeline parallèle qui chevauche l'exécution des sous-agents et remplit continuellement les créneaux libérés avec des tâches ciblant des lacunes de couverture non résolues, afin d'améliorer l'utilisation et le débit. Pour planifier et contrôler l'exécution des agents de recherche, SearchOS introduit un Harnais Middleware d'Outils de Recherche qui intercepte les interactions entre modèles et outils pour enregistrer les preuves ancrées et réagir aux blocages ou à l'épuisement du budget. Il fournit également un système de compétences hiérarchiques réutilisables comprenant des compétences stratégiques et d'accès, afin d'augmenter le processus de recherche des agents et d'éviter de répéter des schémas de recherche échoués d'une exécution à l'autre. Sur WideSearch et GISA, SearchOS dépasse toutes les métriques parmi les références mono- et multi-agents évaluées, ouvrant la voie à une collaboration robuste en recherche d'information.
Un écart croissant sépare les longueurs de contexte d'inférence du post-entraînement par RL : les systèmes d'inférence approchent des contextes d'un million de tokens, tandis que les charges de travail de post-entraînement restent souvent à 256K tokens ou moins et comptent sur la généralisation de longueur lors du déploiement. Cet écart est particulièrement important pour les agents d'IA, dont les observations, les sorties d'outils, les documents et les décisions antérieures s'accumulent sur de longues trajectoires. LongStraw est une pile d'exécution architecturale pour le post-entraînement par RL à un million de tokens sous un budget GPU fixe, instanciée avec l'Optimisation de Politique Relative par Groupe (GRPO). Elle évalue le prompt partagé sans autograd, ne conserve que l'état spécifique au modèle nécessaire aux tokens ultérieurs, et rejoue les branches de réponse courtes une par une, réduisant le graphe d'entraînement actif au prix d'un temps de rejeu supplémentaire. Nous l'implémentons pour le modèle hybride récurrent et à attention complète Qwen3.6-27B et le mélange d'experts à attention compressée GLM-5.2. Sur huit GPU H20, LongStraw complète le scoring groupé de Qwen et la rétropropagation des réponses à 2,1 millions de positions pour des groupes de 2 et 8 ; augmenter la taille du groupe n'ajoute que 0,21 Go de mémoire allouée maximale, tandis qu'un test de stress séparé atteint 4,46 millions de positions. Sur 32 GPU H20, nous validons le chemin d'exécution de bout en bout de LongStraw pour un prompt de 2,1 millions de tokens à travers les 78 couches de GLM-5.2. Ces expériences établissent une capacité d'exécution plutôt qu'une correction complète de l'entraînement, car l'état capturé du prompt est détaché et certains chemins de propagation avant et de composition de gradient distribués restent incomplets.
Les modèles monde-action (WAM) émergent comme une base prometteuse pour le contrôle incarné : plutôt que de prédire uniquement des actions, ils apprennent des représentations qui couplent la génération d’actions avec la prédiction du monde futur. Ce couplage est souvent perçu comme une source de robustesse, d’interprétabilité et de sécurité, car l’action d’un robot peut en principe être vérifiée par rapport à son futur imaginé. Dans cet article, nous montrons que cette hypothèse est fragile. Nous introduisons BadWAM, un cadre unifié pour modéliser et évaluer les attaques de dérive monde-action : une nouvelle classe d’attaques adverses spécifiques aux WAM qui utilisent de petites perturbations visuelles pour briser l’alignement entre ce qu’un WAM imagine et ce qu’il exécute. BadWAM caractérise cette surface d’attaque selon deux critères naturels : la force d’attaque et la furtivité. Lorsque l’adversaire privilégie la perturbation, BadWAM instancie une attaque adverse uniquement sur l’action, qui conduit directement le modèle vers des actions entraînant l’échec de la tâche. Lorsque l’adversaire privilégie en plus la furtivité, BadWAM instancie une attaque adverse préservant l’imagination, qui cherche à induire des décalages d’actions nuisibles tout en maintenant le futur prédit par le modèle proche de son imagination non perturbée. Ensemble, ces deux attaques capturent un spectre de défaillances propres aux WAM : du détournement d’action flagrant à des cas plus furtifs où le modèle semble imaginer un futur plausible mais exécute une action désynchronisée. Nous évaluons BadWAM sur différentes variantes de WAM. Les résultats montrent que nos attaques réduisent considérablement les taux de réussite des tâches en exécution en boucle fermée. Par exemple, notre attaque uniquement sur l’action réduit la performance du modèle de 96,5 % à 43,1 % de succès. Les résultats de notre attaque préservant l’imagination révèlent en outre une vulnérabilité spécifique aux WAM : une régularisation modérée préservant le futur peut maintenir une forte performance d’attaque tout en réduisant la dérive de l’imagination future.
La génération vidéo repose de plus en plus sur des workflows basés sur les images clés, où les créateurs spécifient une séquence d'images de référence pour guider la génération. Bien que les modèles récents supportent le conditionnement multi-images clés, il reste incertain qu'ils puissent reproduire fidèlement les images clés prescrites tout en maintenant la qualité vidéo globale. Nous présentons KeyFrame-Compass, le premier benchmark complet pour évaluer la génération vidéo conditionnée par images clés. Ce benchmark contient 386 échantillons soigneusement sélectionnés couvrant trois domaines d'application, deux structures vidéo, deux granularités de prompt, deux formats de conditionnement et quatre densités d'images clés, permettant une analyse contrôlée sous divers paramètres de génération. Nous introduisons en outre un cadre d'évaluation automatisé qui mesure conjointement l'exécution des images clés et la qualité vidéo globale. Spécifiquement, nous décomposons l'exécution des images clés en six métriques complémentaires couvrant la présence, la fidélité, l'ordre temporel, la localisation, la persistance et l'unicité, tout en évaluant la qualité vidéo globale via des jugements MLLM fondés sur des preuves, augmentés de modèles de perception spécialisés. Les expériences sur neuf systèmes représentatifs de génération vidéo révèlent plusieurs limitations fondamentales. Les modèles actuels présentent un compromis clair entre l'exécution fidèle des images clés et la synthèse vidéo naturelle. Leur performance se dégrade davantage à mesure que les contraintes d'images clés deviennent plus denses, et la plupart des modèles open-source échouent également à interpréter les entrées de grille de storyboard comme des séquences d'images clés ordonnées temporellement.
La génération multi-référence-à-audio-vidéo (MR2AV) vise à produire un contenu audio-vidéo cohérent conditionné par plusieurs références et instructions textuelles. Les benchmarks existants se concentrent principalement sur la génération pilotée par le texte, la préservation d’un sujet à référence unique, ou l’alignement audio-vidéo isolé, laissant largement inexploré le nouveau cadre MR2AV. Comparé à ces contextes, MR2AV exige que les modèles raisonnent conjointement sur plusieurs références tout en générant un contenu visuel et audio synchronisé. Les modèles doivent non seulement préserver fidèlement chaque référence, mais aussi lier et composer correctement plusieurs entités référencées en événements audio-visuels cohérents. Pour combler cette lacune, nous introduisons MultiRef-Compass, un benchmark unifié pour la génération MR2AV. Il comprend 350 échantillons soigneusement sélectionnés, construits via un pipeline de composition d’actifs scalable et contrôlable, couvrant la préservation de sujets multi-vues, la liaison de multiples entités, et la composition humain-objet-scène. Afin de fournir une évaluation interprétable, MultiRef-Compass définit un protocole d’évaluation avec quatre dimensions : Qualité de base, Cohérence des références, Cohérence audio-visuelle, et Suivi d’instructions, utilisant 14 sous-métriques. MultiRef-Compass intègre des métriques automatiques avec un cadre de juge MLLM assisté par réévaluation, permettant une évaluation scalable et vérifiable de la fidélité perceptuelle et de la composition conditionnée par les références. Des expériences approfondies sur huit systèmes MR2AV représentatifs révèlent une marge d’amélioration substantielle dans plusieurs dimensions d’évaluation, soulignant la nécessité d’un benchmark complet et positionnant MultiRef-Compass comme une fondation pour la recherche future en MR2AV.
La cognition humaine ne sépare pas la compréhension et la génération. Un enseignant au tableau parle et dessine simultanément, chaque modalité remodelant l'autre. Dans cet article, nous transposons cette boucle couplée aux systèmes artificiels. Les Modèles de Diffusion Masqués (MDM) sont idéalement adaptés à cette tâche, pourtant les échantillonneurs existants soit décodent le texte et l'image de manière entrelacée, soit les mettent à jour indépendamment dans des branches parallèles qui partagent uniquement l'historique de l'étape précédente, mais pas les dernières décisions de l'autre modalité au sein de la même étape ; combiné à l'incapacité des MDM à remasquer, les contradictions inter-modales ne sont ni détectées ni corrigées. Nous introduisons les Processus de Sauts de Markov Couplés Auto-Correcteurs (SC-CMJP), un cadre dans lequel les taux de transition d'une modalité sont des fonctionnelles du score de confiance de l'autre modalité, pondéré par l'attention inter-modale. De plus, un saut de remasquage annule les engagements dès que les preuves inter-modales s'y opposent. En conjonction avec SC-CMJP, nous introduisons CO₂Jump (Saut Couplé Auto-Correcteur), un nouvel échantillonneur en un seul passage, sans entraînement, pour la génération multimodale conjointe. À des fins d'entraînement et d'évaluation, nous avons créé et publierons trois grands corpus de génération multimodale conjointe : JEdit-1M, JMaze-200K, JNono-200K, avec des références intra- et hors-distribution correspondantes. CO₂Jump atteint les meilleures performances conjointes en compréhension et édition d'images ainsi qu'en raisonnement visuel (résolution de labyrinthes et de nonogrammes). Les performances de l'échantillonneur augmentent de manière monotone avec le nombre d'étapes de débruitage, preuve que les bénéfices du couplage inter-modal s'accumulent le long de la trajectoire. Page du projet : https://coupled-jump.github.io
La création de mondes interactifs répondant de manière cohérente aux actions des joueurs est depuis longtemps un objectif commun à l'infographie, aux jeux vidéo et à l'intelligence artificielle. Les modèles récents de génération vidéo offrent une voie basée sur les données pour atteindre cet objectif, en prédisant des observations futures conditionnées par les actions des utilisateurs, et sont de plus en plus considérés comme de potentiels moteurs de jeu de nouvelle génération. Cependant, réaliser un monde de jeu véritablement interactif exige des résultats d'interaction qui suivent des règles sur des conditions de jeu en évolution, des conséquences qui persistent sur de longs horizons temporels, et une boucle de génération fonctionnant en temps réel. Les moteurs de jeu conventionnels réalisent ces propriétés grâce à une boucle récurrente action-état-observation, dans laquelle les actions du joueur mettent à jour un état de jeu explicite selon des règles prédéfinies et les observations sont rendues à partir de l'état résultant. En prenant cette boucle comme perspective organisatrice, cet article examine la modélisation des mondes de jeu interactifs selon quatre dimensions : le contrôle des actions du joueur, la dynamique de l'état du jeu, la persistance état-observation, et la génération interactive en temps réel. Pour chaque dimension, nous partons des capacités requises par un monde de jeu interactif, regroupons les approches existantes en familles représentatives, et discutons des forces et des compromis de chaque famille. Complétant cette analyse, nous présentons un moteur de données évolutif pour Black Myth: Wukong qui collecte plus de 90 heures de jeu avec des actions de joueur alignées sur les images, des états de jeu réels, et des observations visuelles, ainsi que des annotations structurées et sémantiques, en tant que ressource pour la modélisation de mondes de jeu conscients de l'état. Nous espérons que cet article offrira une vision claire de l'état actuel du domaine et favorisera les progrès vers des mondes de jeu interactifs.
Apprendre une connaissance étendue du monde directement à partir de données visuelles brutes est une capacité fondamentale de l'intelligence. Nous présentons UniVR, la première étude portant sur l'apprentissage simultané de raisonnements complexes, de dynamiques physiques fines et de planification à long terme à partir de démonstrations purement visuelles. Au cœur d'UniVR se trouve VR-GRPO, un paradigme d'apprentissage par renforcement doté de récompenses complémentaires globales et par étape. Cette approche garantit la cohérence logique et la cohérence physique tout au long du processus de raisonnement, sans nécessiter d'heuristiques spécifiques à la tâche ni de paires image-texte. Pour entraîner et évaluer UniVR, nous construisons VR-X, un benchmark à grande échelle compilé à partir de 16 sources diverses couvrant la manipulation à long horizon, les puzzles spatiaux et le raisonnement physique. Il s'agit de la première suite complète à évaluer ces capacités hétérogènes dans le cadre d'un protocole purement visuel. De manière remarquable, UniVR obtient jusqu'à 25 % d'amélioration sur VR-X, et sa capacité de raisonnement visuel supérieure améliore également les performances sur divers benchmarks de compréhension multimodale. Ces résultats soulignent l'immense potentiel du raisonnement dans les espaces visuels, et l'ensemble du code, des données et des modèles est rendu open source pour permettre des recherches ultérieures.
L’apprentissage par renforcement est devenu une méthode standard de post-entraînement pour les grands modèles de langage, mais les mises à jour denses des paramètres complets créent deux goulots d’étranglement liés au déploiement : une performance de raisonnement supprimée, souvent reflétée par une saturation prématurée du passage à l’échelle en phase de test, et une interférence lors de la consolidation de multiples capacités par un entraînement multi-domaines ou une fusion de modèles. Nous montrons que la composante efficace pour le raisonnement de ces mises à jour est largement concentrée dans l’espace spectral du modèle de base, ce qui motive le Subspace-Aligned Rewiring (SAR), une méthode de modification a posteriori qui conserve ce noyau spectral tout en éliminant les composantes orthogonales. Le SAR préserve donc les gains de raisonnement et filtre les directions résiduelles de mise à jour qui suppriment la performance ou amplifient l’interférence inter-domaines. Sur plusieurs familles et échelles de modèles, le SAR extrait des noyaux de raisonnement compacts en utilisant aussi peu qu’environ 0,58 % des paramètres totaux : il préserve plus de 99 % de la performance post-entraînement et améliore l’exploration élevée en k dans le raisonnement mathématique, et se généralise au codage agentique en améliorant six des sept benchmarks ouverts sur un modèle interne. Le SAR purifie également les mises à jour d’entraînement multi-domaines en libérant la capacité de codage supprimée tout en maintenant le raisonnement mathématique et le suivi d’instructions. Il permet en outre la fusion de modèles entre experts, produisant une généralisation inter-domaines qui dépasse les précédentes bases de fusion et même les meilleurs experts mono-domaine. Globalement, le SAR montre que l’extraction des mises à jour efficaces pour le raisonnement à partir de la géométrie des paramètres peut servir de mécanisme sans entraînement pour améliorer le raisonnement et la performance multi-domaines.
Nous présentons Wan-Streamer v0.3, qui réorganise notre modèle d'interaction en continu natif autour d'une vision unificatrice : une vidéo est un monde auquel s'ajoute un flux d'événements. Le monde constitue le contexte persistant dans lequel se déroule la vidéo, incluant l'environnement, la scène, les sujets, les conditions acoustiques ambiantes, les caractéristiques vocales et d'autres éléments relativement stables. Le flux d'événements regroupe tout ce qui évolue au fil du temps au sein de ce monde, notamment les changements de scène ou d'environnement, le comportement des sujets, la parole et autres sons. Cela conduit à une tâche de pré-entraînement généraliste sur de grandes quantités de vidéos réelles : à partir d'un monde et d'une entrée entrante, prédire comment le monde se déplace, se transforme et réagit en temps réel. La compétence ainsi acquise peut être spécialisée pour une vaste famille de tâches temps réel en aval. Nous l'instancions sur l'interaction audiovisuelle en full-duplex en temps réel, où le flux d'événements correspond à la parole de l'agent ainsi qu'à des comportements libres. Fonctionnellement, le processus de compréhension multimodale du modèle est de type vision-langage-action : il transforme les entrées utilisateur multimodales en actions de parole et de comportement sous forme langagière. Wan-Streamer v0.3 conserve le point de fonctionnement de la v0.2 : vidéo 640×368 à 25 images/s, une unité de streaming de 160 ms, une latence de réponse côté modèle d'environ 200 ms, et une latence d'interaction totale d'environ 550 ms avec un budget réseau bidirectionnel de 350 ms.
La distillation sur politique (OPD) est devenue un paradigme clé dans le post-entraînement des LLM, mais ses dynamiques d'entraînement restent mal comprises. Nous présentons une étude systématique examinant le rôle, les pathologies et les régulations de l'OPD. Nous clarifions d'abord le rôle de l'OPD comme catalyseur d'exploration : elle oriente l'étudiant vers des chemins de raisonnement corrects via un guidage dense au niveau des tokens, sans élargir le plafond de capacité. Nous confirmons cela en montrant que la diversité des prompts importe plus que le nombre d'échantillons par problème, et surtout que l'efficacité de l'OPD repose entièrement sur la qualité de son signal de guidage. Cette dépendance expose deux pathologies qui font dérailler l'exploration. Le décalage étudiant-enseignant survient lorsqu'un grand écart de distribution entre l'enseignant et l'étudiant fait que le signal de guidage s'aligne mal avec la correction de la tâche, orientant l'exploration dans des directions contre-productives. L'exploitation de la longueur apparaît lorsque l'objectif agrégé au niveau des tokens crée des raccourcis dépendants de la longueur, permettant à l'étudiant de jouer avec le paysage des récompenses par troncature ou ajout redondant de tokens, explorant des modes de longueur dégénérés plutôt que des stratégies de raisonnement. Pour maîtriser ces pathologies, nous étudions des régulations légères du signal : l'écrêtage de l'avantage et la compression logarithmique, assurant que l'exploration est guidée par des signaux fidèles. Des expériences sur sept benchmarks montrent que ces régulations atténuent l'exploitation de la longueur et permettent une distillation efficace, surpassant de manière stable les variantes d'OPD et les références RLVR, confirmant ainsi que c'est la qualité du signal bien régulée, et non la simple échelle de l'enseignant, qui gouverne une exploration réussie dans l'OPD.
Les modèles fondamentaux de robotique récents fonctionnent avec un contexte visuomoteur à pas unique ou à historique court. Nous présentons les politiques robotiques avec entraînement au moment du test (RoboTTT), un modèle robotique et une méthode d'entraînement qui étendent le contexte visuomoteur jusqu'à 8 000 pas de temps, soit trois ordres de grandeur de plus que les politiques de pointe, sans augmenter la latence d'inférence. À cette longueur de contexte, nous débloquons de nouvelles capacités robotiques : imitation en contexte en un seul essai à partir de démonstrations vidéo humaines, amélioration des politiques à la volée, robustesse aux perturbations, et performances accrues sur des tâches multi-étapes et à long horizon. Nous observons également, pour la première fois, des gains constants dans les performances en boucle fermée à mesure que la longueur du contexte de pré-entraînement augmente. Au cœur de RoboTTT se trouve l'intégration de l'entraînement au moment du test dans les modèles fondamentaux de robotique, tels que les politiques Vision-Langage-Action, produisant un modèle séquentiel dont l'état récurrent est constitué de poids rapides, des paramètres mis à jour par descente de gradient pendant l'entraînement et l'inférence, compressant les historiques dans l'espace des poids et récupérant les informations contextuelles pour un conditionnement à long contexte. Pour augmenter la longueur du contexte d'entraînement, la méthode combine le forçage d'actions séquentielles avec la rétropropagation tronquée dans le temps. Sur des tâches de manipulation robotique réelles difficiles, RoboTTT améliore les performances globales de 87 % par rapport à la référence à contexte à pas unique et termine complètement une tâche d'assemblage de cinq minutes et dix étapes, ce qu'aucune référence ne parvient à faire. RoboTTT, entraîné avec un contexte de 8 000 pas de temps, surpasse le même modèle pré-entraîné avec 1 000 pas de temps de 62 %, suggérant que la longueur du contexte constitue un nouvel axe de passage à l'échelle pour les modèles fondamentaux de robotique. Les vidéos sont disponibles sur https://research.nvidia.com/labs/gear/robottt/
Les générateurs MeanFlow permettent un échantillonnage rapide en quelques étapes en prédisant les vitesses moyennes sur des intervalles de temps, ce qui les rend attractifs pour une génération efficace. L'apprentissage par renforcement (RL) est devenu un moyen puissant d'aligner les modèles de diffusion et de flux sur les préférences humaines et les objectifs spécifiques aux tâches. En particulier, DiffusionNFT propose un cadre RL efficace en processus direct qui ne nécessite ni trajectoires de processus inverse ni estimation de vraisemblance. Cependant, l'application de telles méthodes RL à MeanFlow reste peu explorée. DiffusionNFT optimise les vitesses instantanées, alors que MeanFlow échantillonne avec des vitesses moyennes. Pour combler cet écart, nous introduisons MeanFlowNFT. Inspiré par l'identité MeanFlow, qui relie les vitesses moyennes et instantanées, nous construisons un prédicteur de vitesse instantanée induit. Nous appliquons l'objectif de DiffusionNFT à ce prédicteur, rendant l'optimisation par récompense bien définie pour MeanFlow. L'échantillonnage reste basé sur la vitesse moyenne, préservant la génération rapide en quelques étapes de MeanFlow. Nous prouvons en outre que MeanFlowNFT hérite de la garantie stricte d'amélioration de politique de DiffusionNFT. Des expériences sur la génération d'images et de vidéos montrent que MeanFlowNFT améliore systématiquement les références. De plus, il surpasse les générateurs antérieurs en quelques étapes optimisés par RL sur la plupart des métriques (6 sur 8 pour SD3.5-M), et peut même dépasser une diffusion optimisée par RL en plusieurs étapes tout en n'utilisant que quelques étapes d'échantillonnage. Par exemple, sur Wan 2.1, MeanFlowNFT en 4 étapes atteint un score VBench de 84,33, surpassant LongCat-Video RL en 50 étapes (82,57).
Les modèles fondamentaux de génération musicale ont récemment suscité un intérêt considérable dans l'industrie. Cependant, obtenir une génération efficace et un audio longue durée de haute fidélité tout en garantissant la contrôlabilité reste un défi. Pour répondre à ces besoins, nous présentons WanSong, une approche simple mais puissante pour la génération de chansons longues de qualité commerciale. Contrairement aux pipelines autorégressifs (AR) et aux pipelines en cascade multi-étapes (par exemple, AR suivi de diffusion), WanSong est un modèle purement basé sur la diffusion qui génère directement des chansons multilingues de haute fidélité pouvant aller jusqu'à 5 minutes et produit deux pistes (voix et musique de fond) en une seule exécution. De plus, notre cadre de diffusion permet une inférence plus rapide grâce à la distillation par étapes et offre une voie efficace pour le réglage fin et la personnalisation afin de prendre en charge des tâches d'édition en aval.
Les Transformers en boucle mettent à l’échelle le calcul séquentiel en appliquant une pile compacte de blocs physiques pendant plusieurs tours, ce qui augmente la profondeur déroulée sans accroître les paramètres stockés. Cette réutilisation modifie le problème de mise à l’échelle résiduelle : dans un Transformer non lié, chaque branche résiduelle reçoit et applique sa propre mise à jour des paramètres, tandis que dans un Transformer en boucle, une mise à jour partagée agrège les gradients issus de visites répétées et est relue par ces mêmes visites lors du passage avant linéarisé suivant. Nous formalisons cet effet de profondeur liée à l’aide d’une borne de perturbation du premier ordre contrôlée par un coefficient d’alignement des visites κ_R. Cette borne retrouve l’exposant de DeepNorm lorsque les visites se décorrèlent, mais dans le régime aligné conservateur, elle impose que l’exposant passe de 1/4 à 1/2 lorsque le nombre de boucles augmente à profondeur physique fixe. La méthode qui en résulte, DeepLoop, conserve l’architecture DeepNorm post‑normalisation et fixe α=(2N)^{1/2} et β=(8N)^{-1/2} pour une profondeur déroulée N. Sur des modèles de langage en boucle de style GPT aux échelles GPT-2 small et GPT-2 medium, DeepLoop est neutre lorsqu’aucun bloc physique n’est revisité et améliore la perte de validation ainsi que la précision en aval une fois la profondeur récurrente activée. Ces résultats montrent qu’une profondeur récurrente stable nécessite des règles de mise à l’échelle résiduelle qui tiennent compte des visites de paramètres, et non seulement du nombre nominal de couches.
Les personnes malvoyantes (PMV) rencontrent des défis quotidiens significatifs en raison d'un accès limité aux informations visuelles. Bien que les modèles de langage multimodaux de grande taille (MLLMs) aient obtenu des résultats impressionnants dans les tâches générales de vision et de langage, leur utilité pratique dans l'assistance réelle aux aveugles reste encore largement sous-explorée. Pour combler cette lacune, nous présentons VIABench, un benchmark vidéo complet spécialement conçu pour évaluer les MLLMs dans des scénarios d'assistance aux personnes malvoyantes, en utilisant des vidéos à la première personne enregistrées ou partagées par les PMV elles-mêmes. VIABench définit trois tâches principales, chacune ciblant un besoin distinct en matière d'assistance visuelle : Rappel proactif : évalue la capacité du modèle à interpréter le contenu vidéo en cours tout en anticipant et en décrivant verbalement de manière proactive les événements critiques à venir pour la navigation ; Réponse à des questions visuelles (VQA) : évalue la capacité du modèle à répondre aux questions posées par l'utilisateur sur l'environnement ou les objets présents dans la vidéo ; Interaction guidée par la vision : teste le raisonnement contextuel pour réaliser des interactions intentionnelles entre l'utilisateur et l'environnement. Pour garantir une évaluation robuste et équitable, nous proposons un pipeline d'évaluation comparative rigoureux qui prend en charge à la fois les contextes en ligne (temps réel) et hors ligne. Nos expériences montrent que les MLLMs actuels peinent encore à fournir un soutien complet aux PMV, en particulier dans la tâche de Rappel proactif, qui exige une anticipation précise et une réactivité en temps réel. Nous espérons que VIABench stimulera les recherches futures vers le développement de MLLMs adaptés à l'assistance réelle, améliorant ainsi les expériences de navigation et d'interaction pour les personnes malvoyantes. Le code et les données seront publiés à l'adresse https://github.com/MCG-NJU/VIABench.
Nous rapportons une méthode pour rendre un petit modèle de langage figé à la fois plus performant et considérablement moins coûteux, sans modifier aucun poids. Une connaissance vérifiée est déposée une fois sous forme d'artefact d'état clé-valeur (KV) exact au niveau de l'octet, puis restaurée, par greffe, dans un nouveau contexte d'inférence. La restauration est exacte au bit près : sous une configuration déterministe figée, les logits greffés sont identiques octet par octet à un calcul frais (égalité SHA-256), avec une divergence KL nulle et un accord argmax à 100 % sur cinquante échantillons. Nous montrons que la greffe en position propre est le seul point de fonctionnement numériquement exact sur un modèle doté d'un encodage rotatif en virgule flottante, et nous vérifions l'exactitude au niveau de l'octet sur deux échelles de modèle (12B, 31B) et deux cibles GPU, dont l'une via une relecture préenregistrée. Sur AIME 2025, un Gemma-4-12B figé passe de 80,0 % à 93,3 % une fois qu'une bibliothèque de solutions vérifiées est greffée, soit au-dessus de ses propres références publiées de 77,5 % et de celles de son homologue 31B à 89,2 %. Dans le cas récurrent, huit problèmes que le modèle de base ne résout jamais dans une limite de 401 026 tokens sont résolus à partir de solutions vérifiées mises en cache en 61 tokens de décodage au total, soit un facteur de 6 574 tokens de moins et environ 8 700 fois moins d'énergie ; la revendication de capacité repose proprement sur un transfert sur données retenues (7 sur 7 à 31B). Le même stockage exact au niveau de l'octet élargit le contexte utilisable de 32 768 à 2 854 766 tokens sans mémoire d'accélération supplémentaire, et se déplace de manière identique au niveau de l'octet entre machines de la même architecture. Nous décrivons le système au niveau comportemental ; le moteur est propriétaire, et chaque nombre rapporté est soutenu par des hachages d'entrée et de sortie engagés, de sorte que le score puisse être revérifié sans celui-ci.
L'apprentissage en contexte est généralement interprété comme une forme d'inférence conditionnelle, où la consigne spécifie un contexte et la sortie du modèle est considérée comme une estimation de la distribution conditionnelle correspondante. Si cette interprétation est valide, alors les estimations des LLM devraient satisfaire des identités probabilistes fondamentales. En particulier, la loi de probabilité totale stipule que les distributions conditionnelles pondérées par les a priori s'agrègent en distributions marginales au niveau de la population pour toute partition valide de celle-ci. Dans ce travail, nous examinons dans quelle mesure les estimations des LLM adhèrent à ce principe d'auto-cohérence. Nous utilisons des arbres binaires comme cadre d'évaluation pour partitionner récursivement une population en sous-populations de granularité croissante. Nous sollicitons ensuite les LLM avec des descriptions verbalisées des sous-populations en contexte, nous agrégéons les estimations obtenues en estimations au niveau de la population, et nous les comparons à travers des partitions de granularités variables. En appliquant ce protocole à divers domaines de problèmes et aux modèles de pointe les plus récents, nous mettons en évidence des violations généralisées des propriétés de cohérence de base. Une étude approfondie du *persona prompting* révèle un schéma que nous appelons **l'erreur macro** : les estimations reconstruites à partir des réponses de sous-populations plus fines sont souvent mieux alignées avec les données de référence humaines que les estimations directes au niveau de la population. Cet effet persiste à travers les variations de la structure de l'arbre et de la tâche d'estimation, et peut être partiellement reproduit par des consignes implicites. Ensemble, ces résultats suggèrent que les modèles possèdent des connaissances pertinentes sur les sous-populations mais ne les propagent pas de manière fiable dans les estimations agrégées. Ce fossé établit l'auto-cohérence statistique comme un critère non saturé et sans référence pour évaluer les LLM.
Les récents modèles généralisables de Gaussian Splatting 3D ont fait progresser la synthèse de nouvelle vue (NVS) sur de longues séquences, mais au prix d’un calcul redondant substantiel. Nous identifions que cette redondance peut être atténuée en s’appuyant sur deux observations : (i) une géométrie de haute précision n’est pas strictement nécessaire pour une NVS de haute qualité ; (ii) l’apprentissage de l’apparence est généralement plus facile que la récupération de la géométrie. Motivés par ces observations, nous proposons une architecture asymétrique qui dissocie la modélisation de la géométrie et de l’apparence. La branche géométrie traite des jetons à gros grains avec la plupart des paramètres pour la reconstruction multi-vue, tandis que la branche apparence opère sur des jetons à grains fins pour capturer les détails en utilisant beaucoup moins de paramètres. Les deux branches interagissent par le biais de connexions bilatérales, permettant un guidage mutuel pour leurs tâches respectives. Cette asymétrie consciente des tâches réduit la redondance de calcul et répartit le calcul de manière plus judicieuse, augmentant ainsi l’efficacité des paramètres et permettant à des modèles plus petits d’atteindre de bonnes performances. Sur des entrées 32 vues en 960P, notre modèle égalise les méthodes basées sur l’optimisation tout en offrant une accélération de près de 800x, et dépasse les performances zero-shot des modèles généralisables de pointe avec nettement moins de paramètres et une charge réduite d’entraînement/d’inférence, réalisant ainsi une amélioration globale de l’efficacité.
La génération augmentée par récupération agentique (RAG) étend le RAG statique en permettant aux modèles de langage de raisonner itérativement, de générer des requêtes de recherche, de récupérer des preuves et de prédire des réponses. Cependant, il reste difficile pour les modèles de décider quand récupérer, d'utiliser une correspondance lexicale ou une similarité sémantique, et comment contrôler la granularité du contexte pour éviter que des tokens non pertinents n'interfèrent avec le raisonnement de l'agent. Dans cet article, nous présentons GRASP, un cadre d'apprentissage par renforcement (RL) pour entraîner des agents à coordonner de manière adaptative des outils de récupération complémentaires lors d'un raisonnement multi-étapes. GRASP fournit à l'agent des actions de recherche sémantique, de recherche par mots-clés et de lecture de paragraphes, lui permettant de récupérer des preuves au niveau de la phrase et d'étendre le contexte supplémentaire uniquement lorsque cela est nécessaire. Nous entraînons la politique avec une récompense qui prend en compte conjointement la précision des réponses, la lecture fondée sur des preuves, la recherche complémentaire et l'efficacité des tours. Les expériences sur des benchmarks de raisonnement multi-sauts montrent que GRASP améliore à la fois le rappel de récupération et les performances de réponse aux questions en aval par rapport à la récupération en une seule étape, au RAG agentique basé sur des invites, et aux lignes de base de récupération basées sur RL. Les analyses qualitatives et d'ablation montrent que la politique apprise développe un comportement interprétable de survol et de balayage : elle utilise la recherche sémantique pour une exploration large, la lecture de paragraphes pour une vérification locale, et la recherche par mots-clés pour des preuves spécifiques à une entité. Ces résultats suggèrent qu'apprendre à coordonner les signaux de récupération et la granularité du contexte est crucial pour le raisonnement correct de l'agent.
La cognition incarnée exige que les agents connectent le raisonnement de haut niveau sur les tâches avec les états physiques à atteindre. Nous présentons Hy-Embodied-RxBrain, un modèle de fondation de cognition incarnée avec raisonnement et imagination conjoints langage-visuel. Contrairement aux modèles vision-langage qui mettent l'accent sur la compréhension de la scène et la prise de décision textuelle, ou aux modèles génératifs du monde qui prédisent principalement les états visuels futurs, RxBrain représente les plans incarnés dans une séquence de planification unique où le langage et l'imagination visuelle jouent des rôles complémentaires. Le langage fournit la structure abstraite d'un plan, incluant la décomposition des tâches, les primitives de planification, les contraintes, l'ordre temporel et la logique décisionnelle, tandis que l'imagination visuelle ancre cette structure via la prédiction d'état du monde et la planification conjointe de sous-objectifs, associant chaque étape de planification à des états physiques intermédiaires et finaux. RxBrain adopte une architecture multimodale unifiée de type Mixture-of-Transformers qui prend en charge la compréhension et la génération de langage, d'images et de vidéos au sein d'un seul modèle. Pour entraîner cette capacité, nous construisons un pipeline automatique qui convertit les vidéos incarnées en supervision conjointe texte-visuel de planification en décomposant les vidéos en étapes de planification et en les alignant sur les transitions d'état visuel. Nous introduisons également RxBrain-Bench pour évaluer si les modèles peuvent représenter des plans incarnés via des composants textuels et visuels conjoints plutôt qu'une compréhension ou une génération séparée. Les expériences montrent que RxBrain maintient des capacités de compréhension et de génération incarnées, et produit des plans avec un raisonnement textuel couplé, une prédiction d'état du monde et une planification conjointe de sous-objectifs. Nous étendons également RxBrain à la génération d'actions robotiques continues, où il montre des performances prometteuses sur robot réel sans pré-entraînement sur des données d'action à grande échelle. Ces résultats constituent une première étape vers des modèles de fondation pour la cognition incarnée.
L'alignement CAO-image vise à estimer la pose 9D d'un objet (rotation, translation et échelle anisotrope) à partir d'une seule image RVB, permettant des applications en robotique et en réalité augmentée. Les récentes méthodes zero-shot utilisent des modèles de base visuels pour mettre en correspondance des régions d'image avec des modèles CAO, mais leurs correspondances sont généralement basées sur l'apparence et se dégradent en cas d'occlusion ou de changement de domaine sim-vers-réel. Pour remédier à ces limitations, nous présentons SUFLECA (Scaling Up Feature LEarning for CAD Alignment), un cadre faiblement supervisé pour l'alignement CAO zero-shot avec deux contributions clés. Premièrement, SUFLECA amplifie l'apprentissage de caractéristiques ancrées dans la géométrie à partir de représentations visuelles pré-entraînées, via une supervision par Coordonnées d'Objet Normalisées (NOCs) sur 674K images couvrant 12 ensembles de données réels et synthétiques, apprenant des caractéristiques compactes conscientes de la géométrie qui se généralisent à travers les domaines. Deuxièmement, nous proposons un algorithme de mise en correspondance géométriquement cohérent qui établit des correspondances CAO-image fiables un-à-un. Ensemble, ces contributions permettent un alignement précis et inférieur à la seconde par instance d'objet, sans raffinement itératif de pose. Sur ScanNet25k, SUFLECA atteint 33,4 %/42,3 % de précision par catégorie/instance, surpassant, avec une empreinte de calcul plus faible, la baseline zero-shot la plus forte de 10,3/12,2 points de pourcentage et, pour la première fois sur ce benchmark, surpassant même les méthodes entièrement supervisées. Le code est disponible à l'adresse : https://github.com/snt-arg/SUFLECA
Les modèles vidéo évoluent vers des modèles de base de la vision, mais ils ne disposent pas encore d’un raisonnement multi-étapes de type humain. Les modèles de diffusion autorégressifs en streaming sont efficaces mais limités en raisonnement, tandis que la diffusion bidirectionnelle permet une révision globale avec des coûts d’inférence élevés en raison du débruitage dense au niveau des trames. Les deux paradigmes peinent à atteindre une cohérence logique et un streaming à faible latence pour des tâches de raisonnement complexes. Nous proposons HDR (Hierarchical Denoising for Visual Reasoning), un cadre unifié qui intègre des latents hiérarchiques dans la génération causale de vidéos pour un raisonnement multi-étapes. HDR organise les latents vidéo en une hiérarchie arborescente, permettant un raisonnement du grossier au fin avant la sortie en streaming. Les couches de débruitage grossières préservent des hypothèses incertaines pour une planification globale, tandis que les couches plus fines les affinent progressivement en états visuels concrets. Un motif d’attention hiérarchique sparse (SHAP) réduit encore les coûts d’attention temporelle. Nous introduisons un benchmark de raisonnement vidéo multi-étapes stratifié par niveau avec des cas hors distribution, couvrant six tâches : navigation dans un labyrinthe, tours de Hanoï, dessin en un trait, puzzle coulissant, Sokoban et versement d’eau. Comparé aux bases de diffusion autorégressive en streaming, HDR améliore le succès de 34,22 à 60,29 (gain relatif de 76,2 %) et augmente la progression moyenne de 76,00 à 89,56, démontrant des trajectoires de raisonnement plus cohérentes. HDR maintient un streaming à faible latence de 0,70 seconde par latent, réalisant une inférence 54,2 fois plus rapide que la diffusion bidirectionnelle. Il conserve également 82,9 % des performances sur données complètes avec seulement 2 % de données d’entraînement, contre 52,0 % pour la diffusion bidirectionnelle. Des expériences robotiques dans le monde réel démontrent en outre le potentiel de HDR pour l’interaction physique et la modélisation du monde. Démo du projet : https://hierarchical-diffusion-reasoning.github.io/.
La validation des systèmes de conduite autonome nécessite des scénarios de test diversifiés et conformes à la réglementation. Dans les tests basés sur la simulation, les scénarios sont définis sous forme de scripts exécutables. Cependant, la génération automatique de ces scripts à partir de descriptions réglementaires reste un défi ouvert, et les approches existantes font face à des compromis fondamentaux. Les méthodes de récupération et d'assemblage atteignent des taux de compilation raisonnables, mais manquent d'évolutivité, tandis que la génération complète de scripts par récupération souffre de faibles taux de réussite de compilation. Nous présentons Chat2Scenic, le premier cadre itératif augmenté par récupération pour générer des scripts de scénarios dans un langage spécifique au domaine (DSL). Plus précisément, Chat2Scenic propose une interface de chatbot qui prend en charge le raffinement interactif des scénarios et intègre la génération augmentée par récupération (RAG) pour ancrer la génération de scénarios dans les connaissances réglementaires et la syntaxe DSL. De plus, nous proposons un référentiel ouvert pour la génération de scénarios comprenant 123 scénarios provenant de diverses réglementations, notamment la NHTSA et les règlements des Nations Unies pour les véhicules, ainsi que d'autres sources. Une évaluation approfondie avec des modèles de langage de grande taille (LLMs) de pointe démontre que Chat2Scenic atteint un taux de réussite de compilation (CSR) de 76,42 % et une précision du cadre (FA) de 58,17 %, surpassant les méthodes existantes (assemblage par récupération avec 30,08 % de CSR et 11,03 % de FA, et génération complète de scripts par récupération avec 16,26 % de CSR et 10,86 % de FA). Pour faciliter les recherches futures, nous publions notre code en open source à l'adresse https://github.com/TUM-AVS/chat2scenic.
Dans cet article, nous introduisons la diffusion continue par temps de jeton (TTCD), un nouveau modèle de langage par diffusion qui (a) opère dans un espace continu, en mappant de manière déterministe un bruit gaussien à un canevas de jetons final sans aucun échantillonnage supplémentaire, et surtout (b) intègre une nouvelle notion de temps par jeton, certains jetons progressant du bruit au jeton à un rythme plus rapide que d'autres. La modélisation en espace continu aide TTCD à éviter l'échantillonnage parallèle de multiples jetons, une source majeure d'imprécision à des accélérations élevées pour les modèles qui itèrent purement dans l'espace discret. La notion de temps par jeton aide TTCD à mieux modéliser la génération conditionnelle, permet aux jetons plus certains de progresser à un rythme plus rapide, et autorise des influences inter-jetons différenciées lors du raffinement. TTCD surpasse les modèles discrets à des accélérations élevées. Nous entraînons un modèle TTCD de 160 millions de paramètres sur OpenWebText, puis l'auto-distillons ; nous constatons qu'à des accélérations élevées, notre qualité de génération inconditionnelle est comparable, et notre génération conditionnelle est supérieure à celle de plusieurs modèles existants de taille similaire, entraînés sur les mêmes données et auto-distillés. Nous obtenons également des gains similaires dans la résolution de Sudoku.