Articles de recherche IA sélectionnés quotidiennement avec traductions
Nous introduisons un cadre d'évaluation axiomatique pour les représentations latentes de la pensée dans les LLMs, comprenant des métriques indépendantes des scores de référence en aval et révélant des échecs représentationnels que masque la précision des benchmarks. Les évaluations existantes confondent la qualité de la représentation avec la capacité du modèle. Par conséquent, les échecs ne peuvent être attribués à la représentation plutôt qu'au modèle qui la traite. Nous formalisons quatre axiomes fonctionnels (Causalité, Minimalité, Séparabilité et Stabilité) et définissons une mesure quantitative pour chacun, calculée directement sur la représentation, indépendamment de la précision en aval. Nous auditonnons des LLMs à poids ouverts sur 23 tâches de raisonnement (par exemple, Raisonnement Spatial, QA Factuelle). Nous constatons qu'aucun candidat ne satisfait simultanément les quatre axiomes, que les représentations distinguent de manière fiable le type de tâche mais ne peuvent distinguer deux questions relevant d'une même tâche, et que les représentations encodent peu d'informations au-delà de ce qui est déjà présent dans le plongement d'entrée. Cet échec est constant à travers les familles de modèles denses, distillés par raisonnement et entraînés par RL, ce qui indique que le fossé est structurel, et non une propriété de la taille du modèle ou de la procédure d'entraînement.
Les modèles de génération vidéo sont devenus un paradigme prometteur pour la simulation incarnée du monde. Cependant, tant les générateurs vidéo généralistes que les modèles affinés sur des données spécifiques aux robots peuvent encore produire des manipulations physiquement invraisemblables, notamment des trajectoires de mouvement discontinues et des interactions robot-objet inconsistantes, ce qui limite leur fiabilité en tant que simulateurs de monde. À travers une série d'expériences approfondies, nous constatons que cette instabilité physique provient principalement de deux facteurs : la déformation des objets en mouvement et les corrélations spatio-temporelles invraisemblables entre entités en interaction, en particulier lors des contacts. À partir de cette observation, nous proposons PhysisForcing, un cadre d'entraînement évolutif qui renforce la cohérence physique en concentrant la supervision sur les régions informatives du point de vue physique, par l'optimisation conjointe des caractéristiques au niveau pixel et au niveau sémantique. Le cadre comprend une perte d'alignement de trajectoire au niveau pixel, qui supervise les caractéristiques DiT à l'aide de trajectoires de points de référence, et une perte d'alignement relationnel au niveau sémantique, qui aligne les caractéristiques DiT avec les relations inter-régions extraites d'un encodeur de compréhension vidéo figé. Des expériences approfondies sur R-Bench, PAI-Bench et EZS-Bench montrent que PhysisForcing améliore systématiquement la génération vidéo incarnée par rapport à des bases de référence solides, améliorant les modèles de base Wan2.2-I2V-A14B et Cosmos3-Nano sur R-Bench de 22,3 % et 9,2 % (7,1 % et 3,7 % par rapport à un finetuning standard), la variante Cosmos3-Nano obtenant le meilleur score global. Au-delà de la génération, en tant que modèle de monde dans le protocole planificateur d'actions WorldArena, il élève le taux de succès en boucle fermée de 16,0 % à 24,0 % et améliore encore le succès des politiques en aval, indiquant que les modèles vidéo alignés physiquement produisent des représentations plus robustes pour la manipulation robotique.
Nous présentons Qwen-Image-2.0-RL, un pipeline de post-entraînement qui applique l'apprentissage par renforcement à partir du feedback humain (RLHF) et la distillation on-policy (OPD) pour améliorer à la fois la qualité visuelle et la capacité de suivi des instructions du modèle de diffusion Qwen-Image-2.0. Afin de fournir des signaux de récompense fiables, nous construisons des modèles de récompense composites spécifiques à chaque tâche en affinant des modèles vision-langage avec un paradigme d'évaluation ponctuelle et un raisonnement en chaîne de pensée. Pour la génération texte-vers-image, les modèles de récompense couvrent l'alignement, l'esthétique et la fidélité des portraits. Pour les tâches d'édition d'images, le système de récompense aborde la précision du suivi des instructions et la préservation de l'identité faciale. En nous appuyant sur ce système de récompense, nous développons un cadre d'entraînement RL scalable basé sur GRPO, intégrant une stratégie de guidage hybride sans classifieur (CFG) pour préserver les connaissances pré-entraînées, une curation des prompts via un filtrage par plage de récompense intra-groupe, et un calibrage des poids de récompense par catégorie. Afin de fusionner les politiques RL spécialisées pour les tâches T2I et d'édition, nous proposons la distillation on-policy comme étape d'entraînement finale, qui consolide plusieurs enseignants en un seul modèle étudiant via une correspondance de vélocité au niveau des trajectoires. Une évaluation approfondie montre que Qwen-Image-2.0-RL atteint un score global de 57,84 sur Qwen-Image-Bench (+2,61 par rapport au modèle de base), des classements Elo de 1193 dans l'arène texte-vers-image (+78) et de 1349 dans l'arène d'édition d'images (+93), démontrant des gains constants en qualité esthétique, en respect des consignes et en précision d'édition.
Nous étudions la possibilité d'apprendre de nouvelles compétences de manipulation à partir d'actions humaines pour un robot bimanuel équipé de préhenseurs parallèles. Les données d'action humaine sont peu coûteuses, abondantes et diversifiées, ce qui en fait l'une des ressources les plus prometteuses pour passer à l'échelle dans l'apprentissage robotique. Pourtant, transférer des compétences des humains aux robots reste difficile : la plupart des travaux antérieurs traitent les humains comme une autre incarnation bimanuelle à 6 degrés de liberté (6DoF), où les estimations de pose de la main sont bruitées et où les motifs de contact des doigts humains diffèrent fondamentalement de ceux d'un préhenseur parallèle. Nous soutenons qu'apprendre des signaux d'action incluant la rotation à partir de données humaines est donc sous-optimal, et proposons plutôt une représentation d'action de pont : la translation relative du poignet dans le repère initial de la caméra de tête, un espace d'action partagé par les humains et les robots. Pour gérer l'absence potentielle de certaines composantes d'action dans différentes incarnations, nous construisons un modèle vision-langage-action de type π₀ avec des jetons d'action entrelacés et un masquage d'attention. Sur un ensemble de nouvelles tâches de manipulation bimanuelle, notre action de pont transfère les connaissances de manipulation humaine aux robots bien plus efficacement que les actions humaines bruitées à 6DoF et passe à l'échelle avec la quantité de données humaines.
Les modèles fondamentaux en langage et multimodalité parviennent à une forte généralisation en alignant des données hétérogènes sous une formulation unifiée et en les entraînant à grande échelle. Dans ce rapport, nous étudions si cette recette de passage à l’échelle peut être appliquée à la manipulation robotique pour obtenir une véritable généralisation. Cela est difficile car, contrairement au texte, les données de manipulation sont par nature hétérogènes, coûteuses à collecter et pauvres en diversité, ce qui rend l’alignement et le passage à l’échelle simultanément difficiles. Nous présentons Qwen-RobotManip, un modèle fondamental Vision-Langage-Action généralisable construit sur Qwen-VL. Qwen-RobotManip introduit un cadre d’alignement unifié couvrant les dimensions représentationnelle, motrice et comportementale de la manipulation, rendant cohérent (plutôt que contradictoire) l’entraînement multi-sources à grande échelle. Cette capacité d’alignement permet à son tour à Qwen-RobotManip d’absorber des données de manipulation à une échelle que les régimes d’entraînement antérieurs ne pouvaient soutenir. Un pipeline de synthèse humain-robot convertit des démonstrations manuelles égocentriques en trajectoires robotiques sur 15 plateformes, et un pipeline de curation rigoureux harmonise des ensembles de données hétérogènes. En utilisant uniquement des ensembles de données open-source et des vidéos humaines, sans collecte de données propriétaires, Qwen-RobotManip constitue un corpus de pré-entraînement d’environ 38 100 heures et manifeste des capacités de généralisation émergentes, notamment le suivi d’instructions en zéro coup (zero-shot), la robustesse aux perturbations, la récupération réactive d’erreurs et le transfert inter-embodiment. Nous constatons que les références (benchmarks) standard ne parviennent pas à capturer la qualité du pré-entraînement et adoptons donc des contextes de distribution hors norme (OOD) incluant RoboCasa365, LIBERO-Plus, EBench, RoboTwin-Clean2Rand, RoboTwin-IF et RoboTwin-XE. Qwen-RobotManip surpasse nettement les modèles de l’état de l’art antérieurs, y compris π0.5, dans tous les contextes OOD, se classe 1er au RoboChallenge avec une amélioration relative de 20 %, et est validé sur des plateformes robotiques réelles incluant AgileX ALOHA, Franka, UR et ARX.
Les systèmes de navigation agentiques nécessitent un modèle de navigation de base dont la stratégie d'observation peut être reconfigurée de l'extérieur au moment de l'inférence, car le suivi d'instructions, la recherche d'objets, le suivi de cibles et la conduite autonome partagent la même base de perception-planification mais exigent des stratégies fondamentalement différentes pour consommer le flux visuel. Nous présentons Qwen-RobotNav, un modèle de navigation scalable construit sur Qwen-RobotNav qui y répond grâce à une interface paramétrée avec deux dimensions complémentaires : de multiples modes de tâche qui sélectionnent le comportement de navigation, et des paramètres d'observation contrôlables (par exemple, le budget de tokens, les poids par caméra) qui régissent la manière dont l'historique visuel est encodé. Grâce à une randomisation au moment de l'entraînement sur tous les paramètres, Qwen-RobotNav est robuste à toute configuration au moment de l'inférence ne nécessitant aucune modification architecturale du backbone de Qwen-RobotNav. Nous entraînons Qwen-RobotNav sur 15,6 millions d'échantillons ; le co-entraînement avec des données vision-langage empêche l'effondrement en mappeurs réactifs de séquences d'actions observé dans l'entraînement basé uniquement sur les trajectoires. L'interface paramétrée fait également de Qwen-RobotNav un bloc de construction naturel pour les systèmes agentiques : pour les scénarios à long horizon, un planificateur de haut niveau décompose les objectifs en sous-tâches et change dynamiquement le mode de tâche et la stratégie de contexte de Qwen-RobotNav en cours d'épisode, composant des comportements complexes à partir d'appels répétés au même modèle. Des expériences approfondies montrent que Qwen-RobotNav établit de nouveaux résultats de pointe sur les principaux benchmarks de navigation. Le modèle présente un passage à l'échelle favorable de 2B à 8B paramètres, avec un entraînement multitâche conjoint développant un substrat de planification spatiale partagé qui se transfère d'une famille de tâches à l'autre, et démontre une forte généralisation zero-shot aux robots du monde réel dans divers environnements.
Les modèles de langage (ML) représentent les tokens à l'aide de matrices de plongement dont la taille croît linéairement avec celle du vocabulaire. Afin de contraindre l'empreinte paramétrique, des travaux antérieurs proposent de hacher plusieurs tokens en un seul vecteur au sein de modèles à encodeur uniquement. Bien que cette approche offre une efficacité paramétrique, les collisions plusieurs-à-un empêchent son utilisation dans les ML causaux. Dans cet article, nous proposons MultiHashFormer, une nouvelle architecture permettant l'autorégression basée sur le hachage. Chaque token est représenté par une signature de hachage unique, une courte séquence d'identifiants de hachage discrets, générée par plusieurs fonctions de hachage indépendantes. Un Encodeur de hachage compresse cette signature en un vecteur latent unique destiné à être traité par un décodeur Transformer. Ensuite, un Décodeur de hachage génère la signature de hachage du token suivant, qui est ensuite reconvertie en texte. Nous évaluons notre approche aux échelles de 100M, 1B et 3B paramètres, démontrant que MultiHashFormer surpasse systématiquement les ML Transformer standards sur plusieurs références. De plus, nous montrons que notre modèle gère l'expansion multilingue du vocabulaire avec une empreinte paramétrique constante, sans aucune modification.
Les modèles de langage visuel (VLMs) sont de plus en plus déployés dans des applications grand public, médicales, financières et d'entreprise. Ce large déploiement élargit la surface de sécurité : des risques peuvent émerger du question-réponse multimodal, des réponses d'assistants et de la composition cross-modale, tandis que les politiques de modération peuvent varier selon les produits, les régions et les étapes de déploiement. La plupart des garde-fous existants reposent soit sur des taxonomies fixes, soit ciblent uniquement un ensemble restreint de contextes d'interaction, ce qui limite leur adaptabilité lorsque les règles de sécurité changent au moment du déploiement. Nous présentons SingGuard, une famille de modèles de garde-fou multimodaux adaptatifs aux politiques pour l'évaluation de la sécurité dans les conversations multimodales. SingGuard traite la politique active comme une entrée en cours d'exécution : étant donné des règles en langage naturel, il vérifie le contenu cible par rapport à la politique active règle par règle et prédit à la fois l'étiquette de sécurité et la règle déclenchée. Pour équilibrer efficacité et interprétabilité, SingGuard prend en charge des régimes d'inférence rapide, hybride et lent le long d'un spectre de raisonnement allant du rapide au lent, allant des jugements directs de sécurité à une délibération ancrée dans la politique. Nous optimisons davantage ce comportement avec un apprentissage par renforcement découplé rapide-lent. Nous introduisons également SingGuard-Bench, un benchmark de garde-fou multimodal comprenant 56 340 exemples couvrant plus de 80 types de risques fins dans les contextes d'évaluation du QA multimodal, des attaques adversariales et des règles dynamiques, y compris des cas de risques cross-modaux conjoints où chaque modalité est inoffensive isolément mais leur composition implique une intention dangereuse. Sur six familles de benchmarks (35 jeux de données), SingGuard atteint un F1 moyen de pointe dans chaque famille. L'évaluation des règles dynamiques montre en outre une précision améliorée de suivi des politiques, passant de 0,6465 à 0,7415 en cas de changements de politique en cours d'exécution. Notre code est disponible à l'adresse https://github.com/inclusionAI/Sing-Guard.
Les systèmes multi-agents (SMA) construits sur des grands modèles de langage (LLM) offrent un cadre prometteur pour résoudre des tâches complexes grâce à la spécialisation des rôles et à l'interaction structurée. Cependant, leurs performances sont souvent limitées par une mauvaise coordination et, plus fondamentalement, par l'absence d'une attribution de crédit fine entre les agents. Les approches existantes reposent généralement sur un retour d'information grossier, ce qui rend difficile l'identification des agents ou des étapes d'interaction responsables des erreurs. Nous proposons Gradient-Based Connections (GBC), une approche pour l'attribution fine et l'optimisation des systèmes multi-agents. GBC modélise un SMA comme un graphe de calcul et introduit des poids de connexion basés sur le gradient pour quantifier l'influence de la sortie de chaque agent sur les agents en aval au niveau des jetons. En construisant un graphe d'attribution et en propageant des signaux de perte spécifiques à la tâche vers l'arrière, notre méthode permet une identification précise des sources d'erreur et une optimisation ciblée des invites. Nous développons également AgentChord, une implémentation efficace qui exploite le calcul de gradient basé sur les préfixes. Des expériences sur MultiWOZ et τ-bench montrent que GBC améliore les performances multi-agents et surpasse des bases de référence fortes (mono-agent et multi-agents), et qu'une meilleure qualité d'attribution est associée à une plus grande efficacité d'optimisation. Le code est disponible à l'adresse : https://github.com/yxc-cyber/AgentChord.
Les robots opérant dans des environnements ouverts doivent intégrer de manière transparente la localisation, le raisonnement spatial, la navigation et la planification à long terme. Si les modèles spécialisés excellent dans des tâches individuelles, le déploiement d'une pile multi-modèles est coûteux en calcul et sujet à des erreurs en cascade. Nous présentons Vesta, un généraliste incarné unifié qui consolide ces capacités en un seul modèle fondation. Notre approche combine un corpus diversifié et massif, conçu pour induire un ancrage spatial, ainsi qu'un simple harnais de mémoire multimodale permettant un raisonnement sur des horizons temporels étendus. Sur divers benchmarks, Vesta bat en moyenne les bases de référence SOTA individuelles de plus de 20 % et bat un ensemble des meilleures bases de référence par catégorie de plus de 10 % — démontrant ainsi qu'un modèle généraliste peut égaler ou dépasser les spécialistes. Sur des tâches robotiques réelles nécessitant mémoire et raisonnement, Vesta améliore le taux de réussite des tâches de plus de 35 %. Notre travail montre donc qu'un unique généraliste constitue une alternative réalisable, évolutive et, sans doute, préférable à la combinaison de spécialistes.
La détoxification du texte, c'est-à-dire la détection et l'atténuation automatisées des contenus abusifs et nuisibles, est essentielle pour garantir la sécurité des communautés en ligne et protéger les utilisateurs. Cependant, les langues à faibles ressources telles que le tatar ont reçu peu d'attention de la part de la recherche. Dans cet article, nous présentons Tatoxa, un nouveau système à la pointe de la technologie pour la détoxification du texte en langue tatare. Des expériences comparatives montrent que l'approche proposée surpasse les LLMs open source et commerciaux propriétaires existants sur des métriques de qualité clés. Nous introduisons également un nouveau jeu de données pour la détoxification du texte en tatar, conçu pour le réglage fin et l'évaluation dans des contextes à faibles ressources. Enfin, les expériences de transfert interlingue indiquent qu'un transfert depuis d'autres langues, y compris le russe culturellement proche, obtient des performances nettement inférieures à celles d'un entraînement sur des données natives en tatar, même lorsqu'un grand corpus russe est disponible.
La réponse à des questions visuelles basée sur des connaissances (KB-VQA) exige des modèles qu'ils combinent la compréhension d'images avec des connaissances externes. La plupart des méthodes antérieures utilisent un pipeline fixe de recherche puis génération, avec un moteur de recherche présélectionné et un paramètre top-k statique, ce qui n'est pas adaptatif lors du raisonnement. Nous proposons ProMSA, un agent de recherche multimodale progressif pour la KB-VQA. Pour chaque paire image-question, l'agent choisit itérativement une recherche d'image, une recherche textuelle ou l'arrêt, dans le cadre de budgets explicites d'appels d'outils et avec une déduplication pour éviter les recherches redondantes. Pour l'entraînement, nous utilisons d'abord un SFT par échantillonnage par rejet pour apprendre les formats valides d'utilisation des outils, puis nous optimisons l'agent avec TN-GSPO, un objectif d'apprentissage par renforcement au niveau des séquences qui normalise les mises à jour à la fois par la longueur de génération et par la profondeur d'interaction avec les outils. Les expériences sur E-VQA et InfoSeek montrent des améliorations constantes par rapport aux solides références RAG et agents, ainsi qu'une meilleure précision de recherche et de bout en bout. Le code est disponible à l'adresse https://github.com/DingWu1021/Promsa.
Les agents vocaux sont confrontés à une tension fondamentale : le raisonnement, la récupération et l'utilisation d'outils qui rendent les modèles fondateurs capables sont itératifs et lents, tandis que l'interaction conversationnelle exige des réponses à l'échelle de la milliseconde. Les modèles plus petits et temps réel satisfont aux contraintes de latence mais ne peuvent égaler les modèles fondateurs sur des tâches complexes, ce qui oblige les agents vocaux actuels à sacrifier soit la réactivité, soit la capacité. Nous introduisons le remplissage conversationnel (conversational infill), où un petit modèle de parole (talker) génère immédiatement des réponses contextualisées pour masquer la latence d'un modèle de raisonnement externe (reasoner) et intègre de manière fluide les connaissances diffusées par le raisonneur dans ses réponses lors de l'inférence. Nous constituons un jeu de données synthétique de 290 571 exemples couvrant six domaines et démontrons que cette tâche est apprenable sur sept petits modèles de langage largement utilisés, allant de 135M à 1,7 milliard de paramètres. Notre implémentation système, ConvFill, maintient un délai de première réponse à l'échelle de la milliseconde tout en réduisant l'écart de précision à moins de 6,3 % des performances du raisonneur de pointe correspondant. Dans une étude utilisateur en direct (n=18) avec des modèles de parole déployés sur un SoC Apple M2, les participants classent ConvFill au même niveau que les modèles de pointe dans l'ensemble, le préfèrent pour les tâches lourdes en récupération et le jugent significativement plus réactif. Ces résultats montrent que le remplissage conversationnel ouvre un nouveau point sur la frontière de Pareto latence-capacité, offrant une voie pratique vers des agents vocaux à la fois réactifs et hautement capables. Le code, les modèles et les ensembles de données sont disponibles à l'adresse https://github.com/vysri/conversational-infill.
Les benchmarks pour agents web mesurent presque exclusivement la profondeur – en allant chercher une réponse obscure derrière une chaîne de contraintes – tandis que la largeur, qui consiste à énumérer exhaustivement un ensemble fermé et à renseigner les attributs de chaque élément, est à peine évaluée, surtout en dehors de l’anglais. La largeur est également difficile à construire : certifier qu’un ensemble de référence est complet et que chaque cellule est correcte coûte bien plus cher que de vérifier une seule réponse. Je présente Ko-WideSearch, un benchmark de recherche par largeur en coréen, construit via un pipeline automatisé de synthèse et de vérification. Chaque tâche nomme une entité parente d’ensemble – une saison de série télévisée, une dynastie, une ligue, une région administrative, une élection – et demande la liste complète de ses membres ainsi qu’un tableau d’attributs par élément, évalué par les F1 sur les éléments (Item-F1), les colonnes (Column-F1) et les lignes (Row-F1). Il couvre 228 tableaux portant sur 190 entités et seize catégories, répartis en trois niveaux de difficulté, définis par deux paramètres structurels que je fais varier indépendamment – la largeur du tableau et une clé composite 2D – de sorte que le produit cartésien des membres passe de 0 % à 100 % d’un niveau à l’autre. Un unique comparateur normalisé est partagé entre la construction de la référence et la notation, ce qui évite que des colonnes de dates et de comptes stables soient trop souvent rejetées sur la seule base d’un problème de format. Sur vingt agents web, l’échec est constant : les agents retrouvent l’ensemble mais pas les lignes (par exemple, Item-F1 de 92,8 contre Row-F1 de 53,7), la précision diminue régulièrement à mesure que les paramètres se durcissent, et ni davantage de recherches ni de dépenses supplémentaires ne comblent l’écart. En décomposant par cellule, la difficulté réside dans la recherche de la bonne valeur, pas dans sa mise en forme : les cellules à texte libre non contraint échouent le plus souvent, tandis que les cellules dont la réponse est standardisée, comme une date ou un nom, sont généralement correctes.
L'entraînement et l'évaluation de politiques robotiques dans le monde réel sont coûteux et difficiles à passer à l'échelle. Nous présentons SimFoundry, un système modulaire et automatisé pour la construction zéro-shot de scènes réelles vers simulées à partir d'une vidéo. SimFoundry génère des jumeaux numériques prêts pour la simulation et prend en charge l'édition d'objets, de scènes et de tâches, permettant la génération automatisée de divers cousins numériques : des variations préservant les affordances des scènes du monde réel reconstruites. Les politiques entraînées sur les données de SimFoundry sont transférées sans apprentissage supplémentaire à des tâches réelles complexes impliquant une manipulation en plusieurs étapes, une interaction avec des objets articulés et une interaction bimanuelle, et ses cousins numériques (variations de la scène, des objets et des tâches d'origine) facilitent la généralisation à de nouvelles conditions réelles. Sur 7 tâches de manipulation et 5 architectures de politiques, les évaluations de simulation SimFoundry prédisent fortement les performances réelles, avec une corrélation de Pearson moyenne de 0,911 et une violation de classement maximale moyenne de 0,018. Lors de l'évaluation zéro-shot des politiques entraînées par simulation dans le monde réel, les politiques entraînées avec des cousins d'objets, de scènes et de tâches en simulation montrent des améliorations moyennes du taux de réussite des tâches de 17 %, 21 % et 40 %, respectivement. Plus de détails sur https://research.nvidia.com/labs/gear/simfoundry/ .
Pour que les agents puissent apprendre en continu par interaction avec le monde lors de la phase de test, ils doivent être capables d’explorer efficacement, d’acquérir de nouvelles connaissances et compétences sur le monde, de retenir des expériences épisodiques pertinentes et de planifier sur de longs horizons. Afin d’évaluer ces capacités clés des agents d’apprentissage continu en phase de test, nous introduisons AgentOdyssey, un cadre d’évaluation novateur qui génère procéduralement des jeux textuels ouverts, riches en entités, dynamiques du monde et tâches à long horizon. De manière cruciale, AgentOdyssey dépasse l’hypothèse classique en apprentissage automatique selon laquelle l’apprentissage n’a pas lieu en phase de test, en plaçant les agents dans un cadre continu et à long horizon qui entremêle apprentissage et inférence tout au long du déploiement. Nous proposons en outre une méthode d’évaluation multidimensionnelle qui mesure non seulement la progression dans le jeu, mais propose également des tests diagnostiques sur l’acquisition de connaissances du monde, la mémoire épisodique, l’exploration d’objets et d’actions, la diversité des actions et le coût du modèle. Nous évaluons différents paradigmes d’agents dans les jeux générés. Nos résultats expérimentaux révèlent des limites critiques dans les capacités clés des agents, ainsi que les facteurs qui influencent leur horizon pertinent. Bien que les performances augmentent avec des modèles de base plus puissants, même le meilleur agent reste bien en deçà des performances humaines, laissant une marge d’amélioration considérable. Parmi les mécanismes d’agents, nous constatons que la mémoire à court terme bénéficie à plusieurs paradigmes d’agents et constitue un composant important de l’entraînement de l’agent en phase de test.
L'intelligence artificielle conduit une révolution dans la découverte scientifique, accélérant tout, de la génération d'hypothèses à la démonstration de théorèmes mathématiques. Cependant, cette accélération rapide crée un défi systémique : l'examen par les pairs humain traditionnel ne peut pas passer à l'échelle pour faire face à l'afflux de la science assistée par IA. Pour résoudre cette tension, nous devons également déployer l'IA afin d'accélérer le processus de vérification et d'examen lui-même. Afin de cadrer la discussion autour de cette transition, nous proposons une taxonomie comprenant quatre niveaux progressifs de collaboration IA-humain dans l'évaluation scientifique, et discutons des différents compromis associés à chacun. Dans le cadre d'une avancée vers cet avenir, nous présentons l'outil assistant pour articles (PAT), un cadre d'IA agentique conçu pour l'examen et la vérification scientifiques approfondis. PAT ingère des manuscrits scientifiques complets et produit une évaluation exhaustive, vérifiant les résultats théoriques, validant les expériences, suggérant des améliorations et identifiant les défauts potentiels. En utilisant des techniques de mise à l'échelle de l'inférence, PAT est capable d'identifier des problèmes plus profonds qu'un simple appel de modèle unique, atteignant une amélioration de 34 % par rapport au rappel zero-shot sur les erreurs mathématiques dans le benchmark SPOT. Les déploiements pilotes de PAT en tant qu'outil de pré-soumission pour les auteurs lors de deux grandes conférences en informatique — STOC et ICML — démontrent sa capacité à identifier des erreurs critiques et à suggérer des améliorations substantielles aux articles de recherche. En détectant les erreurs précocement, PAT allège la charge cognitive pesant sur les évaluateurs, tout en préservant leur contrôle sur les résultats du processus d'examen.
Les modèles Vision-Langage-Action (VLA) peuvent généraliser à travers diverses tâches de manipulation, mais leurs politiques fondées sur l'apprentissage par imitation restent fragiles lors d'interactions physiques précises en raison d'erreurs d'exécution cumulatives. Une politique d'apprentissage par renforcement entraînée uniquement en simulation peut-elle améliorer la robustesse des VLA réels en zéro-shot ? Le RL résiduel, qui apprend une politique corrective par-dessus un VLA figé, offre un cadre naturel, mais les approches existantes se heurtent à un dilemme fondamental sim-vers-réel : les méthodes basées sur des états privilégiés nécessitent une distillation avec perte pour le déploiement ; les méthodes basées sur l'image souffrent du fossé visuel entre domaines ; et le RL dans le monde réel est coûteux et risqué. Nous proposons un cadre de RL résiduel centré sur l'objet qui affine les actions du VLA en utilisant des poses d'objets, permettant un espace d'observation compact qui se transfère de manière cohérente entre simulation et réalité. Pour aligner les deux domaines, nous rejouons en outre les mêmes démonstrations de téléopération en simulation afin d'entraîner un pendant simulé du VLA réel. La politique de RL résiduel est entraînée uniquement en simulation avec injection de bruit de pose et abandon (dropout), et se transfère en zéro-shot au robot réel. Sur cinq tâches de manipulation avec un robot réel Franka Research 3 (FR3), notre méthode améliore le taux de succès de 42 % à 76 % en zéro-shot, et les épisodes améliorés peuvent être réutilisés pour ré-entraîner le VLA de base en vue d'une auto-amélioration sans téléopération supplémentaire. Page du projet : https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/
Je décris ma solution au LeHome Challenge 2026, une compétition de l'ICRA 2026 sur le pliage de vêtements bimanuel. Le système s'est classé 1er sur 62 équipes lors de la phase en ligne (simulation) et 2e lors de la finale en conditions réelles. Il améliore une politique vision-langage-action (VLA) avec une boucle d'apprentissage par renforcement. La politique constitue sa propre fonction de valeur : le même réseau qui prédit les actions prédit également le succès, la progression et quelques quantités futures pertinentes pour la tâche, et ces prédictions servent à l'estimation de l'avantage, à la détection en direct des échecs et à la sélection des candidats. Ce travail combine principalement des idées existantes de l'apprentissage par renforcement avec des contributions d'ingénierie et d'optimisation qui peuvent être utilisées ensemble comme une recette unique ou individuellement : AWR + RECAP combinés pour le VLA par appariement de flux ; un pipeline de formation/déploiement distribué asynchrone via HuggingFace Hub ; l'optimisation des hyperparamètres au moment de l'inférence via l'échantillonnage de Thompson ; une recette sim-vers-réel avec des outils d'alignement de caméra, une augmentation lourde et une collecte de données HIL de type DAgger.
La génération autorégressive (AR) à jetons continus dans l’espace des pixels modélise directement les images comme des séquences de patches de pixels bruts, évitant ainsi la tokenisation discrète ou un tokenizer pré-entraîné séparé. Cependant, elle est confrontée à deux défis couplés : la génération de patches de haute dimension provoque des erreurs importantes à chaque étape, et l’apprentissage par forçage enseignant crée un écart entre l’entraînement et l’inférence, ce qui fait que ces erreurs s’accumulent au fil des étapes AR. Les correctifs existants, tels que la prédiction en x et l’injection de bruit en entrée, n’atténuent que partiellement ces problèmes. L’apprentissage par rollout exact correspond mieux aux conditions d’inférence, mais il est irréaliste en raison d’un échantillonnage séquentiel excessivement lent. Nous proposons l’Approximation de Rollout Parallèle (PRA), un cadre évolutif qui aborde conjointement ces deux défis. PRA génère des états intermédiaires de faible dimension au lieu de patches de pixels de haute dimension, puis les reconvertit en jetons dans l’espace des pixels à l’aide d’un décodeur de pixels, préservant ainsi une interface AR pixel-entrée, pixel-sortie. Il construit également des entrées pixels similaires à celles de l’inférence via le même chemin état-intermédiaire-vers-pixel utilisé en inférence, de manière indépendante pour chaque position, approximant ainsi l’interface de rétroaction pixel rencontrée lors du rollout en inférence tout en conservant un apprentissage parallèle par forçage enseignant. Sur la génération ImageNet-1K conditionnée par classe à la résolution 256×256, PRA-S avec 135M paramètres atteint un FID de 2,58, surpassant le précédent résultat AR dans l’espace des pixels à l’échelle du milliard de paramètres (3,60). La mise à l’échelle vers PRA-L avec 511M paramètres améliore encore le FID à 1,94, établissant un nouvel état de l’art parmi les modèles AR dans l’espace des pixels. Au-delà de la génération, PRA obtient une précision de sondage en classification ImageNet plus élevée que d’autres modèles AR et de diffusion de référence, suggérant son potentiel pour une génération et une compréhension unifiées d’images dans l’espace des pixels.
Le déploiement efficace de grands modèles de langage (LLM) en production impose un compromis entre exactitude et coût. Les opérateurs optent souvent par défaut pour un modèle unique, soit coûteux pour les requêtes simples, soit insuffisant pour les requêtes difficiles. Pour relever ce défi, nous proposons une solution en cascade à deux étages. L'Étape 1 regroupe les requêtes entrantes et attribue chaque groupe à son modèle le plus rentable. Le budget de coût de ce processus d'acheminement est défini par un hyperparamètre interprétable, réglé hors ligne. L'Étape 2 ajoute une cascade d'estimation de la qualité (QE) ; lorsqu'une sortie de l'Étape 1 est jugée de faible qualité, la requête est transmise à un modèle plus puissant. Cela garantit que seuls les cas difficiles ou de faible confiance atteignent les modèles coûteux. Sur les jeux de données de test, le système en cascade conserve 97 à 99 % de l'exactitude du modèle le plus puissant tout en réduisant le Temps par Jeton de Sortie (TPOT). Il ne nécessite que des étiquettes de correction de tâche et s'adapte aux modifications du pool de modèles sans reconfiguration manuelle.
Les modèles de génération vidéo aspirent à simuler des environnements dynamiques, et plusieurs benchmarks évaluent désormais la cohérence de la mémoire entre les trames. Cependant, la plupart n'évaluent la cohérence que lorsque la cible reste visible, et les rares qui forcent les objets à sortir du champ de vision évaluent des scènes statiques où rien ne change pendant l'occlusion. Pour combler cette lacune, nous introduisons MemoBench, un benchmark diagnostique construit autour du paradigme de disparition-réapparition dans des environnements dynamiques : un objet cible subit un processus physique, disparaît de la vue, et doit être correctement retrouvé dans son état actualisé lors de sa réapparition. Nous élaborons 360 séquences de vérité terrain couvrant des scènes synthétiques et réelles, et concevons une suite d'évaluation combinant des métriques automatiques avec une évaluation basée sur des questions-réponses visuelles (VQA) à travers quatre piliers diagnostiques. L'évaluation de huit modèles de pointe révèle des perspectives clés et des défis ouverts concernant la cohérence de la mémoire sous le paradigme de disparition-réapparition.
L'apprentissage par renforcement (RL) en post-entraînement améliore l'alignement des récompenses des générateurs basés sur les flots, mais dégrade souvent la qualité perceptuelle d'une manière que le proxy de récompense ne capture pas. Nous identifions une signature structurelle simple de cette dérive : sur trois méthodes de post-entraînement (NFT, AWM, DPO), le fine-tuning par RL gonfle la norme de vélocité par étape |v_θ| de 5 à 15 % par rapport à la référence. Une forme de gonflement des normes a été étudiée dans le guidage sans classifieur (CFG), où le ré-échelonnement de la vélocité vers une norme de référence au moment de l'inférence peut atténuer les artéfacts qui en résultent. Cependant, cette correction à l'inférence ne se transfère pas proprement au RL : ré-échelonner v_θ pour correspondre à |v_{ref}| à l'inférence n'améliore ni la récompense ni ne corrige la dégradation de qualité, car le gonflement est co-adapté dans les poids du modèle. De plus, une analyse de sensibilité adjointe montre que le ré-échelonnement de l'amplitude de la vélocité ne porte aucun signal de récompense de premier ordre cohérent au niveau du batch, indiquant que supprimer le gonflement des normes est peu susceptible de retirer une composante porteuse de récompense de manière cohérente. Puisque la renormalisation à l'inférence échoue tandis que la suppression de la norme n'a pas de coût en récompense, une intervention au moment de l'entraînement est la stratégie appropriée. Ensemble, ces résultats motivent \methodname, une pénalité hinge qui s'active uniquement lorsque |v_θ| dépasse |v_{ref}| et se compose de manière additive avec toute perte de base locale à la vélocité. Sur deux modèles de base, trois méthodes de post-entraînement et deux proxys de récompense, \methodname améliore systématiquement la qualité d'image évaluée par MLLM et le réalisme forensique tout en préservant la récompense, avec des gains qui s'amplifient sous inférence en quelques pas et qui ne s'expliquent pas par un arrêt précoce.
Les agents de code basés sur LLM naviguent dans les dépôts par recherche par mots-clés, mais ignorent les relations structurelles — graphes d'appels, hiérarchies d'héritage et dépendances de configuration — qui définissent le fonctionnement réel du logiciel. Cela rend la navigation des agents stochastique et difficile à reproduire entre les exécutions. Nous étudions si une analyse statique légère peut fournir des ancres déterministes pour ces agents : des faits structurels stables injectés sous forme de commentaires en texte brut qui contraignent l'exploration probabiliste et rendent la navigation plus prévisible. À partir d'une base solide, Codex d'OpenAI, nous injectons systématiquement des annotations structurelles de granularités variables et mesurons leurs effets sur la localisation, le comportement de trajectoire et la stabilité entre exécutions. Notre étude identifie ce que nous appelons l'effet d'ancrage déterministe : la structure statique aide moins en rendant les agents « plus intelligents » qu'en disciplinant et rendant leur navigation reproductible. Trois observations soutiennent cette conclusion : (1) L'ancrage fonctionne : une topologie légère d'appels/héritage améliore la localisation au niveau des fonctions (+2,2 pp Func@5) et raccourcit les trajectoires (−1,6 rounds d'interaction) ; (2) L'ancrage est sensible à l'échelle : la granularité et la directionnalité optimales dépendent des caractéristiques du dépôt, où des sémantiques plus denses montrent des rendements décroissants et les projets à forte centralité bénéficient de liens uniquement inverses qui exposent « qui m'appelle » sans arêtes forward ; (3) L'ancrage stabilise : les balises augmentent le taux de suivi des liens de 0,15–0,18 à 0,21–0,24, réduisent de moitié environ la variance entre exécutions et améliorent la fiabilité par exécution unique (Pass@1 +3,4 pp) sur des dépôts de taille moyenne, au prix d'environ 10 % de tokens d'entrée supplémentaires. Ces observations suggèrent des recommandations pratiques : privilégier une topologie légère sur les projets de taille moyenne, élaguer les arêtes forward dans les grands dépôts et réserver les balises denses pour les cas de dépendance implicite.
L'attention creuse peut réduire le coût de l'inférence sur de longs contextes, mais la plupart des variantes introduisent de nouveaux composants architecturaux. Nous présentons l'Attention Creuse Simplifiée (SSA, pour Simplified Sparse Attention), une approche plus simple de l'attention creuse qui ne nécessite aucune modification architecturale. Concrètement, nous effectuons d'abord un pré-entraînement continu sur des séquences entremêlées de jetons de synthèse (gist tokens). Nous optimisons la perte standard de prédiction du prochain jeton comme d'habitude, mais les jetons de synthèse utilisent un masque d'attention pour restreindre les parties du contexte auxquelles le modèle de langue peut prêter attention ; cela apprend au modèle à compacter les informations importantes de chaque bloc dans les jetons de synthèse. Au moment de l'inférence, SSA évalue les blocs via l'attention entre la requête courante et le petit ensemble de jetons de synthèse, en déroulant sélectivement les k premiers blocs (top-k) par la réintroduction de leurs jetons bruts correspondants. Étant donné que la requête n'est évaluée que par rapport aux jetons de synthèse, nous évitons le coût de bande passante mémoire associé à une évaluation naïve par rapport au cache KV complet, sans nécessiter l'approche de cache KV auxiliaire utilisée par les méthodes d'attention creuse. Sur LongBench, SSA surpasse systématiquement les méthodes de compression et les méthodes d'attention creuse à l'inférence sous le même taux de compression. De manière plus frappante, dans la génération augmentée par récupération, SSA peut même surpasser l'attention complète après un pré-entraînement continu de plus de 5,7 points. Nous attribuons cela à la capacité de déroulement sélectif de SSA, qui concentre l'attention sur les blocs pertinents pour la requête et filtre efficacement le bruit. SSA s'étend en outre à une variante hiérarchique de synthèse de synthèse (H-SSA) qui atteint une complexité de décodage log-linéaire tout en maintenant ou en améliorant la précision à des taux de compression élevés allant jusqu'à 32x. Le code est disponible à l'adresse https://github.com/yuzhenmao/simplified-sparse-attention/.
La tokenisation est centrale pour l'adaptation des données scientifiques aux modèles de fondation basés sur les transformers, mais son impact sur les représentations apprises reste mal compris. Nous comparons quatre stratégies de tokenisation — Affine, AIM, JetFormer et VQ-VAE — dans un cadre unifié de transformer pour l'imagerie astronomique. En utilisant 640 000 images de galaxies du DESI Legacy Survey et un backbone AstroPT partagé, nous évaluons chaque méthode sur la fidélité de reconstruction et la prédiction des propriétés physiques. Nos résultats révèlent des compromis entre les approches. Le JetFormer basé sur le flow atteint une meilleure qualité de reconstruction, tandis que le VQ-VAE offre une performance de sonde élevée pour les propriétés physiques des galaxies. Affine et AIM préservent mieux l'information morphologique localisée. Nous constatons que la qualité de reconstruction et de représentation sont découplées, et qu'aucune méthode unique ne performe systématiquement le mieux sur l'ensemble des tâches considérées ici. En ancrant notre évaluation dans des quantités physiques mesurées indépendamment, nous espérons que cette étude sert à souligner le potentiel des données scientifiques comme base pour la construction de benchmarks interprétables pour les modèles de fondation.
Les agents basés sur des LLM pour la réparation de programmes sont de plus en plus construits sur un paradigme « générer-exécuter-réviser », qui exécute itérativement des tests pour évaluer et affiner les correctifs. Cette approche basée sur l'exécution est devenue une pratique standard dans les systèmes de pointe. Cependant, les exécutions peuvent être coûteuses en temps et en ressources, mais leur impact sur ces agents reste peu exploré. Dans cet article, nous menons une étude empirique en deux étapes sur le comportement d'exécution dans la réparation de programmes assistée par LLM. Pour caractériser le comportement d'exécution à grande échelle, nous analysons d'abord 7 745 traces d'agents issues des soumissions du classement SWE-bench. Ensuite, nous évaluons 3 000 tentatives de réparation de bout en bout sur 200 instances de SWE-bench et trois agents (Claude Code, Codex et l'agent open-source OpenCode) selon quatre paradigmes d'exécution, ce qui permet une comparaison fine des performances et des coûts. Notre analyse révèle trois observations clés : (1) L'exécution de code est utilisée par tous les agents et modèles analysés, avec une moyenne de 8,8 exécutions de tests par tâche. Le comportement d'exécution varie considérablement selon les agents et les modèles, la fréquence allant de 2 à 19 par tâche, et les exécutions tardives atteignent systématiquement des taux de succès plus élevés que les exécutions précoces. (2) Les restrictions d'exécution ont peu d'effet sur le succès des réparations : pour les agents commerciaux utilisant des modèles de pointe, l'écart du taux de résolution entre les modes Interdite et Illimitée n'est que de 1,25 point de pourcentage et n'est pas statistiquement significatif, tandis que le mode Interdite permet d'économiser des coûts substantiels en tokens et en temps réel. (3) Le bénéfice de l'exécution est concentré plutôt qu'uniforme. Ces schémas suggèrent que les agents actuels appliquent l'exécution de manière indifférenciée, en en payant le coût sur des instances où elle apporte peu d'avantages. L'exécution doit donc être traitée comme une ressource soumise à un compromis explicite entre coût et bénéfice, et non comme une capacité par défaut.
Les modèles omni-modaux peuvent ingérer de la vidéo, de l'audio et du texte, mais un accès unifié à plusieurs modalités ne garantit pas qu'un modèle utilise les preuves pertinentes. Ce fossé est particulièrement prononcé dans le cadre du question-réponse vidéo social, où la réponse peut dépendre d'un geste, d'un ton vocal, d'un indice temporel ou d'une contradiction entre ce qui est dit et ce qui est exprimé visuellement. Nous présentons CogniRoute, un cadre de mixture d'experts guidé par un schéma pour le raisonnement omni-social. CogniRoute utilise un schéma cognitif réservé à l'entraînement qui factorise chaque exemple selon la relation intermodale, la demande de raisonnement et la portée temporelle, et aligne les signatures de routage globales avec cette structure lors du fine-tuning supervisé. Nous introduisons également un apprentissage par renforcement sensible au routage, qui optimise conjointement la génération de tokens et l'allocation des experts en utilisant des récompenses pour la correction des réponses, le raisonnement cohérent avec les modalités et l'ancrage temporel cognitif. Pour soutenir l'entraînement et l'évaluation, nous construisons OmniSocialBench, une ressource diagnostique de QA vidéo sociale avec 118 000 exemples d'entraînement structurés, des traces de raisonnement ancrées, des étiquettes de schéma, des étendues temporelles de preuves et une partition d'évaluation vérifiée manuellement. CogniRoute atteint une précision moyenne de 59,38 % sur OmniSocialBench, améliorant la baseline propriétaire la plus forte de 15,33 points de pourcentage et la baseline omni open-source la plus forte de 26,77 points, avec les plus grands gains sur les questions nécessitant une coordination audiovisuelle, une résolution de conflits et une inference sociale ancrée temporellement.
Les grands modèles de langage (LLMs) peuvent rendre les logiciels scientifiques plus faciles à utiliser. Cependant, un modèle général ne sait pas automatiquement quelles mesures un capteur particulier peut prendre, quels algorithmes sont implémentés dans le logiciel actuel, ni quelles conclusions sont justifiées par un résultat calculé. Ces distinctions sont particulièrement importantes pour l'électroencéphalographie (EEG) à faible nombre de canaux, où la couverture spatiale clairsemée et la qualité variable du signal rendent faciles à produire des interprétations plausibles mais non étayées. Nous présentons NeuraDock Agent, une architecture open source qui sépare un moteur EEG local déterministe d'une couche langage sensible au matériel. Le moteur numérique analyse les enregistrements, effectue un contrôle qualité, exécute des workflows spectraux validés et écrit des artefacts lisibles par machine. Le LLM reçoit uniquement un résumé compact et autorisé ainsi qu'un pack de contexte versionné. Le contexte décrit le matériel à sept canaux, les workflows validés, les champs de résultats, les limites d'implémentation, les limites scientifiques et les cas de référence. Les données EEG brutes et les tableaux denses par échantillon restent locaux. Nous évaluons le système à trois niveaux. Premièrement, 12 enregistrements ont produit des résultats structurés identiques sur dix répétitions numériques, et un cycle complet Repos/Tâche a produit des hachages de résultats, de rapports et de figures identiques sur trois répétitions. Deuxièmement, des expériences de capture de requêtes et d'injection de pannes ont confirmé la limite de données testée et la préservation des artefacts locaux en cas d'HTTP, de sortie malformée et de défaillances de connexion. Troisièmement, un benchmark de conscience des limites a testé 36 questions ordinaires et adverses sous quatre ablations de contexte et deux LLMs, produisant 288 sorties. Ces résultats soutiennent un ancrage sensible au matériel et à l'implémentation en tant que mécanisme pratique pour calibrer ce qu'un agent EEG accepte, qualifie ou refuse ; ils n'établissent pas de validité clinique ni un indice absolu validé de charge cognitive.