Articles de recherche IA sélectionnés quotidiennement avec traductions
La génération d'images moderne nécessite un modèle unique qui unifie diverses capacités, notamment la génération texte-vers-image (T2I), l'édition locale et l'édition globale. Cependant, ces capacités sont rarement naturellement alignées et entrent souvent en conflit. Par exemple, l'édition tend à dégrader les performances T2I, tandis que l'édition globale et locale interfèrent entre elles. Par conséquent, la composition efficace de ces capacités est devenue un défi central pour l'entraînement des modèles de génération d'images. Pour y remédier, nous introduisons DanceOPD, un cadre de distillation de champ génératif on-policy pour les modèles de flow-matching, qui achemine chaque échantillon vers un champ de capacité, interroge un état induit par l'étudiant à faible bruit, et s'entraîne avec un simple objectif MSE de vélocité. Chaque source de capacité étant définie comme un champ de vélocité sur l'espace d'état de flux partagé, l'étudiant apprend à partir des champs interrogés sur ses propres états de rollout pour composer les capacités des experts. Cette formulation intègre également des champs définis par l'opérateur, tels que le guidage sans classifieur. Des expériences complètes sur T2I, l'édition, l'absorption de champ de réalisme et l'absorption de CFG montrent que notre approche améliore la composition multi-capacités, renforçant les capacités cibles tout en préservant la qualité de génération d'ancrage. Nous croyons que ce travail établit une voie pratique pour la distillation de champ génératif dans les modèles de flow-matching.
Les modèles modernes Vision-Langage-Action (VLA) échouent souvent à généraliser à de nouvelles configurations, telles que des points de vue de caméra modifiés ou des morphologies de robots, car ils sont généralement conditionnés uniquement par les observations actuelles et les instructions langagières. En ignorant la configuration sous-jacente du système en tant que variable, ces modèles supposent implicitement un contexte d'exécution fixe rencontré lors de l'entraînement, ce qui nécessite un réglage fin intensif en données pour tout nouvel environnement. Dans ce travail, nous introduisons la Modélisation du Monde en Contexte (ICWM), un cadre qui traite l'identification du système comme un problème d'adaptation en contexte. ICWM permet aux politiques robotiques d'inférer de manière autonome les variables essentielles du système à partir d'un bref historique d'interactions auto-générées et indépendantes de la tâche. Contrairement à l'Apprentissage en Contexte traditionnel qui utilise des démonstrations pour spécifier quelle tâche effectuer, ICWM exploite la fenêtre de contexte pour comprendre comment le système fonctionne. En traitant ces interactions avant l'exécution de la tâche, le modèle capture implicitement les dynamiques du monde du système actuel, permettant une adaptation à de nouvelles configurations sans mises à jour des paramètres. Des expériences approfondies en simulation et sur des plateformes robotiques réelles montrent que ICWM surpasse significativement les lignes de base VLA standard sur de nouveaux points de vue de caméra.
L'apprentissage par renforcement basé sur les résultats fournit une base d'optimisation stable pour les agents linguistiques, mais ses récompenses éparses au niveau de la trajectoire offrent peu d'indications sur les décisions intermédiaires qui devraient être renforcées ou supprimées. La distillation sur politique (on-policy self-distillation) apporte une supervision dense au niveau des tokens, mais ses variantes existantes conditionnées par les compétences reposent souvent sur des mémoires de compétences externes ou un contexte privilégié extrait, qui sont coûteux à maintenir et peuvent ne pas correspondre à la distribution d'état induite par la politique courante lors d'interactions multi-tours. Nous proposons OPID (On-Policy Skill Distillation), un cadre qui extrait une supervision par compétences directement à partir de trajectoires complétées sur politique. OPID représente le regard rétrospectif (hindsight) des trajectoires sous forme de compétences hiérarchiques : les compétences au niveau de l'épisode capturent les workflows globaux ou les règles d'évitement d'échec, tandis que les compétences au niveau de l'étape capturent les connaissances décisionnelles locales aux pas de temps critiques. Un mécanisme de routage prioritaire aux étapes critiques utilise les compétences au niveau de l'étape lorsque des décisions critiques sont identifiées, et se replie sur les compétences au niveau de l'épisode comme guide par défaut dans les autres cas. La compétence sélectionnée est injectée dans l'historique d'interaction, permettant à l'ancienne politique de réévaluer la même réponse échantillonnée sous les contextes original et augmenté par la compétence. Le décalage de log-probabilité qui en résulte fournit un avantage de distillation au niveau des tokens, combiné à l'avantage de résultat pour l'optimisation de la politique. OPID préserve ainsi l'apprentissage par renforcement comme objectif d'entraînement principal tout en introduisant une supervision rétrospective dense et adaptée à la distribution. Les expériences sur ALFWorld, WebShop et la recherche QA basée sur la recherche montrent qu'OPID améliore généralement les performances des agents, l'efficacité d'échantillonnage et la robustesse par rapport à l'apprentissage par renforcement basé uniquement sur les résultats et aux références existantes de distillation de compétences. Notre code est disponible sur https://github.com/jinyangwu/OPID/tree/main.
Bien que les modèles texte-vers-image (T2I) aient réalisé des progrès remarquables, ils peinent à traiter les requêtes du monde réel, souvent sous-spécifiées, implicites ou dépendantes de connaissances actualisées. Nous identifions ce défi comme le fossé contextuel : le décalage entre le contexte utilisateur et le contexte de génération suffisant pour les modèles T2I. Pour combler ce fossé, nous proposons Qwen-Image-Agent, un cadre agentif unifié qui intègre planification, raisonnement, recherche, mémoire et retour d'information de manière centrée sur le contexte. Qwen-Image-Agent traite l'entrée utilisateur comme un contexte partiel et construit progressivement le contexte de génération via une planification consciente du contexte et un ancrage contextuel. Plus précisément, la planification consciente du contexte identifie le contexte manquant et planifie la manière de l'acquérir et de l'utiliser, tandis que l'ancrage contextuel collecte ce contexte à partir du raisonnement, de la recherche, de la mémoire et du retour d'information. Pour évaluer la génération d'images agentive, nous présentons en outre Image Agent Bench (IA-Bench), un banc d'essai couvrant quatre capacités agentives fondamentales des images : Planification, Raisonnement, Recherche et Mémoire. Les expériences menées sur IA-Bench, Mindbench et WISE-Verified montrent que Qwen-Image-Agent surpasse les références solides et atteint des performances de pointe.
Une intuition classique veut que vérifier une solution soit plus facile que la produire. Pour les agents de codage actuels, cette intuition s’inverse : à mesure que les modèles fondamentaux développent des capacités de raisonnement plus puissantes et que les outils d’ingénierie se perfectionnent, générer des solutions candidates complexes n’est plus difficile — c’est leur vérification fiable qui est devenue le problème le plus ardu. Tout vérificateur que nous pouvons construire n’est qu’un proxy de l’intention humaine, jamais l’intention elle‑même. Cela soumet la vérification à une double difficulté : d’une part, l’intention est par nature sous‑spécifiée, ce qui la rend intrinsèquement difficile à contrôler fidèlement ; d’autre part, lors de l’entraînement du modèle, l’optimisation creuse l’écart entre le proxy et l’intention — ce qui se manifeste par un détournement de récompense ou une saturation du signal. Pour y remédier, nous caractérisons la qualité des signaux de vérification selon trois dimensions — évolutivité, fidélité et robustesse — et soutenons que les atteindre simultanément constitue le défi central. Nous étudions ensuite quatre constructions de récompense : un vérificateur par tests pour les tâches générales de codage, un vérificateur par grille d’évaluation pour les tâches frontend, l’utilisateur comme vérificateur pour les tâches d’agent en situation réelle, et un vérificateur agent automatisé pour les tâches à long terme. À travers différents types de tâches et niveaux de capacité des politiques, nous menons une analyse approfondie et des expériences sur les défis fondamentaux de la conception des récompenses et sur la manière d’exploiter plus efficacement les signaux de récompense. Les expériences montrent qu’une conception ciblée de la vérification peut supprimer efficacement le détournement de récompense, améliorer la qualité d’exécution des tâches et obtenir des gains significatifs sur plusieurs benchmarks internes et publics. Ces expériences convergent vers une observation centrale : aucune fonction de récompense fixe ne peut rester efficace à mesure que la capacité de la politique continue de croître ; la vérification doit donc co‑évoluer avec le générateur.
Une représentation unifiée du texte et de la vision est une quête naturelle, car elle permet une modélisation multimodale plus simple et un entraînement plus efficace. Cependant, représenter les images comme des signaux discrets de la même manière que le texte introduit inévitablement une perte d'information sévère. Les travaux existants peinent à équilibrer les détails de bas niveau et la sémantique de haut niveau dans les représentations discrètes : les représentations orientées reconstruction manquent souvent d'information sémantique, tandis que les caractéristiques sémantiquement plus fortes souffrent généralement d'une perte sévère de détails. Nous présentons ViQ, un cadre de représentations quantifiées visuelles, conçu pour équilibrer la sémantique et les détails dans les représentations discrètes tout en prenant en charge les entrées en résolutions natives, ce qui lui permet de servir de représentation discrète unifiée et générale pour des entrées visuelles arbitraires. Notre approche structure l'apprentissage par quantification en deux étapes : un pré-entraînement aligné sur le texte et une discrétisation des caractéristiques. Avec le pré-entraînement aligné sur le texte, nous renforçons l'encodeur visuel grâce à une supervision riche en sémantique provenant du modèle de langage pré-entraîné et lui permettons de traiter des entrées visuelles en résolution native. Lors de la discrétisation, nous proposons une stratégie d'apprentissage proximal de représentation pour compacter progressivement l'espace des caractéristiques, ainsi qu'une quantification tête par tête sensible à la position qui permet un traitement flexible de résolutions arbitraires. Des expériences approfondies sur des tâches multimodales montrent que ViQ atteint des performances compétitives par rapport aux encodeurs visuels multimodaux de pointe utilisant des caractéristiques visuelles continues et de haute dimension, tout en maintenant une haute précision dans la reconstruction de bas niveau. Nous montrons également que l'entraînement multimodal avec des représentations visuelles quantifiées améliore considérablement l'efficacité, permettant une accélération de 20 % à 70 % selon les LLM de base et les recettes d'entraînement.
Le décodage spéculatif (DS) accélère les grands modèles de langage (LLM) autorégressifs en générant plusieurs jetons sous forme de brouillons et en les vérifiant en parallèle, mais il se heurte à une limitation de passage à l'échelle : augmenter le budget de brouillon n'améliore la vitesse que si le taux d'acceptation reste élevé et la surcharge de rédaction faible. Ce plafond a été difficile à briser car les méthodes de DS antérieures basées sur des têtes sont confrontées à un dilemme causalité-efficacité. Les générateurs de brouillons autorégressifs produisent des candidats conditionnés par le chemin, efficaces pour le décodage spéculatif arborescent avec une longueur d'acceptation plus élevée, mais leur coût de rédaction croît avec la profondeur de l'arbre. Les générateurs de brouillons par diffusion de blocs bidirectionnelle génèrent toutes les positions en un seul passage, mais leurs marginales indépendantes des branches peuvent former des arbres individuellement plausibles mais mutuellement inconsistants, gaspillant le budget et réduisant l'acceptation. Nous proposons JetSpec, un cadre de DS basé sur des têtes qui combine l'efficacité de rédaction en un seul passage avant avec un conditionnement causal par branche. JetSpec entraîne une tête de brouillon parallèle causale sur les états cachés fusionnés du modèle cible gelé, produisant des arbres candidats dont les scores s'alignent sur la factorisation autorégressive du modèle cible. Cela permet à JetSpec de convertir des budgets de brouillon plus importants en préfixes acceptés plus longs et en une accélération de bout en bout plus élevée. Sur des benchmarks de mathématiques, de codage et de conversation, avec les modèles Qwen3 denses et MoE, JetSpec surpasse systématiquement les lignes de base de DS à têtes bidirectionnelles et arborescentes. Sur des GPU H100, JetSpec atteint une accélération allant jusqu'à 9,64× sur MATH-500 et 4,58× sur des charges conversationnelles ouvertes, avec des gains de latence supplémentaires démontrés via l'intégration vLLM sous des charges de service réalistes. Notre code et nos modèles sont disponibles à l'adresse https://github.com/hao-ai-lab/JetSpec.
Les agents d'utilisation d'ordinateur peuvent exécuter des tâches logicielles via des interfaces graphiques ou des interfaces de commandes programmatiques, mais les évaluations existantes confondent la modalité d'interaction avec les différences de tâches, d'états initiaux, de vérificateurs et d'actions autorisées. Nous introduisons un benchmark apparié au niveau de la couche d'exécution, comprenant 440 tâches de bureau réparties sur 18 applications et 12 catégories de flux de travail, où des agents GUI exclusivement par écran et des agents CLI médiés par des compétences reçoivent des objectifs, des états et des vérificateurs d'état final identiques, tout en étant limités à des actions natives de leur modalité. Dans ce cadre contrôlé, l'agent GUI le plus performant atteint un taux de réussite complet de 59,1 %, surpassant l'agent CLI original le plus performant avec 48,2 % ; cependant, l'augmentation des compétences guidée par vérificateur élève le succès des CLI à 69,3 %, montrant qu'une grande partie du déficit des CLI provient d'une couverture incomplète des compétences plutôt que de la seule capacité du modèle. Ces résultats suggèrent que GUI et CLI exposent différents goulots d'étranglement d'exécution : les agents GUI sont limités par une interaction ancrée fiable dans des flux de travail à long horizon, tandis que les agents CLI sont limités par la couverture et l'évolutivité de leurs interfaces de compétences.
Les architectures prédictives par embedding conjoint (Joint-Embedding Predictive Architectures, JEPAs), incluant le récent LeWorldModel (LeWM), sont devenues une base prometteuse pour les modèles visuels du monde sans reconstruction. Cependant, pour la planification visuelle, LeWM évalue des séquences d'actions candidates en appliquant de manière répétée un modèle de transition latente locale en une étape. Ce déploiement autorégressif rend la planification coûteuse en calcul et expose la trajectoire prédite à une accumulation d'erreurs latentes à mesure que l'horizon s'allonge. Nous proposons Fast LeWorldModel (Fast-LeWM), un modèle latent rapide qui remplace le déploiement local répété par une prédiction par préfixes d'actions. Étant donné le latent actuel et une séquence d'actions candidates, Fast-LeWM encode leurs préfixes et prédit en parallèle les latents futurs atteints après exécution de ces préfixes. En faisant des préfixes d'actions l'unité de prédiction de base, Fast-LeWM modélise directement les effets des actions accumulés à différents degrés sur plusieurs horizons. Cette supervision au niveau des préfixes force le modèle à apprendre comment les états évoluent continûment sous différents préfixes d'actions, plutôt que d'ajuster uniquement des transitions d'état en une étape. Lors de la planification, le prédicteur peut utiliser le dernier token de préfixe de la séquence d'actions encodée pour évaluer le latent futur correspondant, sans passer explicitement par chaque état imaginaire intermédiaire. Sur plusieurs tâches, Fast-LeWM améliore le taux de succès moyen par rapport à LeWM tout en réduisant considérablement le temps de planification, obtenant une perte latente en boucle ouverte plus faible dont la croissance devient significativement plus lente à mesure que l'horizon de déploiement augmente.
L'utilisation d'outils permet aux grands modèles de langage (LLMs) d'effectuer des tâches complexes, et les récentes méthodes d'apprentissage par renforcement (RL) agentiques montrent des promesses pour améliorer les capacités des modèles. Cependant, le RL seul conduit souvent à une instabilité ou à des gains limités dans les tâches d'utilisation d'outils. Dans nos expériences, certains modèles présentent un effondrement catastrophique, où la performance chute brusquement et les structures d'invocation d'outils échouent. L'analyse révèle que ces échecs proviennent de pics de probabilité inattendus dans des tokens de contrôle spécifiques, perturbant l'exécution structurée, bien que la capacité sous-jacente d'utilisation d'outils reste intacte, simplement obscurcie par des formats spécifiques. Pour y remédier, nous étudions systématiquement un ensemble diversifié de signaux de supervision, incluant la supervision hors politique, le guidage basé sur des indices, la supervision par exemples erronés, et d'autres, appliqués sous des schémas d'entraînement synchrones et entrelacés. Nous constatons que l'entrelacement du fine-tuning supervisé (SFT) avec le RL améliore considérablement la stabilité, mais présente une performance dégradée lors de l'évaluation hors distribution (OOD) en termes de format et de contenu. Nous analysons également l'impact des taux d'apprentissage et de la généralisation à travers différents contextes. Ces résultats soulignent l'importance de comprendre les échecs du RL et démontrent comment divers signaux de supervision peuvent guider l'apprentissage exploratoire, permettant un entraînement robuste des LLMs pour des tâches complexes d'utilisation d'outils en plusieurs étapes. Notre code est disponible à l'adresse https://github.com/hypasd-art/Tool-RL-Box.
Alors que les systèmes agentiques continuent d'évoluer et sont largement déployés dans des scénarios réels, la demande d'une évaluation fidèle de leurs capacités ne cesse de croître. Cependant, les benchmarks actuels sont généralement construits sur des applications populaires aux tâches relativement simples, se concentrent sur un ensemble restreint de capacités et négligent des dimensions plus larges, ce qui conduit à des performances saturées sur les agents modernes sans parvenir à sonder leurs limites. À cette fin, nous présentons GauntletBench, un benchmark basé sur le web pour évaluer la généralisation des agents dans des scénarios difficiles, en mettant l'accent sur trois capacités peu explorées (perception temporelle, compréhension graphique et raisonnement 3D) dans cinq applications professionnelles moins couvertes (éditeur vidéo, constructeur de workflows, modeleur 3D, analyseur de vol et concepteur de circuits), chacune comprenant 20 tâches à forte composante visuelle (100 au total). Notre benchmark fournit un pipeline modulaire qui comprend un environnement compatible avec les frameworks d'agents open-source et propriétaires, une application web contrôlée, une suite de tâches bien structurée et un moteur d'évaluation automatisé avec des métriques diverses. Contrairement aux attentes généralisées, nos résultats empiriques révèlent que les systèmes agentiques de pointe restent loin d'atteindre des performances de niveau humain. Même l'agent de pointe n'atteint qu'un taux de réussite de 19,1 % sur GauntletBench, soulignant les limites de ces capacités négligées et de la généralisation. En comparaison, des annotateurs humains non experts atteignent plus de 80 % de réussite sur nos tâches exigeantes mais réalisables, révélant l'écart considérable entre les capacités actuelles des agents et celles requises pour des scénarios réels complexes.
Le paradigme à double branche prédominant, qui consiste à entraîner un réseau latéral pour encoder des conditions visuelles et à fusionner ses caractéristiques intermédiaires avec un réseau principal pré-entraîné et gelé, a démontré un succès remarquable dans la génération contrôlée par conditions visuelles. Malgré son adoption généralisée, le rôle de la branche latérale et son efficacité d'entraînement restent sous-explorés. Dans cet article, nous revisitons d'abord ce paradigme dominant sous l'angle de la modélisation générative basée sur les scores : 1) Le réseau principal préserve la qualité perceptuelle visuelle en fournissant un score non conditionnel a priori. 2) Le réseau latéral oriente le contrôle conditionnel en contribuant implicitement à un score de vraisemblance. Guidés par cette perspective, nous proposons LISA (Likelihood Score Alignment), une méthode de régularisation efficace qui aligne explicitement la caractéristique intermédiaire du réseau latéral avec un score de vraisemblance approximé. Plus précisément, nous extrayons d'abord les caractéristiques d'une couche désignée du réseau latéral et les projetons dans l'espace latent des scores à l'aide d'un décodeur léger. Ensuite, nous construisons une cible de score de vraisemblance approximée et calculons la distance entre la sortie du décodeur et cette cible comme perte de régularisation supplémentaire. Enfin, nous optimisons conjointement le réseau latéral et le décodeur en utilisant à la fois la perte de diffusion standard et notre perte de régularisation. Des expériences menées sur diverses tâches image/vidéo, architectures et modèles de diffusion/flux montrent que LISA peut non seulement accélérer systématiquement la convergence de l'entraînement et améliorer les résultats synthétiques finaux, mais aussi favoriser un désentrelacement accru des caractéristiques du réseau latéral pour la modélisation conditionnelle, avec un coût d'entraînement supplémentaire négligeable et un coût d'inférence supplémentaire nul.
La capacité de raisonnement a rapidement progressé dans les grands modèles de langage (GML), entraînant une taille croissante du cache clé-valeur (KV) à la fois dans les phases de préremplissage et de décodage. Les méthodes existantes de compression du cache KV reposent principalement sur les poids d’attention pour estimer l’importance des tokens. Bien que l’attention capture efficacement la pertinence contextuelle, elle néglige les signaux complémentaires issus de la théorie de l’information liés à l’incertitude prédictive et à l’informativité des tokens. Dans cet article, nous réexaminons l’importance des tokens d’un point de vue prospectif et introduisons Forward Influence, une métrique qui mesure comment les tokens compressés affectent les contextes futurs. Notre analyse révèle que les tokens sélectionnés par les scores d’attention influencent principalement les contextes proches, tandis que les tokens associés à une incertitude prédictive élevée exercent une influence nettement plus forte sur les contextes futurs lointains. Sur la base de cette observation, nous proposons InfoKV, un cadre de compression du cache KV sensible à l’entropie qui intègre des signaux issus de la théorie de l’information. Il combine l’incertitude prédictive au niveau des tokens avec l’évolution des représentations par couche et intègre les scores d’entropie résultants aux scores d’attention lors du raisonnement. Des expériences sur des benchmarks de raisonnement sur contextes longs avec Llama-3.1, Llama-3.2 et DeepSeek-R1 montrent qu’InfoKV surpasse systématiquement les méthodes existantes de compression KV basées sur l’attention dans les scénarios de préremplissage long et de décodage.
Les modèles de raisonnement vidéo supposent implicitement que chaque trame d'entrée est également fiable. Cela conduit à ce que nous appelons le problème de confiance aveugle : sous des perturbations réalistes telles que le flou de mouvement, l'éblouissement ou l'occlusion, les modèles de raisonnement vidéo de pointe peuvent subir des baisses de précision de 15 à 30 points de pourcentage sur des benchmarks incarnés du monde réel, tout en restant inconscients que leurs indices visuels ont été dégradés. Pour relever ce défi, nous proposons Robust-TO, un cadre de compréhension vidéo agentique qui intègre explicitement la fiabilité par trame à chaque étape du raisonnement. Robust-TO organise des outils de perception visuelle hétérogènes sous une interface de preuves unifiée. Chaque outil reçoit une sous-question dérivée de la question originale et un ensemble de trames fiables sélectionnées par le score de fiabilité-pertinence. Il renvoie une preuve dans un format commun : une prédiction concrète (par exemple, un cadre englobant, une trajectoire de mouvement, un texte reconnu ou une étiquette d'action), un ancrage temporel et un score de fiabilité calibré. Lors du raisonnement, ces scores calibrés guident la pondération des preuves dans un processus de synthèse à trois niveaux (élevé/moyen/faible) et définissent une récompense GRPO basée sur la confiance-coût qui optimise conjointement l'exactitude, la fiabilité des preuves et l'efficacité. Sur deux benchmarks de raisonnement vidéo couvrant huit tâches, Robust-TO atteint une précision moyenne de 56,4 % sur des entrées propres, surpassant la meilleure baseline open-source de 10,6 points de pourcentage et dépassant Gemini-2.5-Pro (46,2 %). Sous cinq types de corruption réalistes, Robust-TO maintient une précision moyenne de 54,3 %, soit 5,8 points de pourcentage au-dessus de la meilleure baseline open-source, tout en présentant la plus faible baisse de précision entre entrées propres et corrompues parmi toutes les méthodes comparées.
Nous présentons PhysiFormer, un transformeur de diffusion pour le mouvement d'objets 3D physiquement plausible. Contrairement aux modèles de monde vidéo qui opèrent dans un espace pixel dépendant de la vue, PhysiFormer représente les objets sous forme de maillages 3D exprimés en coordonnées du monde. Étant donné les positions et vitesses initiales des sommets, ainsi que le type de matériau de l'objet, rigide ou élastique, le modèle échantillonne les trajectoires futures des sommets. Alors que les approches de physique neuronale connexes reposent sur des espaces latents ad hoc ou imposent explicitement la rigidité et la causalité, PhysiFormer montre que d'excellents résultats peuvent être obtenus sans aucun de ces biais inductifs, en traitant la prédiction des trajectoires des sommets comme un unique processus de diffusion par débruitage directement dans les coordonnées du monde. La formulation probabiliste capture l'incertitude dans la dynamique apprise, permettant de générer des futurs divers et plausibles à partir de conditions initiales, ce qui rend ce cadre potentiellement utile pour des applications présentant une incertitude non observée. Le modèle dispose d'une attention factorisée sur le temps, l'espace et les objets pour l'efficacité, permettant un raisonnement multi-objets invariant par permutation sans nécessiter de codage explicite des objets. Entraîné sur plus de 100 000 trajectoires simulées, PhysiFormer génère des mécaniques rigides et élastiques, et généralise à des contextes de matériaux mixtes, des géométries réelles non vues et un nombre plus élevé d'objets. Il surpasse nettement les références autorégressives en termes de précision des trajectoires, de préservation de la rigidité et de cohérence physique basée sur la quantité de mouvement. Nos résultats positionnent la diffusion dans l'espace des coordonnées comme une étape prometteuse vers une modélisation du monde invariante par rapport à la vue et consciente de la géométrie pour la robotique, l'infographie et la conception physique. Les visualisations, le code et les modèles sont disponibles à l'adresse https://yimingc9.github.io/physiformer.
Les modèles génératifs du monde modernes produisent des futurs de plus en plus réalistes et contrôlables par les actions, mais hallucinent fréquemment : les déroulements restent visuellement fluides tout en s'écartant de la dynamique réelle. Nous émettons l'hypothèse que l'hallucination se concentre dans les régions de faible couverture de l'espace état-action, où des signaux légers centrés sur les données peuvent à la fois la détecter et guider son atténuation. Pour tester cela, nous présentons MMBench2, un jeu de données de 427 heures et 210 tâches pour la modélisation visuelle du monde, comprenant des actions, des récompenses et des simulateurs en direct comme référence, et nous y entraînons un modèle de monde de 350 millions de paramètres. Nous identifions trois modes distincts d'hallucination : perceptuel, à action marginalisée et divergent de scène — chacun ancré à une étape différente du pipeline, et nous développons trois signaux qui prédisent avec précision où le modèle échouera. Pour combler les lacunes de couverture en phase d'entraînement, nous développons une technique d'échantillonnage conscient de la couverture ; pour les combler en ligne, nos prédicteurs d'hallucination servent de récompenses de curiosité pour une collecte de données ciblée, donnant lieu à une recette de fine-tuning économe en données qui adapte le modèle de monde pré-entraîné à des environnements entièrement inédits avec aussi peu que 50 trajectoires d'environnement réel. Dans l'ensemble, nos résultats révèlent que l'hallucination dans les modèles de monde est intrinsèquement un problème de couverture des données, et que les mêmes signaux utilisés pour la détecter peuvent également être utilisés pour l'atténuation. Une version web interactive de notre article est disponible à l'adresse https://www.nicklashansen.com/mmbench2
Alors que les agents LLM deviennent capables d'effectuer des tâches à horizon de plus en plus long, l'évaluation de leurs performances dans les systèmes économiques devient cruciale. Contrairement aux référentiels existants, qui évaluent principalement un agent unique interagissant avec un environnement passif, les systèmes économiques sont intrinsèquement multi-agents, exigeant que des agents autonomes communiquent, négocient et effectuent des transactions tout en poursuivant leurs propres objectifs sur des périodes prolongées. Nous présentons CoffeeBench, un référentiel pour évaluer les agents LLM dans une économie multi-agents à long horizon composée d'entreprises hétérogènes. Dans CoffeeBench, deux agriculteurs, deux torréfacteurs et deux détaillants gèrent leurs entreprises de manière autonome sur une simulation de 90 jours, chacun cherchant à maximiser son revenu net cumulé par la communication et les transactions tout en gérant sa trésorerie, ses stocks et sa tarification. Le modèle évalué contrôle un torréfacteur, tandis que les autres entreprises sont contrôlées par des agents de référence fixes. Parmi plusieurs LLM récents à poids ouverts et propriétaires, tous les modèles surpassent une ligne de base passive qui ne prend aucune action, la plupart obtenant un revenu net positif. L'analyse du comportement des agents révèle des différences substantielles dans l'interaction économique à long horizon : les modèles les plus performants communiquent plus activement avec les autres entreprises, tandis que Claude Haiku 4.5 présente un mode de défaillance par inactivité, choisissant à plusieurs reprises l'inaction malgré la production d'évaluations et de plans cohérents. Nous publions notre code et les trajectoires des agents pour soutenir les recherches futures.
Les modèles de récompense de processus permettent une évaluation fine, étape par étape, des grands modèles de langage, mais leur construction pour des contextes agentiques reste prohibitivement difficile : les interactions à long horizon, les actions irréversibles et le retour stochastique de l'environnement rendent à la fois l'annotation humaine et l'estimation de Monte Carlo irréalisables à grande échelle. Dans ce travail, nous montrons que le post-entraînement par apprentissage par renforcement (RL) fournit déjà les ingrédients nécessaires à une notation efficace par étape, éliminant ainsi le besoin d'un entraînement dédié d'un modèle de récompense. Concrètement, nous dérivons un avantage implicite dans le cadre d'un processus de décision markovien stochastique général, que nous appelons avantage progressif — le rapport de log-probabilité entre la politique entraînée par RL et sa politique de référence retrouve exactement la fonction d'avantage optimale. Cette formulation rend le signal résultant sans annotation, agnostique au domaine, et disponible comme sous-produit du pipeline standard de post-entraînement par RL. Nous validons l'efficacité de l'avantage progressif dans trois applications différentes : la mise à l'échelle au moment du test, la quantification de l'incertitude et l'attribution des échecs, sur cinq benchmarks et quatre familles de modèles. Dans tous les contextes, il surpasse systématiquement les références basées sur la confiance et, bien qu'il ne nécessite aucun entraînement spécifique à la tâche, dépasse les modèles de récompense spécialisés entraînés. Nous complétons ces résultats par des analyses plus approfondies des caractéristiques de l'avantage progressif, offrant des conseils pratiques pour son adoption dans des systèmes agentiques réels.
Malgré leur utilisation répandue, le rôle des modèles de récompense dans la structuration de l'apprentissage par renforcement est mal compris. Les modèles de récompense offrent une promesse séduisante : ils estiment automatiquement la qualité des réponses en l'absence de vérificateurs ou de juges humains. Contrairement aux « récompenses vérifiables » qui produisent généralement des scores binaires, les modèles de récompense génèrent typiquement des scores continus, leur permettant d'être sensibles aux différences fines entre les réponses. Cependant, nous montrons que cette apparente force constitue une faiblesse sérieuse : de nombreux modèles de récompense populaires sont hypersensibles, attribuant des scores différents à des réponses pourtant équivalentes en qualité. Théoriquement, nous démontrons que des modèles de récompense apparemment parfaits peuvent être fortement hypersensibles ; empiriquement, cette hypersensibilité peut conduire à de mauvaises politiques. En lieu et place des notions existantes de « précision du modèle de récompense », nous proposons d'évaluer les modèles de récompense à l'aide de mesures distinctes de « capacité discriminative » et de « spécificité » (le complément de l'hypersensibilité). Comme solution, nous décrivons un algorithme sans apprentissage qui utilise le dropout de Monte Carlo sur tout modèle de récompense neuronal pour produire des clusters de récompenses discrets. Théoriquement, nous prouvons qu'il existe des discrétisations qui réduisent l'hypersensibilité au prix d'une perte minimale de capacité discriminative ; empiriquement, nous montrons, à la fois dans des cadres contrôlés et naturels de RL, que la discrétisation des récompenses conduit à moins de contournement de la récompense et à de meilleures politiques que l'entraînement sur les récompenses originales.
Bien que l'IA générative ait connu un succès remarquable dans la résolution de problèmes à solutions vérifiables, la génération d'art physique qui satisfait à la fois des contraintes géométriques strictes et une esthétique visuelle subjective reste un défi. Cet article présente une approche pour relever ces défis dans le domaine de l'origami computationnel, un environnement mathématiquement rigide qui ancre la conception artistique dans les équations de la pliabilité à plat. Nous présentons COrigami, un pipeline de bout en bout piloté par l'IA qui assiste le cycle de conception en générant des motifs de plis à partir du langage naturel. Notre pipeline comprend la génération d'une figure filaire sémantique, le calcul d'un emballage de base, la résolution d'un motif de plis pliable à plat, la mise en forme du motif de plis plié à plat, et l'affinage du modèle généré à l'aide d'un apprentissage par renforcement piloté par une boucle d'évaluation esthétique autonome. Notre système agit comme un assistant collaboratif hautement efficace, générant des points de départ structurels que les artistes humains peuvent ensuite développer et mettre en forme. En intégrant l'optimisation algorithmique à une critique esthétique autonome, ce travail démontre comment les systèmes d'IA peuvent satisfaire des contraintes physiques multi-objectifs pour permettre une co-créativité fiable et mathématiquement fondée.
ABACUS est un modèle unifié vision-langage qui gère le comptage d'objets, le comptage de foules, le comptage par expression référentielle et la génération d'images fidèles au comptage, sans nécessiter d'entraînement spécifique à chaque benchmark. Notre modèle est construit sur un modèle de base unifié existant de 3 milliards de paramètres et est adapté aux tâches de localisation d'objets grâce à trois innovations clés : un zoom adaptatif tenant compte de la densité avec des cartes d'objectness pour l'ancrage spatial ; une politique de comptage tenant compte des limites via GRPO pour éliminer les erreurs de limites de recadrage ; et une stratégie GRPO cohérente en boucle où la branche de compréhension critique ses propres sorties générées, comblant ainsi l'écart compréhension-génération sans aucune annotation externe. ABACUS atteint des résultats de pointe sur sept benchmarks, surpassant à la fois les spécialistes spécifiques à une tâche et les modèles généralistes plus grands.
Une citation fonctionnelle semble constituer une preuve – mais le fait qu’un lien pointe vers une ressource accessible ne signifie pas que l’article cité étaye l’affirmation. Je constate que les modèles agentiques actuels fabriquent rarement des citations (plus de 99 % pointent vers des ressources accessibles), mais environ 15,9 % d’entre elles renvoient au mauvais article. Les référentiels existants ne détectent pas ce mode de défaillance : lorsqu’une question dispose d’une grille de réponses fixes, un modèle peut reproduire la source attendue à partir de cette grille plutôt que de vérifier indépendamment que la source soutient bien l’affirmation. Je présente \openbiorq{}, un référentiel agentique fondé sur la recherche documentaire, comprenant 12 553 questions de recherche biomédicale non résolues dans 12 domaines, qui utilise les questions ouvertes comme sonde de fidélité et d’abstention. À ma connaissance, il s’agit du premier référentiel biomédical à combiner un cadre agentique – où le modèle doit émettre plusieurs appels d’outils – avec des questions non résolues ne possédant pas de grille de réponses. Le caractère ouvert est vérifié par rapport à des preuves de suivi réelles plutôt que par la connaissance paramétrique du modèle. La difficulté est empirique : je l’ancre sur les questions que trois modèles de référence à poids ouverts ne parviennent pas à résoudre, plutôt que sur des étiquettes de difficulté subjectives. Sur ce sous‑ensemble le plus difficile, les modèles issus de la même lignée que les ancres de difficulté ne résolvent qu’environ 17 % des questions, tandis que trois agents de pointe indépendants (Gemini‑3‑Pro, Opus‑4.7, GPT‑5.5) affichent une large fourchette de 29 à 60 %. Le référentiel est donc difficile, non saturant (le meilleur agent laisse encore environ 33–40 % de questions non résolues) et discriminant selon les niveaux de capacité. Au‑delà de la difficulté, j’observe un effondrement agentique sur les questions les plus ardues : les agents cessent d’utiliser leurs outils. Pour le modèle le plus sujet à cet effondrement, bloquer totalement l’accès aux outils modifie à peine son score – autrement dit, les outils cessent d’être rentables précisément là où ils sont le plus nécessaires. Une liste de vérification figée par question fait passer l’accord inter‑juges de 0,35 (Spearman) à 0,82.
Les systèmes LLM multi-modèles, tels que le routage, le vote, les cascades, la fusion et le mélange d'agents, sont utilisés pour surpasser la précision d'un modèle unique. Nous montrons que leur gain est plafonné par une quantité rarement rapportée dans le domaine. Pour toute politique dont la sortie est la réponse d'un modèle membre, la précision ne peut excéder un moins bêta, où bêta est le taux auquel chaque modèle se trompe sur la même requête. En revanche, le diagnostic habituel, la corrélation d'erreur moyenne par paire ρ, ne peut pas identifier bêta : des lois d'erreur avec des marginales et des corrélations par paires identiques peuvent avoir des taux d'erreur conjointe différents. Une borne de Clopper-Pearson sur bêta fournit un certificat sur échantillon fini du gain maximal que tout routeur, vote ou cascade pourrait apporter avant d'entraîner un routeur. Sur 67 modèles provenant de 21 fournisseurs, un modèle unifactoriel calibré tétrachoriquement sous-estime encore la queue de défaillance collective : en mathématiques ouvertes, β observé est de 0,052 contre 0,023 sous la copule gaussienne complète à 67 modèles, soit une sous-estimation d'environ 2,5 fois, avec un intervalle de confiance à 90 % de 1,7 à 3,4 et k = 17. L'effet se reproduit sur du code évalué par exécution, où β est de 0,079. En reposant les mêmes questions GPQA-Diamond sous forme de réponse libre plutôt qu'à choix multiples, la queue se rouvre, avec β = 0,127 et un panel de cinq juges avec un kappa de 0,73 à 0,92, localisant la défaillance conjointe dans le format de réponse plutôt que dans le sujet. À qualité égale, les ensembles hétérogènes à faible ρ surpassent le Self-MoA à ρ élevé, mais sur les tâches vérifiables de notre ensemble, combiner des modèles bat rarement le meilleur modèle unique sans un fort signal de routage au niveau de la requête. Les gains proviennent de modèles échouant sur des questions différentes, et non de l'ajout de modèles supplémentaires.
Les modèles de raisonnement scientifique pour la biologie combinent des modèles de langage avec des modèles fondamentaux entraînés sur des données biologiques multimodales, notamment l'ADN, l'ARN et les protéines. Ces modèles sont construits par post-entraînement, mais la manière dont chaque étape façonne le raisonnement et la généralisation reste mal comprise. Nous étudions quand le post-entraînement améliore la performance et quand il induit une sur-spécialisation. En génomique, transcriptomique et protéomique, nous entraînons et évaluons plus de 100 modèles de raisonnement biologique sous variation contrôlée de l'architecture de base, du pré-entraînement continu (PEC), de l'ajustement fin supervisé (AFS) et de l'apprentissage par renforcement (AR), en mesurant à la fois la performance intra-domaine (ID) et extra-domaine (ED). Nous constatons que chaque étape de post-entraînement remodèle la généralisation d'une manière distincte, plutôt que d'apporter des gains uniformes. Le PEC améliore la performance en aval en alignant les modèles sur le langage biologique. L'AFS augmente systématiquement la performance ID, mais entraîne un pic précoce de la performance ED suivi d'un déclin à mesure que les modèles s'ajustent à la distribution d'entraînement. L'AR, appliqué à des points de contrôle AFS solides avec des récompenses alignées, améliore la performance ED et récupère partiellement la généralisation. Ces résultats montrent que le raisonnement biologique ne s'améliore pas de manière monotone avec une supervision ou une puissance de calcul supplémentaire. Au contraire, la performance dépend de la composition des étapes d'entraînement. Sous des budgets de post-entraînement fixes, le meilleur compromis ID-ED provient d'un AFS court, d'une allocation plus importante à l'AR et d'une capacité d'adaptation asymétrique entre les étapes.
La prévision par Observation de la Terre (EO) vise à prédire les dynamiques futures de la surface terrestre à partir d'observations satellitaires dans des conditions météorologiques changeantes. Dans cet article, nous considérons cette tâche comme un problème de modélisation du monde partiellement observé et piloté par la météo, où la météo agit comme un signal de conditionnement, tandis que la prévision reste incertaine en raison d'observations éparses et d'états de surface non observés. Cependant, les méthodes existantes ne capturent pas pleinement ce cadre : les modèles déterministes réduisent l'incertitude en une seule prédiction future, tandis que les méthodes basées sur la diffusion traitent généralement les variables météorologiques comme des signaux de conditionnement indifférenciés, et les benchmarks existants se concentrent principalement sur la précision de reconstruction plutôt que sur la réponse correcte des prévisions à un forçage météorologique modifié. Nous présentons EO-WM, un transformer de diffusion vidéo pour la prévision EO multispectrale. EO-WM intègre un cadre de conditionnement physiquement informé qui représente le forçage météorologique via une référence climatologique, des anomalies météorologiques et des signaux de stress physique cumulés. Plus précisément, il sépare la référence et l'anomalie via des voies de conditionnement distinctes, et accumule le forçage anormal au fil du temps pour capturer le stress thermique et hydrique soutenu. Pour évaluer le comportement de réponse météorologique au-delà des métriques standard, nous introduisons deux benchmarks diagnostiques : un Benchmark d'Été Extrême pour la prédiction sensible à la sévérité de la dégradation de la végétation sous conditions météorologiques extrêmes, et un Benchmark de Paires Appariées Saisonnières pour tester la fidélité de réponse sous forçage météorologique modifié. Les expériences montrent qu'EO-WM réduit l'erreur dans l'amplitude de déclin prédite de l'Indice de Végétation par Différence Normalisée (NDVI) de 5,63 % en relatif et améliore le taux de succès directionnel de 7,80 % en relatif, tout en restant compétitif sur les métriques standard au niveau des pixels. Les benchmarks et le modèle seront rendus open-source à l'adresse https://github.com/Luo-Z13/EO-WM.