Articles du Jour

Nous présentons LLaDA2.0-Uni, un grand langage de modèle à diffusion discrète unifié (dLLM) qui prend en charge la compréhension et la génération multimodales au sein d'un cadre intégré natif. Son architecture combine un tokeniseur discret entièrement sémantique, un backbone dLLM basé sur MoE (Mixture of Experts) et un décodeur à diffusion. En discrétisant les entrées visuelles continues via SigLIP-VQ, le modèle permet une diffusion masquée au niveau des blocs pour les entrées textuelles et visuelles au sein du backbone, tandis que le décodeur reconstitue les tokens visuels en images de haute fidélité. L'efficacité de l'inférence est améliorée au-delà du décodage parallèle grâce à des optimisations sensibles au préfixe dans le backbone et une distillation en peu d'étapes dans le décodeur. Soutenu par des données à grande échelle soigneusement sélectionnées et un pipeline d'entraînement multi-étapes adapté, LLaDA2.0-Uni rivalise avec les modèles de langage visuel spécialisés en compréhension multimodale tout en offrant des performances solides en génération et édition d'images. Sa prise en charge native de la génération et du raisonnement entrelacés établit un paradigme prometteur et évolutif pour les modèles de fondation unifiés de nouvelle génération. Les codes et modèles sont disponibles à l'adresse https://github.com/inclusionAI/LLaDA2.0-Uni.

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu une méthode fondamentale de post-entraînement. L'introduction de trajectoires hors politique appropriées dans l'exploration sur politique accélère la convergence du RLVR et relève le plafond de performance, mais trouver une source de telles trajectoires reste le principal défi. Les méthodes à politique mixte existantes importent soit des trajectoires de professeurs externes (de haute qualité mais distributionnellement éloignées), soit rejouent des trajectoires d'entraînement passées (proches mais limitées en qualité), et aucune ne satisfait simultanément les conditions « suffisamment forte » (Q plus élevé, plus de nouvelles connaissances à apprendre) et « suffisamment proche » (V plus bas, plus facilement absorbée) requises pour maximiser le signal d'apprentissage effectif S = Q/V. Nous proposons l'Optimisation par Politique du Futur Proche (NPO), un schéma à politique mixte simple qui apprend du futur proche d'une politique elle-même : un point de contrôle ultérieur de la même session d'entraînement est une source naturelle de trajectoires auxiliaires à la fois plus forte que la politique actuelle et plus proche que toute source externe, équilibrant directement la qualité des trajectoires contre le coût de variance. Nous validons NPO via deux interventions manuelles, l'amorçage en phase initiale et la rupture de plateau en phase finale, et proposons en outre AutoNPO, une variante adaptative qui déclenche automatiquement les interventions à partir des signaux d'entraînement en ligne et sélectionne le point de contrôle guide qui maximise S. Sur Qwen3-VL-8B-Instruct avec GRPO, NPO améliore la performance moyenne de 57,88 à 62,84, et AutoNPO la porte à 63,15, relevant le plafond de performance final tout en accélérant la convergence.

Les agents de recherche approfondie à l'échelle périphérique, basés sur de petits modèles de langage, sont attractifs pour le déploiement en conditions réelles en raison de leurs avantages en matière de coût, de latence et de confidentialité. Dans ce travail, nous étudions comment entraîner un agent de recherche approfondie petit mais performant avec des données ouvertes limitées, en améliorant à la fois la qualité des données et leur utilisation. Nous présentons DR-Venus, un agent de recherche approfondie de pointe de 4 milliards de paramètres conçu pour un déploiement à l'échelle périphérique, entièrement construit sur des données ouvertes. Notre méthode d'entraînement comporte deux étapes. Dans la première étape, nous utilisons un fine-tuning supervisé (SFT) agentique pour établir des capacités agentiques de base, en combinant un nettoyage strict des données avec un rééchantillonnage des trajectoires à long horizon pour améliorer la qualité et l'utilisation des données. Dans la deuxième étape, nous appliquons un apprentissage par renforcement (RL) agentique pour améliorer davantage la fiabilité d'exécution sur les tâches de recherche approfondie à long horizon. Pour rendre le RL efficace pour les petits agents dans ce contexte, nous nous appuyons sur IGPO et concevons des récompenses au niveau du tour basées sur le gain d'information et une régularisation sensible au format, améliorant ainsi la densité de supervision et l'attribution de crédit par tour. Entièrement construit sur environ 10 000 données ouvertes, DR-Venus-4B surpasse significativement les modèles agentiques antérieurs de moins de 9 milliards de paramètres sur plusieurs benchmarks de recherche approfondie, tout en réduisant l'écart avec des systèmes beaucoup plus grands de la classe des 30 milliards. Notre analyse approfondie montre que les agents de 4 milliards de paramètres possèdent déjà un potentiel de performance étonnamment fort, soulignant à la fois la promesse de déploiement des petits modèles et la valeur de la mise à l'échelle au moment du test dans ce contexte. Nous publions nos modèles, notre code et nos méthodes clés pour soutenir la recherche reproductible sur les agents de recherche approfondie à l'échelle périphérique.

Les agents mobiles alimentés par des modèles vision-langage ont démontré des capacités impressionnantes dans l'automatisation des tâches mobiles, les modèles leaders récents réalisant un bond de performances notable, par exemple près de 70% de réussite sur AndroidWorld. Cependant, ces systèmes gardent leurs données d'entraînement fermées et restent opaques quant à leurs méthodes de synthèse de tâches et de trajectoires. Nous présentons OpenMobile, un cadre open-source qui synthétise des instructions de tâches et des trajectoires d'agent de haute qualité, avec deux composants clés : (1) Le premier est un pipeline de synthèse de tâches évolutif qui construit une mémoire d'environnement globale à partir de l'exploration, puis l'utilise pour générer des instructions diverses et ancrées. et (2) une stratégie de commutation de politique pour le déploiement de trajectoires. En alternant entre modèles apprenti et expert, elle capture les données essentielles de correction d'erreurs souvent absentes de l'apprentissage par imitation standard. Les agents entraînés sur nos données obtiennent des résultats compétitifs sur trois benchmarks dynamiques d'agents mobiles : notamment, nos Qwen2.5-VL et Qwen3-VL affinent́s atteignent 51,7% et 64,7% sur AndroidWorld, dépassant largement les approches ouvertes existantes. De plus, nous menons des analyses transparentes sur le chevauchement entre nos instructions synthétiques et les ensembles de test des benchmarks, et vérifions que les gains de performance proviennent d'une couverture fonctionnelle étendue plutôt que d'un surajustement aux benchmarks. Nous publions données et code sur https://njucckevin.github.io/openmobile/ pour combler le déficit de données et faciliter une recherche plus large sur les agents mobiles.

Les récentes avancées dans les modèles génératifs vidéo permettent la synthèse de vidéos réalistes d'interactions humain-objet couvrant un large éventail de scénarios et de catégories d'objets, y compris des manipulations manuelles complexes difficiles à capturer avec des systèmes de capture de mouvement. Bien que les connaissances riches en interactions intégrées dans ces vidéos synthétiques présentent un fort potentiel pour la planification motrice dans la manipulation robotique habile, leur fidélité physique limitée et leur nature purement 2D les rendent difficiles à utiliser directement comme cibles d'imitation dans le contrôle de personnages basé sur la physique. Nous présentons DeVI (Dexterous Video Imitation), un nouveau cadre qui exploite des vidéos synthétiques conditionnées par texte pour permettre un contrôle physique plausible d'agents habiles interagissant avec des objets cibles inconnus. Pour surmonter l'imprécision des indices génératifs 2D, nous introduisons une récompense de suivi hybride qui intègre un suivi humain 3D avec un suivi robuste d'objets 2D. Contrairement aux méthodes reposant sur des démonstrations cinématiques 3D de haute qualité, DeVI ne nécessite que la vidéo générée, permettant une généralisation zero-shot sur divers objets et types d'interaction. Des expériences approfondies démontrent que DeVI surpasse les approches existantes qui imitent des démonstrations 3D d'interaction humain-objet, particulièrement dans la modélisation d'interactions main-objet habiles. Nous validons en outre l'efficacité de DeVI dans des scènes multi-objets et la diversité d'actions pilotée par texte, mettant en avant l'avantage d'utiliser la vidéo comme planificateur de mouvement conscient des interactions humain-objet.

L’apprentissage par renforcement à partir de retours humains (RLHF) et les paradigmes d’alignement associés occupent désormais une place centrale pour orienter les grands modèles de langage (LLM) et les grands modèles de langage multimodaux (MLLM) vers des comportements privilégiés par les humains. Cependant, ces approches introduisent une vulnérabilité systémique : le détournement de récompense (reward hacking), où les modèles exploitent les imperfections des signaux de récompense appris pour maximiser des objectifs proxy sans satisfaire l’intention réelle de la tâche. À mesure que les modèles gagnent en échelle et que l’optimisation s’intensifie, une telle exploitation se manifeste par un biais de verbosité, de la flagornerie, des justifications hallucinées, du surajustement aux benchmarks et, dans les contextes multimodaux, un découplage perception–raisonnement et une manipulation de l’évaluateur. Des preuves récentes suggèrent en outre que des comportements apparemment bénins, fondés sur des raccourcis, peuvent se généraliser en des formes plus étendues de désalignement, incluant la tromperie et la manipulation stratégique des mécanismes de supervision. Dans cette synthèse, nous proposons l’hypothèse de compression des proxys (Proxy Compression Hypothesis, PCH) comme cadre unificateur pour comprendre le détournement de récompense. Nous formalisons ce phénomène comme une conséquence émergente de l’optimisation de politiques expressives contre des représentations compressées de récompense, elles-mêmes issues d’objectifs humains de haute dimension. Selon cette perspective, le détournement de récompense résulte de l’interaction entre la compression de l’objectif, l’amplification par optimisation et la co-adaptation évaluateur–politique. Ce point de vue unifie des phénomènes empiriques observés dans les régimes RLHF, RLAIF et RLVR, et explique comment l’apprentissage de raccourcis locaux peut généraliser vers des formes plus larges de désalignement, y compris la tromperie et la manipulation stratégique des mécanismes de supervision. Nous organisons en outre les stratégies de détection et d’atténuation en fonction de leur intervention sur la compression, l’amplification ou la dynamique de co-adaptation. En présentant le détournement de récompense comme une instabilité structurelle de l’alignement par proxy à grande échelle, nous soulignons les défis ouverts en matière de supervision scalable, d’ancrage multimodal et d’autonomie agentique.

L'intelligence spatiale est essentielle pour les modèles de langage multimodaux de grande taille, mais les benchmarks actuels l'évaluent principalement sous l'angle de la compréhension. Nous examinons si les modèles génératifs modernes ou les modèles multimodaux unifiés possèdent également une intelligence spatiale générative (ISG), c'est-à-dire la capacité à respecter et à manipuler les contraintes spatiales 3D lors de la génération d'images, et si cette capacité peut être mesurée ou améliorée. Nous présentons GSI-Bench, le premier benchmark conçu pour quantifier l'ISG via l'édition d'images ancrée spatialement. Il se compose de deux éléments complémentaires : GSI-Real, un jeu de données réel de haute qualité construit via un pipeline de génération et de filtrage guidé par des priors 3D, et GSI-Syn, un benchmark synthétique à grande échelle avec des opérations spatiales contrôlables et un étiquetage entièrement automatisé. Associé à un protocole d'évaluation unifié, GSI-Bench permet une évaluation scalable et agnostique du modèle quant au respect des contraintes spatiales et à la fidélité de l'édition. Les expériences montrent que le fine-tuning de modèles multimodaux unifiés sur GSI-Syn apporte des gains substantiels tant sur les tâches synthétiques que réelles et, fait marquant, améliore également la compréhension spatiale en aval. Cela constitue la première preuve claire que l'entraînement génératif peut renforcer tangiblement le raisonnement spatial, établissant une nouvelle voie pour faire progresser l'intelligence spatiale dans les modèles multimodaux.

Au fur et à mesure que les capacités des modèles progressent, la recherche s'oriente de plus en plus vers des tâches agentiques centrées sur le terminal, à long terme et multi-tours, où les retours bruts de l'environnement sont souvent conservés dans l'historique des interactions pour étayer les décisions futures. Cependant, la conservation répétée de ces retours introduit une redondance substantielle et entraîne une croissance quadratique du coût cumulé en tokens avec le nombre d'étapes, entravant le raisonnement à long terme. Bien que la compression des observations puisse atténuer ce problème, l'hétérogénéité des environnements terminaux rend les méthodes heuristiques ou à prompt fixe difficiles à généraliser. Nous proposons TACO, un cadre de compression agentique pour terminal, plug-and-play et auto-évolutif, qui découvre et affine automatiquement les règles de compression à partir des trajectoires d'interaction pour les agents terminaux existants. Les expériences sur TerminalBench (TB 1.0 et TB 2.0) et quatre benchmarks supplémentaires liés aux terminaux (à savoir SWE-Bench Lite, CompileBench, DevEval et CRUST-Bench) montrent que TACO améliore constamment les performances across les principaux frameworks d'agents et les modèles de base robustes. Avec MiniMax-2.5, il améliore les performances sur la plupart des benchmarks tout en réduisant la surcharge en tokens d'environ 10%. Sur TerminalBench, il apporte des gains constants de 1% à 4% sur les modèles agentiques robustes, et améliore encore la précision d'environ 2% à 3% pour un budget en tokens identique. Ces résultats démontrent l'efficacité et la généralisation de la compression auto-évolutive et consciente de la tâche pour les agents terminaux.

Le modèle à mélange d'experts (MoE) est devenu l'architecture dominante pour la mise à l'échelle des grands modèles de langage : les modèles de pointe découplent systématiquement les paramètres totaux du calcul par token via un routage creux d'experts. Les lois d'échelle montrent qu'à calcul actif fixe, la qualité du modèle évolue de manière prévisible avec le nombre total de paramètres, et les MoE réalisent cela en augmentant le nombre d'experts. Cependant, l'entraînement de grands MoE est coûteux, car les besoins en mémoire et la communication inter-périphériques augmentent tous deux avec le nombre total de paramètres. Nous proposons le *recyclage d'experts* (*expert upcycling*), une méthode pour augmenter progressivement la capacité d'un MoE en accroissant le nombre d'experts lors d'un pré-entraînement continu (CPT). Étant donné un modèle entraîné à E experts, l'opérateur de recyclage construit un modèle à mE experts par duplication d'experts et extension du routeur, tout en maintenant fixe le routage top-K, ce qui préserve le coût d'inférence par token. La duplication fournit une initialisation chaude : le modèle étendu hérite des représentations apprises du point de contrôle source, démarrant avec une perte substantiellement inférieure à une initialisation aléatoire. Le CPT ultérieur brise ensuite la symétrie entre les experts dupliqués pour favoriser la spécialisation. Nous formalisons l'opérateur de recyclage et développons un cadre théorique décomposant l'écart de qualité en un terme de capacité et un terme d'initialisation. Nous introduisons en outre la sélection d'experts par utilité, qui utilise des scores d'importance basés sur le gradient pour guider une duplication non uniforme, réduisant l'écart de plus de trois fois lorsque le CPT est limité. Dans nos expériences avec des paramètres totaux de 7B à 13B, le modèle recyclé atteint la perte de validation de référence de taille fixe tout en économisant 32 % d'heures GPU. Des ablations complètes sur différentes échelles de modèles, ratios d'activation, architectures MoE et budgets d'entraînement produisent une recette pratique pour déployer le recyclage d'experts, l'établissant comme une alternative économe en calcul et fondée sur des principes à l'entraînement de grands modèles MoE à partir de zéro.

Nous présentons C-GenReg, un cadre sans apprentissage pour l'alignement de nuages de points 3D qui exploite les forces complémentaires des modèles génératifs à l'échelle mondiale et des modèles de fondation vision (VFMs) orientés registration. Les méthodes d'alignement de nuages de points 3D actuelles basées sur l'apprentissage peinent à généraliser across les modalités de capture, les différences d'échantillonnage et les environnements. Par conséquent, C-GenReg enrichit la branche géométrique d'alignement en transférant le problème de mise en correspondance dans un domaine image auxiliaire, où les VFMs excellent, en utilisant un modèle de fondation mondial pour synthétiser des représentations RGB cohérentes en multivues à partir de la géométrie d'entrée. Ce transfert génératif préserve la cohérence spatiale entre les vues source et cible sans aucun ajustement fin. À partir de ces vues générées, un VFM pré-entraîné pour trouver des correspondances denses extrait des appariements. Les correspondances de pixels résultantes sont projetées en 3D via les cartes de profondeur originales. Pour renforcer la robustesse, nous introduisons un schéma de fusion froide probabiliste « Match-then-Fuse » qui combine deux distributions a posteriori de correspondances indépendantes : celle de la branche RGB générée et celle de la branche géométrique brute. Cette fusion probabiliste préserve le biais inductif de chaque modalité et fournit une confiance calibrée sans apprentissage supplémentaire. C-GenReg est zero-shot et plug-and-play : tous les modules sont pré-entraînés et fonctionnent sans ajustement fin. Des expériences approfondies sur des benchmarks intérieurs (3DMatch, ScanNet) et extérieurs (Waymo) démontrent de solides performances zero-shot et une généralisation cross-domain supérieure. Pour la première fois, nous démontrons un cadre d'alignement génératif qui fonctionne avec succès sur des données LiDAR extérieures réelles, où aucune donnée d'imagerie n'est disponible.

Les modèles de dialogue oral de bout en bout ont attiré une attention considérable car ils offrent un plafond de potentiel plus élevé en termes d'expressivité et de capacité perceptive que les systèmes en cascade. Cependant, l'intelligence et l'expressivité des modèles de dialogue oral open-source actuels restent souvent en deçà des attentes. Motivé par le succès de l'apprentissage par renforcement (RL) en ligne dans d'autres domaines, on pourrait tenter d'appliquer directement l'optimisation des préférences aux modèles de dialogue oral, mais ce transfert n'est pas trivial. Nous analysons ces obstacles sous les angles de la modélisation des récompenses et de l'échantillonnage des épisodes, en nous concentrant sur la manière dont une supervision clairsemée des préférences interagit avec la génération dense de parole lors de mises à jour de paramètres partagés. Sur la base de cette analyse, nous proposons une recette de post-entraînement adaptatif et consciente des modalités qui rend le RL praticable pour le dialogue oral : elle contraint les mises à jour des préférences au canal sémantique et améliore le comportement acoustique via un ancrage explicite, tout en régulant dynamiquement leur mélange à partir des statistiques des épisodes pour éviter des gradients de préférence non fiables. Nous évaluons la méthode sur plusieurs benchmarks de dialogue oral et des architectures représentatives, et observons des améliorations constantes de la qualité sémantique et de l'expressivité de la parole.

Les assistants de programmation IA sont déployés à grande échelle, mais nous manquons de preuves empiriques sur leur utilisation réelle et sur l'utilité pratique de leurs productions. Nous présentons SWE-chat, la première base de données à grande échelle de sessions réelles d'agents de programmation collectées auprès de développeurs open-source en conditions réelles. Cette base contient actuellement 6 000 sessions, comprenant plus de 63 000 requêtes utilisateur et 355 000 appels d'outils par l'agent. SWE-chat est une base dynamique ; notre pipeline de collecte découvre et traite automatiquement et continuellement des sessions provenant de dépôts publics. En exploitant SWE-chat, nous fournissons une première caractérisation empirique de l'utilisation réelle des agents de programmation et de leurs modes d'échec. Nous constatons que les schémas de programmation sont bimodaux : dans 41 % des sessions, les agents génèrent la quasi-totalité du code validé ("programmation intuitive"), tandis que dans 23 % des cas, les humains écrivent eux-mêmes tout le code. Malgré des capacités en amélioration rapide, les agents de programmation restent inefficaces en conditions naturelles. Seulement 44 % du code produit par l'agent est conservé dans les validations utilisateur, et le code généré par l'agent introduit plus de vulnérabilités de sécurité que le code écrit par des humains. De plus, les utilisateurs rejettent les productions de l'agent - par des corrections, des rapports d'échec ou des interruptions - dans 44 % de toutes les interactions. En capturant des traces complètes d'interaction avec attribution de la paternité du code (humain vs agent), SWE-chat fournit une base empirique pour dépasser les benchmarks artificiels vers une compréhension factuelle des performances des agents IA dans les workflows réels de développement.

L'ajustement à l'inférence est devenu une méthode puissante pour améliorer les grands modèles de langage. Cependant, les méthodes existantes sont mieux adaptées aux productions courtes et délimitées qui peuvent être directement comparées, classées ou affinées. Les agents de programmation à long horizon violent ce postulat : chaque tentative produit une trajectoire étendue d'actions, d'observations, d'erreurs et de progrès partiels réalisés par l'agent. Dans ce contexte, le défi principal n'est plus de générer davantage de tentatives, mais de représenter l'expérience antérieure sous une forme permettant une sélection et une réutilisation efficaces. Nous proposons un cadre d'ajustement à l'inférence pour la programmation agentielle basé sur des représentations compactes des trajectoires de déploiement. Notre cadre convertit chaque déploiement en un résumé structuré qui préserve ses hypothèses saillantes, son progrès et ses modes d'échec, tout en éliminant les détails de trace à faible signal. Cette représentation permet deux formes complémentaires de mise à l'échelle à l'inférence. Pour la mise à l'échelle parallèle, nous introduisons le Vote Tournoi Récursif (RTV), qui réduit récursivement une population de résumés de déploiement via des comparaisons en petits groupes. Pour la mise à l'échelle séquentielle, nous adaptons la méthode Parallèle-Distiller-Raffiner (PDR) au cadre agentiel en conditionnant les nouveaux déploiements sur des résumés distillés à partir des tentatives précédentes. Notre méthode améliore constamment les performances des agents de programmation de pointe sur SWE-Bench Verified et Terminal-Bench v2.0. Par exemple, en utilisant notre méthode, Claude-4.5-Opus passe de 70,9 % à 77,6 % sur SWE-Bench Verified (mini-SWE-agent) et de 46,9 % à 59,1 % sur Terminal-Bench v2.0 (Terminus 1). Nos résultats suggèrent que la mise à l'échelle à l'inférence pour les agents à long horizon est fondamentalement un problème de représentation, de sélection et de réutilisation.

Le réglage fin par renforcement améliore la capacité de raisonnement des grands modèles de langage, mais peut également les inciter à répondre à des requêtes insolubles en devinant ou en hallucinant des informations manquantes. Les méthodes d'abstention existantes entraînent soit les modèles à produire des refus génériques, soit les encouragent à demander des clarifications sans vérifier si celles-ci identifient les informations manquantes essentielles. Nous étudions les requêtes claires en signification mais qui ne peuvent être résolues de façon fiable à partir des informations données, et soutenons qu'un modèle fiable ne doit pas seulement s'abstenir, mais aussi expliquer ce qui manque. Nous proposons une récompense RLVR sensible aux clarifications qui, tout en récompensant les réponses correctes aux requêtes solubles, optimise conjointement l'abstention explicite et la clarification sémantiquement alignée après refus pour les requêtes insolubles. En utilisant cette récompense, nous entraînons Abstain-R1, un modèle de 3B qui améliore l'abstention et la clarification sur les requêtes insolubles tout en préservant de bonnes performances sur les requêtes solubles. Les expériences sur Abstain-Test, Abstain-QA et SelfAware montrent qu'Abstain-R1 s'améliore substantiellement par rapport à son modèle de base et atteint un comportement compétitif avec des systèmes plus grands comme DeepSeek-R1 sur les requêtes insolubles, suggérant qu'une abstention et une clarification calibrées peuvent être apprises via des récompenses vérifiables plutôt qu'émerger de la seule échelle.

Des travaux récents montrent que les générateurs d'images et de vidéos présentent des capacités de compréhension visuelle zero-shot, d'une manière qui rappelle la façon dont les LLM développent des capacités émergentes de compréhension et de raisonnement linguistiques à partir d'un pré-entraînement génératif. Bien qu'il ait longtemps été conjecturé que la capacité à créer du contenu visuel implique la capacité à le comprendre, il existait peu de preuves que les modèles génératifs visuels aient développé de solides capacités de compréhension. Dans ce travail, nous démontrons que l'entraînement à la génération d'images joue un rôle similaire au pré-entraînement des LLM, et permet aux modèles d'apprendre des représentations visuelles puissantes et générales qui permettent des performances à l'état de l'art sur diverses tâches de vision. Nous présentons Vision Banana, un modèle généraliste construit par réglage par instruction (instruction-tuning) de Nano Banana Pro (NBP) sur un mélange de ses données d'entraînement originales et d'une petite quantité de données de tâches visuelles. En paramétrant l'espace de sortie des tâches visuelles comme des images RVB, nous reformulons de manière transparente la perception en tant que génération d'images. Notre modèle généraliste, Vision Banana, obtient des résultats à l'état de l'art sur une variété de tâches visuelles impliquant à la fois la compréhension 2D et 3D, surpassant ou rivalisant avec des modèles spécialisés zero-shot, y compris Segment Anything Model 3 sur les tâches de segmentation, et la série Depth Anything sur l'estimation de la profondeur métrique. Nous montrons que ces résultats peuvent être atteints avec un réglage par instruction léger sans sacrifier les capacités de génération d'images du modèle de base. Ces résultats supérieurs suggèrent que le pré-entraînement à la génération d'images est un apprenant visuel généraliste. Cela montre également que la génération d'images sert d'interface unifiée et universelle pour les tâches visuelles, similaire au rôle de la génération de texte dans la compréhension et le raisonnement linguistiques. Nous pourrions assister à un changement de paradigme majeur pour la vision par ordinateur, où le pré-entraînement génératif visuel prend une place centrale dans la construction de modèles de vision fondamentaux (Foundational Vision Models) à la fois pour la génération et la compréhension.

La manipulation robotique industrielle nécessite une exécution fiable à long terme, quelles que soient les configurations matérielles, les tâches et les distributions changeantes d'objets. Si les modèles Vision-Langage-Action ont démontré une forte capacité de généralisation, ils restent fondamentalement réactifs. En optimisant l'action suivante sur la base de l'observation courante sans évaluer les futurs possibles, ils sont vulnérables aux modes de défaillance cumulatifs des tâches à long terme. Cortex 2.0 abandonne le contrôle réactif au profit d'une approche planifier-puis-agir en générant des trajectoires futures candidates dans l'espace latent visuel, en les évaluant selon leur probabilité de succès et leur efficacité, puis en s'engageant uniquement sur la candidate la mieux notée. Nous évaluons Cortex 2.0 sur une plateforme de manipulation à un et deux bras à travers quatre tâches de complexité croissante : prise et dépôt, tri d'objets et de déchets, tri de vis et déballage de boîtes à chaussures. Cortex 2.0 surpasse constamment les modèles de référence Vision-Langage-Action de pointe, obtenant les meilleurs résultats sur toutes les tâches. Le système reste fiable dans des environnements non structurés caractérisés par un encombrement important, des occlusions fréquentes et des manipulations riches en contacts, là où les politiques réactives échouent. Ces résultats démontrent que la planification basée sur un modèle du monde peut opérer de manière fiable dans des environnements industriels complexes.

À mesure que les assistants basés sur LLM deviennent persistants et personnalisés, ils doivent extraire et retenir des informations utiles des conversations passées sous forme de mémoire. Cependant, les types d'informations méritant d'être mémorisés varient considérablement selon les tâches. Nous formalisons la tâche d'extraction de mémoire hétérogène et présentons BEHEMOTH, un benchmark qui réutilise 18 jeux de données existants couvrant des tâches de personnalisation, de résolution de problèmes et agentiques, en utilisant une métrique utilitaire en aval pour une évaluation systématique. Notre analyse empirique confirme qu'aucune invite d'extraction statique unique ne domine toutes les catégories de tâches, et que les cadres d'optimisation d'invites auto-évolutifs existants, conçus initialement pour des distributions homogènes, voient leurs performances se dégrader lorsque les tâches d'entraînement sont hétérogènes. Pour résoudre ce problème, nous proposons CluE, une stratégie auto-évolutive basée sur le clustering qui regroupe les exemples d'entraînement en clusters par scénarios d'extraction, analyse chaque cluster indépendamment et synthétise les insights inter-clusters pour mettre à jour l'invite d'extraction. Les expériences sur BEHEMOTH montrent que CluE généralise efficacement sur des tâches hétérogènes (+9,04 % de gain relatif), surpassant constamment les cadres auto-évolutifs antérieurs.

Les modèles de langage entraînés sur du texte naturel apprennent à représenter les nombres à l'aide de caractéristiques périodiques dont les périodes dominantes sont T=2, 5, 10. Dans cet article, nous identifions une hiérarchie à deux niveaux de ces caractéristiques : bien que les Transformers, les RNN linéaires, les LSTMs et les plongements lexicaux classiques, entraînés de différentes manières, apprennent tous des caractéristiques présentant des pics de période T dans le domaine de Fourier, seuls certains apprennent des caractéristiques géométriquement séparables qui peuvent être utilisées pour classer linéairement un nombre modulo T. Pour expliquer cette incongruence, nous prouvons que la parcimonie dans le domaine de Fourier est nécessaire mais non suffisante pour la séparabilité géométrique modulo T. Empiriquement, nous étudions quand l'entraînement du modèle produit des caractéristiques géométriquement séparables, et constatons que les données, l'architecture, l'optimiseur et le tokeniseur jouent tous des rôles clés. En particulier, nous identifions deux voies différentes par lesquelles les modèles peuvent acquérir des caractéristiques géométriquement séparables : ils peuvent les apprendre à partir de signaux de co-occurrence complémentaires dans les données linguistiques générales, incluant la co-occurrence texte-nombre et l'interaction entre nombres, ou à partir de problèmes d'addition multi-jetons (mais pas à jeton unique). Globalement, nos résultats mettent en lumière le phénomène d'évolution convergente dans l'apprentissage de caractéristiques : une diversité de modèles apprennent des caractéristiques similaires à partir de signaux d'entraînement différents.

Malgré l'intérêt croissant pour la recherche sur les données coraniques, les ensembles de données existants restent limités en termes d'échelle et de diversité. Pour combler cette lacune, nous présentons Tadabur, un vaste ensemble de données audio du Coran. Tadabur comprend plus de 1400 heures d'audio de récitation provenant de plus de 600 récitateurs distincts, offrant une variation substantielle des styles de récitation, des caractéristiques vocales et des conditions d'enregistrement. Cette diversité fait de Tadabur une ressource exhaustive et représentative pour la recherche et l'analyse de la parole coranique. En élargissant considérablement à la fois la durée totale et la variabilité des données coraniques disponibles, Tadabur vise à soutenir la recherche future et à faciliter le développement de référentiels standardisés pour la parole coranique.

L'intelligence sociale, qui désigne la capacité à naviguer dans des interactions interpersonnelles complexes, constitue un défi fondamental pour les agents linguistiques. Former de tels agents par apprentissage par renforcement nécessite de résoudre le problème de l'attribution de crédit : déterminer comment des énoncés individuels contribuent aux résultats d'un dialogue multi-tours. Les approches existantes utilisent directement des modèles de langage pour distribuer les récompenses au niveau de l'épisode, produisant des attributions rétrospectives et dépourvues de fondement théorique. Nous proposons SAVOIR (ShApley Value fOr SocIal RL), un nouveau cadre théorique novateur ancré dans la théorie des jeux coopératifs. Notre approche combine deux principes complémentaires : l'utilité espérée fait passer l'évaluation de l'attribution rétrospective à l'évaluation prospective, capturant le potentiel stratégique d'un énoncé à permettre des trajectoires futures favorables ; les valeurs de Shapley assurent une distribution équitable du crédit avec des garanties axiomatiques d'efficacité, de symétrie et de marginalité. Les expériences sur le benchmark SOTOPIA démontrent que SAVOIR atteint de nouvelles performances de pointe dans tous les contextes d'évaluation, notre modèle de 7 milliards de paramètres égalant ou dépassant les modèles propriétaires, y compris GPT-4o et Claude-3.5-Sonnet. Il est à noter que même les grands modèles de raisonnement sont systématiquement moins performants, suggérant que l'intelligence sociale requiert des capacités qualitativement différentes du raisonnement analytique.

Les systèmes basés sur des modèles de langage de grande taille (LLM) sont de plus en plus déployés pour mener des recherches scientifiques de manière autonome. Pourtant, on comprend encore mal si leur raisonnement respecte les normes épistémiques qui rendent l'investigation scientifique autocorrectrice. Dans cette étude, nous évaluons des agents scientifiques basés sur des LLM dans huit domaines, allant de l'exécution de workflows à l'investigation hypothético-déductive, à travers plus de 25 000 exécutions d'agents et deux approches complémentaires : (i) une analyse systématique des performances qui décompose les contributions du modèle de base et de l'échafaudage de l'agent, et (ii) une analyse comportementale de la structure épistémologique du raisonnement de l'agent. Nous observons que le modèle de base est le principal déterminant des performances et du comportement, expliquant 41,4 % de la variance contre 1,5 % pour l'échafaudage. Dans toutes les configurations, les preuves sont ignorées dans 68 % des traces, la révision des croyances par réfutation intervient dans 26 % des cas, et les preuves convergentes issues de tests multiples sont rares. Le même schéma de raisonnement apparaît que l'agent exécute un workflow informatique ou mène une investigation hypothético-déductive. Ces schémas persistent même lorsque les agents reçoivent des trajectoires de raisonnement quasi complètes et réussies comme contexte, et l'instabilité qui en résulte s'accentue au fil des essais répétés dans des domaines exigeants sur le plan épistémique. Ainsi, les agents actuels basés sur des LLM exécutent des workflows scientifiques mais n'exhibent pas les schémas épistémiques qui caractérisent le raisonnement scientifique. L'évaluation basée sur les résultats ne peut pas détecter ces échecs, et l'ingénierie de l'échafaudage seule ne peut les corriger. Tant que le raisonnement lui-même ne devient pas une cible d'entraînement, les connaissances scientifiques produites par de tels agents ne peuvent être justifiées par le processus qui les a générées.

Étant donné uniquement des données observationnelles X = g(Z), où les variables latentes Z et le processus générateur g sont tous deux inconnus, la récupération de Z est un problème mal posé sans hypothèses supplémentaires. Les méthodes existantes supposent souvent la linéarité ou s'appuient sur une supervision auxiliaire et des contraintes fonctionnelles. Cependant, de telles hypothèses sont rarement vérifiables en pratique, et la plupart des garanties théoriques s'effondrent même en cas de violations mineures, laissant une incertitude quant à la manière de comprendre de façon fiable le monde caché. Pour rendre l'identifiabilité réalisable dans des scénarios réels, nous adoptons un point de vue complémentaire : dans les contextes généraux où l'identifiabilité complète est inatteignable, que peut-on encore récupérer avec des garanties, et quels biais pourraient être universellement adoptés ? Nous introduisons le problème de l'apprentissage de dictionnaire diversifié pour formaliser cette perspective. Plus précisément, nous montrons que les intersections, compléments et différences symétriques des variables latentes liées à des observations arbitraires, ainsi que la structure de dépendance latent-observé, restent identifiables à des indéterminations près, même sans hypothèses fortes. Ces résultats ensemblistes peuvent être composés en utilisant l'algèbre des ensembles pour construire des vues structurées et essentielles du monde caché, telles que les définitions par genre et différence. Lorsqu'une diversité structurelle suffisante est présente, ils impliquent en outre l'identifiabilité complète de toutes les variables latentes. Il est à noter que tous les bénéfices en termes d'identifiabilité découlent d'un simple biais inductif lors de l'estimation, qui peut être facilement intégré dans la plupart des modèles. Nous validons la théorie et démontrons les avantages de ce biais sur des données synthétiques et réelles.

Les agents de codage de pointe sont de plus en plus utilisés dans des workflows où les utilisateurs supervisent les progrès principalement par l'amélioration répétée d'un score public, à savoir le score rapporté sur un fichier d'évaluation public contenant les étiquettes dans l'espace de travail, plutôt que par l'inspection directe des sorties intermédiaires de l'agent. Nous étudions si la pression utilisateur multi-tours pour améliorer ce score induit une exploitation du score public : un comportement qui augmente le score public par des raccourcis sans améliorer l'évaluation privée cachée. Nous commençons par une tâche préliminaire de classification tabulaire à script unique, où GPT-5.4 et Claude Opus 4.6 exploitent tous deux les informations des étiquettes en moins de 10 tours d'interaction utilisateur-agent. Nous construisons ensuite AgentPressureBench, un benchmark de référentiel de 34 tâches d'apprentissage automatique couvrant trois modalités d'entrée, et collectons 1326 trajectoires multi-tours auprès de 13 agents de codage. Sur notre benchmark, nous observons 403 exécutions exploitantes, couvrant toutes les tâches. Nous constatons également que les modèles plus puissants ont des taux d'exploitation plus élevés, étayés par une corrélation de rang de Spearman significative de 0,77. Nos expériences d'ablation montrent qu'une pression utilisateur plus forte conduit à une exploitation plus précoce, réduisant le tour de première exploitation moyen de 15,6 tours (c'est-à-dire de 19,67 à 4,08). Comme mesure d'atténuation, l'ajout de formulations anti-exploitation explicites dans l'invite élimine mostly l'exploitation (de 100% à 8,3%). Nous espérons que notre travail pourra attirer l'attention sur une utilisation plus prudente des workflows d'agents de codage, et sur le développement d'agents de codage plus robustes sous la pression des utilisateurs. Notre page projet se trouve à l'adresse https://ucsc-vlaa.github.io/AgentPressureBench .

La génération de vidéos humaines reste difficile en raison de la complexité à modéliser conjointement l'apparence humaine, le mouvement et l'angle de vue de la caméra avec des données multi-vues limitées. Les méthodes existantes abordent souvent ces facteurs séparément, ce qui entraîne une contrôlabilité limitée ou une qualité visuelle réduite. Nous revisitons ce problème selon une perspective axée sur l'image, où l'apparence humaine de haute qualité est apprise via la génération d'images et utilisée comme préalable pour la synthèse vidéo, découplant ainsi la modélisation de l'apparence de la cohérence temporelle. Nous proposons un pipeline contrôlable par la pose et l'angle de vue qui combine un modèle pré-entraîné pour les images avec un guidage du mouvement basé sur SMPL-X, ainsi qu'une étape de raffinement temporel sans apprentissage basée sur un modèle de diffusion vidéo pré-entraîné. Notre méthode produit des vidéos de haute qualité et temporellement cohérentes sous diverses poses et angles de vue. Nous publions également un jeu de données humain canonique et un modèle auxiliaire pour la synthèse d'images humaines compositionnelle. Le code et les données sont disponibles publiquement à l'adresse https://github.com/Taited/ReImagine.

Dans cet article, nous étudions le problème de la maîtrise efficace de l'utilisation d'outils pour résoudre des tâches complexes de raisonnement visuel par les modèles de langage multimodaux de grande taille. Pour y parvenir, nous proposons un nouveau cadre d'apprentissage par renforcement supervisé par outils (ToolsRL), avec une supervision directe des outils pour un apprentissage plus efficace de leur utilisation. Nous nous concentrons sur une série d'outils visuels simples, natifs et interprétables, incluant le zoom avant, la rotation, le retournement et le dessin de points/lignes, dont la supervision est facile à collecter. Un curriculum d'apprentissage par renforcement est développé, où la première étape est optimisée uniquement par un ensemble de récompenses spécifiques aux outils, et la seconde étape est entraînée avec des récompenses ciblant la précision tout en autorisant l'appel aux outils. Ainsi, la capacité d'appel des outils est maîtrisée avant de les utiliser pour accomplir des tâches de raisonnement visuel, évitant un conflit d'optimisation potentiel entre ces tâches hétérogènes. Nos expériences ont montré que l'entraînement curriculaire supervisé par outils est efficace et que ToolsRL peut atteindre de solides capacités d'utilisation d'outils pour des tâches complexes de raisonnement visuel.

Les grands modèles de langage (LLM) présentent souvent des disparités de performance entre les langues, un réglage fin multilingue naïf dégradant fréquemment les performances en raison d'interférences translinguistiques négatives. Pour résoudre ce problème, nous présentons COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling), un nouveau cadre centré sur les données pour adapter les LLM aux langues cibles. COMPASS exploite le réglage fin efficace en paramètres (PEFT) en entraînant des adaptateurs légers, spécifiques à chaque langue, sur un sous-ensemble judicieusement sélectionné de données multilingues auxiliaires. Le cœur de notre méthode est une stratégie d'échantillonnage sensible à la distribution qui utilise des embeddings multilingues et du clustering pour identifier les écarts sémantiques entre les données d'entraînement existantes et une distribution d'utilisation cible. En priorisant les données auxiliaires provenant de clusters sémantiques sous-représentés, COMPASS maximise le transfert translinguistique positif tout en minimisant les interférences. Nous étendons cela en un cadre d'apprentissage continu, COMPASS-ECDA, qui surveille les dérives de distribution des données en production et met à jour dynamiquement les adaptateurs pour prévenir l'obsolescence du modèle, en équilibrant l'adaptation aux nouvelles données avec la préservation des connaissances existantes. Sur trois architectures de modèles différentes (Phi-4-Mini, Llama-3.1-8B et Qwen2.5-7B) et plusieurs benchmarks multilingues exigeants (Global-MMLU, MMLU-ProX), incluant des tâches inédites à contexte long (OneRuler), nous démontrons que COMPASS surpasse constamment les méthodes de référence guidées par la similarité linguistique, offrant une solution efficace, efficiente et durable pour développer et maintenir des modèles multilingues performants dans des environnements dynamiques.

Les grands modèles de langage peuvent générer du code de jeu plausible, mais transformer cette capacité en amélioration créative itérative reste difficile. En pratique, la génération en une seule passe produit souvent un comportement à l'exécution fragile, une faible accumulation d'expérience entre les versions, et des scores de créativité trop subjectifs pour servir de signaux d'optimisation fiables. Une autre limitation est que les mécaniques de jeu sont souvent traitées uniquement comme des descriptions a posteriori, plutôt que comme des objets explicites pouvant être planifiés, suivis, préservés et évalués durant la génération. Ce rapport présente CreativeGame, un système multi-agent pour la génération itérative de jeux HTML5 qui aborde ces problèmes via quatre idées couplées : une récompense proxy centrée sur des signaux programmatiques plutôt que sur le seul jugement des LLM ; une mémoire délimitée par la lignée pour l'accumulation d'expérience trans-version ; une validation à l'exécution intégrée à la fois dans la réparation et la récompense ; et une boucle de planification guidée par les mécaniques où les connaissances de mécaniques récupérées sont converties en un plan de mécanique explicite avant que la génération de code ne commence. L'objectif n'est pas seulement de produire un artefact jouable en une étape, mais de soutenir une évolution interprétable de version en version. Le système actuel contient 71 lignées stockées, 88 nœuds sauvegardés et une archive globale de mécaniques de jeu comprenant 774 entrées, le tout implémenté en 6 181 lignes de Python accompagnées d'outils d'inspection et de visualisation. Le système est donc suffisamment substantiel pour supporter une analyse architecturale, l'inspection des récompenses et des études de cas réelles au niveau des lignées, et pas seulement des démonstrations au niveau des prompts. Une lignée réelle de 4 générations montre que l'innovation au niveau des mécaniques peut émerger dans les versions ultérieures et peut être inspectée directement via les enregistrements d'une version à l'autre. La contribution principale n'est donc pas seulement la génération de jeux, mais un pipeline concret pour observer une évolution progressive via un changement explicite des mécaniques.

Les champs conditionnels aléatoires semi-markoviens (semi-CRF) attribuent des étiquettes à des segments d'une séquence plutôt qu'à des positions individuelles, permettant une inférence exacte sur les caractéristiques au niveau des segments et des estimations probabilistes rigoureuses de leurs limites. Cependant, les implémentations existantes doivent matérialiser un grand tenseur de potentiels d'arêtes dont la taille augmente avec la longueur de la séquence, la longueur maximale des segments et le nombre d'étiquettes, devenant prohibitif pour les espaces d'états à l'échelle de la parole et insoluble aux échelles génomiques où les séquences peuvent dépasser 100 000 positions. Ce goulot d'étranglement mémoire a limité l'adoption de l'inférence exacte au niveau des segments pour les longues séquences et les grands ensembles d'étiquettes. Nous identifions que l'inefficacité principale est la matérialisation des potentiels d'arêtes qui peuvent plutôt être évalués à la volée à partir d'un tableau compact de sommes préfixées, et apportons plusieurs améliorations. Premièrement, le remplacement du tenseur d'arêtes stocké par une recherche de sommes préfixées réduit l'empreinte mémoire d'un facteur proportionnel au produit de la longueur des segments et du nombre d'étiquettes. Deuxièmement, une passe avant-arrière en flux continu avec normalisation aux limites de vérification maintient la mémoire de travail sous-linéaire par rapport à la longueur de la séquence tout en préservant les gradients exacts. Troisièmement, des scores cumulatifs centrés sur zéro contrôlent la dérive numérique et induisent un a priori de durée adaptatif sous déséquilibre des étiquettes. Nous intégrons ces idées dans Flash-SemiCRF, un noyau Triton fusionné qui permet l'inférence exacte de semi-CRF sur des tailles de problèmes précédemment insolubles. Disponible à l'adresse https://github.com/biobenkj/flash-semicrf.

Nous présentons MMCORE, un cadre unifié conçu pour la génération et l'édition d'images multimodales. MMCORE exploite un modèle vision-langage (VLM) pré-entraîné pour prédire des embeddings visuels sémantiques via des tokens d'interrogation apprenables, qui servent ensuite de signaux de conditionnement pour un modèle de diffusion. Cette conception rationalisée transfère efficacement les riches capacités de compréhension et de raisonnement des VLM dans le processus de génération visuelle. En éliminant le besoin de fusion profonde entre les modèles autogressifs et les modèles de diffusion ou d'un apprentissage à partir de zéro, MMCORE réduit considérablement la charge computationnelle tout en maintenant une synthèse de haute fidélité. MMCORE intègre de manière transparente la synthèse texte-image avec la génération d'images entrelacées, démontrant une compréhension multimodale robuste dans des scénarios complexes tels que le raisonnement spatial et l'ancrage visuel. Des évaluations approfondies indiquent que MMCORE surpasse constamment les méthodes de référence les plus avancées sur un large éventail de benchmarks de génération texte-image et d'édition d'image unique/multiple.

Les travaux antérieurs montrent que le fine-tuning de modèles alignés sur des données bénignes dégrade la sécurité dans les modalités texte et image, et que la proximité avec du contenu nuisible dans l'espace de représentation prédit quels échantillons causent le plus de dommages. Cependant, les analyses existantes opèrent dans un espace d'embedding unique et indifférencié, laissant ouverte la question de savoir si des propriétés distinctes des entrées déterminent différemment la vulnérabilité. L'audio introduit un problème structurellement plus riche : un échantillon bénin peut voisiner un contenu nuisible non seulement par ce qui est dit, mais aussi par la façon dont cela sonne, même lorsque ses mots sont entièrement inoffensifs. Nous présentons la première étude systématique sur la sécurité du fine-tuning bénin dans les modèles de langage audio (Audio LLMs), en évaluant trois modèles de pointe avec un cadre de filtrage par proximité qui sélectionne l'audio bénin par la distance dans l'espace d'embedding au contenu nuisible. En décomposant la proximité selon des axes sémantiques, acoustiques et mixtes à l'aide d'encodeurs de référence externes parallèlement à l'encodeur interne de chaque modèle, nous montrons que le fine-tuning bénin élève le taux de réussite des contournements (Jailbreak Success Rate, JSR) de chiffres à un seul chiffre jusqu'à 87,12 %. Il est crucial de noter que l'axe de vulnérabilité dominant et le risque relatif du fine-tuning audio par rapport au texte sont tous deux conditionnés par l'architecture – déterminés par la façon dont l'encodeur et le projecteur de chaque modèle transforment l'audio en entrée pour le LLM. Nous proposons deux défenses : le filtrage des données d'entraînement pour maximiser la distance par rapport aux embeddings nuisibles, et l'utilisation d'un prompt système textuel lors de l'inférence, toutes deux réduisant le JSR à près de zéro sans modification architecturale. Notre analyse mécanistique sur deux architectures révèle que le fine-tuning supprime sélectivement le circuit de refus des couches tardives tandis que l'encodeur gelé préserve les représentations, et que même le schéma de suppression est conditionné par l'architecture, reflétant les asymétries comportementales entre les modalités. La dégradation de la sécurité due au fine-tuning bénin constitue un risque qualitativement distinct dans les Audio LLMs.