Articles de recherche IA sélectionnés quotidiennement avec traductions
Les agents d'interface graphique pilotent les applications via leurs interfaces visuelles plutôt que par des API programmatiques, interagissant avec des logiciels arbitraires par des taps, des gestes de balayage et des frappes au clavier, atteignant une longue traîne d'applications inaccessibles aux agents basés sur CLI. Pourtant, les progrès dans ce domaine sont davantage entravés par l'absence d'une infrastructure cohérente full-stack que par les capacités de modélisation : l'apprentissage par renforcement en ligne souffre d'instabilité environnementale et de pipelines fermés, les protocoles d'évaluation divergent silencieusement entre les travaux, et les agents entraînés atteignent rarement les utilisateurs réels sur des appareils réels. Nous présentons ClawGUI, un framework open-source qui résout ces trois lacunes au sein d'une même structure. ClawGUI-RL fournit la première infrastructure open-source d'apprentissage par renforcement pour agents GUI avec une prise en charge validée des environnements virtuels parallèles et des appareils physiques réels, intégrant GiGPO avec un Process Reward Model pour une supervision dense au niveau de l'étape. ClawGUI-Eval impose un pipeline d'évaluation entièrement standardisé sur 6 benchmarks et 11+ modèles, atteignant 95,8 % de reproductibilité par rapport aux bases de référence officielles. ClawGUI-Agent déploie les agents entraînés sur Android, HarmonyOS et iOS via 12+ plateformes de chat avec un contrôle hybride CLI-GUI et une mémoire persistante personnalisée. Entraîné de bout en bout dans ce pipeline, ClawGUI-2B atteint un taux de réussite de 17,1 % sur MobileWorld GUI-Only, surpassant de 6,0 % la base de référence MAI-UI-2B de même échelle.
RLVR améliore le raisonnement des grands modèles de langage, mais son efficacité est souvent limitée par une sévérité de la rareté des récompenses sur les problèmes difficiles. Les méthodes récentes de RL basées sur des indices atténuent cette rareté en injectant des solutions partielles ou des modèles abstraits, mais elles augmentent généralement le guidage en ajoutant plus de tokens, ce qui introduit de la redondance, des incohérences et une surcharge d'entraînement supplémentaire. Nous proposons KnowRL (Reinforcement Learning Guidé par la Connaissance), un cadre d'entraînement par RL qui traite la conception des indices comme un problème de guidage minimal-suffisant. Pendant l'entraînement RL, KnowRL décompose le guidage en points de connaissance atomiques (KP) et utilise une Recherche de Sous-ensemble Contraint (CSS) pour construire des sous-ensembles compacts et conscients des interactions pour l'entraînement. Nous identifions en outre un paradoxe d'interaction par élagage – supprimer un KP peut aider tandis que supprimer plusieurs de ces KP peut nuire – et optimisons explicitement la curation robuste de sous-ensembles sous cette structure de dépendance. Nous entraînons KnowRL-Nemotron-1.5B à partir d'OpenMath-Nemotron-1.5B. Sur huit benchmarks de raisonnement à l'échelle 1.5B, KnowRL-Nemotron-1.5B surpasse systématiquement les bases de référence solides en RL et avec indices. Sans indices KP à l'inférence, KnowRL-Nemotron-1.5B atteint une précision moyenne de 70,08, surpassant déjà Nemotron-1.5B de +9,63 points ; avec des KPs sélectionnés, la performance s'améliore à 74,16, établissant un nouvel état de l'art à cette échelle. Le modèle, les données d'entraînement curatées et le code sont publiquement disponibles à l'adresse https://github.com/Hasuer/KnowRL.
La distillation sur politique (OPD) est devenue une technique fondamentale dans le post-entraînement des grands modèles de langage, bien que sa dynamique d'apprentissage reste mal comprise. Cet article propose une investigation systématique des dynamiques et mécanismes de l'OPD. Nous identifions d'abord deux conditions déterminant le succès ou l'échec de l'OPD : (i) l'étudiant et l'enseignant doivent partager des schémas de pensée compatibles ; et (ii) même avec des schémas de pensée cohérents et des scores supérieurs, l'enseignant doit offrir de véritables capacités nouvelles au-delà de ce que l'étudiant a vu pendant l'entraînement. Nous validons ces résultats par une distillation inverse faible-vers-fort, montrant que des enseignants de 1,5B et 7B de même famille sont indistinguables distributionnellement du point de vue de l'étudiant. En examinant le mécanisme au niveau des tokens, nous montrons que l'OPD réussie se caractérise par un alignement progressif sur les tokens à haute probabilité dans les états visités par l'étudiant, un petit ensemble partagé de tokens qui concentre l'essentiel de la masse probabiliste (97%-99%). Nous proposons ensuite deux stratégies pratiques pour récupérer les OPD en échec : un démarrage à froid hors politique et une sélection d'invites alignée sur l'enseignant. Enfin, nous montrons que le prétendu avantage gratuit de l'OPD en termes de récompense dense au niveau token a un coût, soulevant la question de savoir si l'OPD peut être mise à l'échelle pour la distillation à long terme.
La recherche en IA autonome a progressé rapidement, mais l'ingénierie de recherche en apprentissage automatique à long horizon reste difficile : les agents doivent maintenir une progression cohérente à travers la compréhension des tâches, la configuration de l'environnement, l'implémentation, l'expérimentation et le débogage sur plusieurs heures ou jours. Nous présentons AiScientist, un système d'ingénierie autonome à long horizon pour la recherche en ML fondé sur un principe simple : une forte performance à long horizon nécessite à la fois une orchestration structurée et une continuité durable de l'état. Pour cela, AiScientist combine une orchestration hiérarchique avec un espace de travail Fichier-comme-Bus à permissions délimitées : un Orchestrateur de haut niveau maintient un contrôle au niveau des étapes via des résumés concis et une cartographie de l'espace de travail, tandis que des agents spécialisés se ré-ancrent répétitivement sur des artefacts durables tels que des analyses, des plans, du code et des preuves expérimentales plutôt que de reposer principalement sur des transferts conversationnels, produisant ainsi un contrôle fin sur un état épais. Sur deux benchmarks complémentaires, AiScientist améliore le score PaperBench de 10.54 points en moyenne par rapport à la meilleure baseline correspondante et atteint 81.82% Any Medal sur MLE-Bench Lite. Les études d'ablation montrent en outre que le protocole Fichier-comme-Bus est un facteur clé de performance, réduisant PaperBench de 6.41 points et MLE-Bench Lite de 31.82 points lorsqu'il est supprimé. Ces résultats suggèrent que l'ingénierie de recherche en ML à long horizon est un problème systémique de coordination de travaux spécialisés sur un état de projet durable, plutôt qu'un problème de raisonnement purement local.
L'essor des agents autonomes d'interface graphique a déclenché des contre-mesures adverses de la part des plateformes numériques, mais les recherches existantes privilégient l'utilité et la robustesse au détriment de la dimension cruciale de l'anti-détection. Nous soutenons que pour survivre dans des écosystèmes centrés sur l'humain, les agents doivent développer des capacités d'Humanisation. Nous introduisons le « Test de Turing à l'Écran », modélisant formellement l'interaction comme un problème d'optimisation MinMax entre un détecteur et un agent visant à minimiser la divergence comportementale. Nous collectons ensuite un nouveau jeu de données haute fidélité sur la dynamique des touches mobiles, et menons une analyse montrant que les agents LMM standard sont facilement détectables en raison de leur cinématique non naturelle. Par conséquent, nous établissons le Benchmark d'Humanisation des Agents (AHB) et des métriques de détection pour quantifier le compromis entre l'imitabilité et l'utilité. Enfin, nous proposons des méthodes allant du bruit heuristique à l'appariement comportemental basé sur les données, démontrant que les agents peuvent atteindre une haute imitabilité théoriquement et empiriquement sans sacrifier les performances. Ce travail change le paradigme de la capacité d'un agent à exécuter une tâche vers la manière dont il l'exécute au sein d'un écosystème centré sur l'humain, jetant les bases d'une coexistence harmonieuse dans des environnements numériques adverses.
Les récentes avancées en génération vidéo permettent un nouveau paradigme pour la création de scènes 3D : générer des vidéos contrôlées par caméra simulant des parcours dans une scène, puis les convertir en 3D via des techniques de reconstruction par propagation avant. Cette approche de reconstruction générative combine la fidélité visuelle et la capacité créative des modèles vidéo avec des sorties 3D prêtes pour le rendu en temps réel et la simulation. La mise à l'échelle vers des environnements vastes et complexes nécessite une génération vidéo 3D-cohérente sur de longues trajectoires caméra avec de grands changements de point de vue et des retours sur des lieux déjà visités, un contexte où les modèles vidéo actuels se dégradent rapidement. Les méthodes existantes pour la génération à long terme sont fondamentalement limitées par deux formes de dégradation : l'oubli spatial et la dérive temporelle. Au fur et à mesure de l'exploration, les régions précédemment observées sortent du contexte temporel du modèle, le forçant à halluciner des structures lors des revisites. Parallèlement, la génération autorégressive accumule de petites erreurs de synthèse au fil du temps, déformant progressivement l'apparence et la géométrie de la scène. Nous présentons Lyra 2.0, un cadre pour générer des mondes 3D persistants et explorables à grande échelle. Pour résoudre l'oubli spatial, nous maintenons une géométrie 3D par image et l'utilisons uniquement pour le routage d'information – en récupérant les images passées pertinentes et en établissant des correspondances denses avec les points de vue cibles – tout en s'appuyant sur l'a priori génératif pour la synthèse d'apparence. Pour résoudre la dérive temporelle, nous entraînons le modèle avec des historiques auto-augmentés qui l'exposent à ses propres sorties dégradées, lui apprenant à corriger la dérive plutôt qu'à la propager. Ensemble, ces mécanismes permettent des trajectoires vidéo substantiellement plus longues et 3D-cohérentes, que nous exploitons pour affiner des modèles de reconstruction par propagation avant qui restaurent de manière fiable des scènes 3D de haute qualité.
L'optimisation proximale des politiques (PPO) est centrale pour l'alignement des grands modèles de langage (LLM) dans les tâches de raisonnement avec des récompenses vérifiables. Cependant, le PPO standard au niveau des tokens est inefficace dans ce contexte, en raison de l'instabilité de l'attribution temporelle du crédit sur les longs horizons de chaînes de raisonnement (CoT) et du coût mémoire prohibitif du modèle de valeur. Bien que des alternatives sans critique comme le GRPO atténuent ces problèmes, elles entraînent une surcharge computationnelle significative en nécessitant de multiples échantillons pour l'estimation de la baseline, limitant ainsi considérablement le débit d'entraînement. Dans cet article, nous présentons le PPO au niveau de la séquence (SPPO), un algorithme scalable qui concilie l'efficacité d'échantillonnage du PPO avec la stabilité des mises à jour basées sur les résultats. SPPO reformule le processus de raisonnement comme un problème de bandit contextuel au niveau de la séquence, utilisant une fonction de valeur scalaire découplée pour obtenir des signaux d'avantage à faible variance sans multi-échantillonnage. Des expériences approfondies sur des benchmarks mathématiques démontrent que SPPO surpasse significativement le PPO standard et égale les performances des méthodes gourmandes en calcul basées sur des groupes, offrant ainsi un cadre efficace en ressources pour l'alignement des LLM de raisonnement.
L'évaluation précise est au cœur de l'écosystème des grands modèles de langage (LLM), guidant la sélection des modèles et leur adoption en aval dans divers cas d'usage. En pratique, cependant, l'évaluation des sorties génératives repose généralement sur des méthodes lexicales rigides pour extraire et évaluer les réponses, ce qui peut confondre la véritable capacité de résolution de problèmes d'un modèle avec sa conformité à des directives de formatage prédéfinies. Bien que les approches récentes de type « LLM-en-tant-que-Juge » atténuent ce problème en évaluant l'exactitude sémantique plutôt que la conformité structurelle stricte, elles introduisent également une surcharge computationnelle substantielle, rendant l'évaluation coûteuse. Dans ce travail, nous investiguons d'abord systématiquement les limites de l'évaluation lexicale à travers une étude empirique à grande échelle couvrant 36 modèles et 15 tâches en aval, démontrant que ces méthodes corrèlent faiblement avec les jugements humains. Pour pallier cette limite, nous présentons « BERT-en-tant-que-Juge », une approche basée sur un encodeur pour évaluer l'exactitude des réponses dans des cadres génératifs avec référence, robuste aux variations de formulation en sortie et ne nécessitant qu'un entraînement léger sur des triplets question-candidat-référence annotés synthétiquement. Nous montrons qu'elle surpasse systématiquement la baseline lexicale tout en égalant les performances de juges LLM bien plus grands, offrant un compromis convaincant entre les deux et permettant une évaluation fiable et évolutive. Enfin, par une expérimentation extensive, nous fournissons des insights détaillés sur les performances de BERT-en-tant-que-Juge pour offrir des conseils pratiques aux praticiens, et nous publions tous les artefacts du projet pour favoriser l'adoption en aval.
Nous décrivons le pré-entraînement, le post-entraînement et la quantification de Nemotron 3 Super, un modèle hybride Mamba-Attention de type mixture d'experts (Mixture-of-Experts) comptant 120 milliards de paramètres (dont 12 milliards actifs). Nemotron 3 Super est le premier modèle de la famille Nemotron 3 à 1) être pré-entraîné en NVFP4, 2) tirer parti de LatentMoE, une nouvelle architecture de mixture d'experts optimisée à la fois pour la précision par FLOP et la précision par paramètre, et 3) intégrer des couches MTP pour l'accélération de l'inférence via un décodage spéculatif natif. Nous avons pré-entraîné Nemotron 3 Super sur 25 billions de tokens, suivi d'un post-entraînement utilisant le fine-tuning supervisé (SFT) et l'apprentissage par renforcement (RL). Le modèle final prend en charge un contexte allant jusqu'à 1 million de tokens et atteint une précision comparable sur les benchmarks courants, tout en offrant un débit d'inférence jusqu'à 2,2 fois et 7,5 fois supérieur à celui de GPT-OSS-120B et Qwen3.5-122B, respectivement. Les jeux de données de Nemotron 3 Super, ainsi que les points de contrôle de base, post-entraînés et quantifiés, sont open-source sur HuggingFace.
Les agents d'utilisation informatique (CUA) peuvent désormais accomplir de manière autonome des tâches complexes dans des environnements numériques réels, mais lorsqu'ils sont trompés, ils peuvent également être utilisés pour automatiser programmatiquement des actions nuisibles. Les évaluations de sécurité existantes ciblent largement les menaces explicites telles que l'utilisation abusive et l'injection d'invites, mais négligent un scénario subtil pourtant critique où les instructions utilisateur sont entièrement bénignes et le préjudice découle du contexte de la tâche ou du résultat de l'exécution. Nous présentons OS-BLIND, un benchmark qui évalue les CUA dans des conditions d'attaque non intentionnelles, comprenant 300 tâches conçues par des humains réparties dans 12 catégories, 8 applications et 2 clusters de menaces : les menaces intégrées à l'environnement et les préjudices initiés par l'agent. Notre évaluation sur les modèles frontaliers et les cadres agentiques révèle que la plupart des CUA dépassent 90% de taux de réussite d'attaque (ASR), et même le Claude 4.5 Sonnet aligné sur la sécurité atteint 73,0% d'ASR. Plus intéressant encore, cette vulnérabilité devient encore plus sévère, l'ASR passant de 73,0% à 92,7% lorsque Claude 4.5 Sonnet est déployé dans des systèmes multi-agents. Notre analyse montre en outre que les défenses de sécurité existantes offrent une protection limitée lorsque les instructions utilisateur sont bénignes. L'alignement de sécurité s'active principalement dans les premières étapes et se réengage rarement lors de l'exécution ultérieure. Dans les systèmes multi-agents, les sous-tâches décomposées obscurcissent l'intention nuisible pour le modèle, conduisant les modèles alignés sur la sécurité à l'échec. Nous publierons notre OS-BLIND pour encourager la communauté de recherche élargie à étudier et résoudre davantage ces défis de sécurité.
Les grands modèles de langage récents ont fait évoluer la génération de SVG d'une optimisation par rendu différenciable vers une synthèse de programmes autorégressive. Cependant, les approches existantes reposent encore sur une tokenisation générique au niveau des octets, héritée du traitement du langage naturel, qui reflète mal la structure géométrique des graphiques vectoriels. Les coordonnées numériques sont fragmentées en symboles discrets, détruisant les relations spatiales et introduisant une redondance sévère de tokens, conduisant souvent à des hallucinations de coordonnées et une génération inefficace de longues séquences. Pour relever ces défis, nous proposons HiVG, un framework de tokenisation hiérarchique de SVG conçu pour la génération autorégressive de graphiques vectoriels. HiVG décompose les chaînes SVG brutes en tokens atomiques structurés et comprime davantage les groupes commande-paramètre exécutables en tokens segmentaires contraints géométriquement, améliorant substantiellement l'efficacité séquentielle tout en préservant la validité syntaxique. Pour atténuer davantage les inadéquations spatiales, nous introduisons une stratégie d'initialisation hiérarchique Moyenne-Bruit (HMN) qui injecte des signaux d'ordonnancement numérique et des prérequis sémantiques dans les nouveaux plongements lexicaux. Combinée à un paradigme d'apprentissage curriculaire qui augmente progressivement la complexité des programmes, HiVG permet un apprentissage plus stable des programmes SVG exécutables. Des expériences approfondies sur les tâches texte-vers-SVG et image-vers-SVG démontrent une amélioration de la fidélité de génération, de la cohérence spatiale et de l'efficacité séquentielle par rapport aux schémas de tokenisation conventionnels. Notre code est disponible publiquement à https://github.com/ximinng/HiVG
Les agents de recherche approfondie multimodaux ont démontré un grand potentiel pour résoudre des tâches complexes en collectant itérativement des preuves textuelles et visuelles. Cependant, la gestion des informations hétérogènes et des coûts élevés en tokens associés aux entrées multimodales sur de longs horizons reste un défi critique, car les méthodes existantes souffrent souvent d'une explosion du contexte ou de la perte de signaux visuels cruciaux. Pour résoudre ce problème, nous proposons un nouveau cadre de recherche approfondie multimodale à long horizon, nommé LMM-Searcher, centré sur un mécanisme de représentation visuelle basé sur des fichiers. En déchargeant les ressources visuelles vers un système de fichiers externe et en les associant à des identifiants textuels légers (UID), notre approche réduit la surcharge contextuelle tout en préservant les informations multimodales pour un accès futur. Nous dotons l'agent d'un outil spécialisé de récupération d'images, permettant une stratégie de chargement visuel progressif et à la demande pour une perception active. De plus, nous introduisons un pipeline de synthèse de données conçu pour générer des requêtes nécessitant un raisonnement multi-sauts cross-modal complexe. En utilisant ce pipeline, nous distillons 12 000 trajectoires de haute qualité pour affiner Qwen3-VL-Thinking-30A3B en un agent spécialisé de recherche approfondie multimodale. Des expériences approfondies sur quatre benchmarks démontrent que notre méthode s'adapte avec succès à des horizons de recherche de 100 tours, atteignant des performances de pointe parmi les modèles open-source sur des benchmarks exigeants à long horizon comme MM-BrowseComp et MMSearch-Plus, tout en présentant une forte généralisabilité sur différents modèles de base. Notre code sera publié sur https://github.com/RUCAIBox/LMM-Searcher.
Les agents de modèles de langage étendent reçoivent des instructions provenant de nombreuses sources - messages système, invites utilisateur, résultats d'outils, et plus encore - chacune portant des niveaux de confiance et d'autorité variables. Lorsque ces instructions entrent en conflit, les modèles doivent suivre de manière fiable l'instruction de plus haut privilège pour rester sûrs et efficaces. Le paradigme dominant, la hiérarchie d'instructions (HI), suppose un ensemble fixe et restreint de niveaux de privilège (généralement moins de cinq) définis par des étiquettes de rôle rigides (par exemple, système > utilisateur). Cette approche est inadéquate pour les environnements agentiques réels, où des conflits peuvent surgir entre bien plus de sources et de contextes. Dans ce travail, nous proposons la Hiérarchie d'Instructions à Multiples Niveaux (ManyIH), un paradigme pour résoudre les conflits d'instructions parmi des instructions comportant un nombre arbitraire de niveaux de privilège. Nous présentons ManyIH-Bench, le premier benchmark dédié à ManyIH. ManyIH-Bench exige que les modèles naviguent parmi jusqu'à 12 niveaux d'instructions conflictuelles avec des privilèges variables, comprenant 853 tâches agentiques (427 de codage et 426 de suivi d'instructions). ManyIH-Bench combine des contraintes développées par des LLM et vérifiées par des humains pour créer des cas de test réalistes et difficiles couvrant 46 agents du monde réel. Nos expériences montrent que même les modèles frontières actuels obtiennent de faibles performances (~40% de précision) lorsque l'échelle des conflits d'instructions augmente. Ce travail souligne le besoin urgent de méthodes ciblant explicitement la résolution fine et évolutive des conflits d'instructions dans les environnements agentiques.
L'entraînement des agents d'IA incarnés dépend de manière cruciale de la fidélité visuelle des environnements de simulation et de la capacité à modéliser des humains dynamiques. Les simulateurs actuels reposent sur la rastérisation basée sur des maillages, offrant un réalisme visuel limité, et leur prise en charge des avatars humains dynamiques, lorsqu'elle existe, est contrainte aux représentations par maillages, ce qui entrave la généralisation des agents aux scénarios réels peuplés d'humains. Nous présentons Habitat-GS, un simulateur d'IA incarné axé sur la navigation, étendu à partir d'Habitat-Sim, qui intègre le rendu de scènes par *3D Gaussian Splatting* (Projection de Gaussiennes 3D) et des avatars gaussiens pilotables tout en conservant une compatibilité totale avec l'écosystème Habitat. Notre système implémente un moteur de rendu 3DGS pour un rendu photoréaliste en temps réel et prend en charge l'importation scalable d'assets 3DGS provenant de sources diverses. Pour la modélisation d'humains dynamiques, nous introduisons un module d'avatar gaussien qui permet à chaque avatar de servir simultanément d'entité visuelle photoréaliste et d'obstacle de navigation efficace, permettant aux agents d'apprendre des comportements conscients de la présence humaine dans des environnements réalistes. Les expériences sur la navigation vers un point cible démontrent que les agents entraînés sur des scènes 3DGS atteignent une meilleure généralisation inter-domaines, l'entraînement en domaine mixte s'avérant la stratégie la plus efficace. Les évaluations sur la navigation consciente des avatars confirment en outre que les avatars gaussiens permettent une navigation efficace tenant compte des humains. Enfin, des benchmarks de performance valident l'évolutivité du système face à différentes complexités de scènes et nombres d'avatars.
La recherche de méthodes efficaces de synthèse d'image à partir de texte a orienté le domaine vers l'échantillonnage en une seule étape. Cependant, les méthodes existantes se heurtent toujours à un compromis triple entre la fidélité, la vitesse d'inférence et l'efficacité de l'entraînement. Les approches s'appuyant sur des discriminateurs externes peuvent améliorer les performances en une étape, mais elles introduisent souvent une instabilité lors de l'entraînement, une consommation mémoire GPU élevée et une convergence lente, ce qui complique la mise à l'échelle et le réglage efficace des paramètres. En revanche, la distillation par régression et les objectifs de cohérence sont plus faciles à optimiser, mais ils perdent généralement les détails fins lorsqu'ils sont contraints à une seule étape. Nous présentons APEX, fondé sur un insight théorique clé : les signaux de correction adverses peuvent être extraits de manière endogène d'un modèle de flux par décalage de condition. L'utilisation d'une transformation crée une branche de condition décalée dont le champ de vélocité sert d'estimateur indépendant de la distribution de génération courante du modèle, produisant un gradient qui est prouvé aligné avec les GAN, remplaçant ainsi les termes dépendants de l'échantillon des discriminateurs qui causent la disparition du gradient. Cette conception sans discriminateur préserve l'architecture, faisant d'APEX un cadre plug-and-play compatible avec le réglage des paramètres complets et basé sur LoRA. Empiriquement, notre modèle de 0,6 milliard de paramètres surpasse FLUX-Schnell 12B (20 fois plus de paramètres) en qualité d'image en une étape. Avec un réglage LoRA sur Qwen-Image 20B, APEX atteint un score GenEval de 0,89 à NFE=1 en 6 heures, surpassant l'enseignant original à 50 étapes (0,87) et offrant une accélération de l'inférence de 15,33 fois. Le code est disponible à l'adresse https://github.com/LINs-lab/APEX.
Les modèles de diffusion sont souvent présentés sous de multiples angles, tels que les VAE, l'appariement des scores ou l'appariement des flux, accompagnés de mathématiques denses et exigeantes sur le plan technique qui peuvent être difficiles à saisir pour les débutants. Une question classique est : comment le processus inverse renverse-t-il le processus direct pour générer des données à partir d'un bruit pur ? Cet article organise systématiquement le modèle de diffusion sous une perspective nouvelle de Langevin, offrant une réponse plus simple, plus claire et plus intuitive. Nous abordons également les questions suivantes : comment les modèles de diffusion basés sur les EDO et les EDS peuvent-ils être unifiés dans un cadre unique ? Pourquoi les modèles de diffusion sont-ils théoriquement supérieurs aux VAE ordinaires ? Pourquoi l'appariement des flux n'est-il pas fondamentalement plus simple que le débruitage ou l'appariement des scores, mais équivalent sous maximum de vraisemblance ? Nous démontrons que la perspective de Langevin offre des réponses claires et directes à ces questions, établissant un pont entre les interprétations existantes des modèles de diffusion, montrant comment différentes formulations peuvent être converties les unes dans les autres au sein d'un cadre commun, et offrant une valeur pédagogique tant pour les apprenants que pour les chercheurs expérimentés cherchant une intuition plus profonde.
Alors que les modèles de diffusion dominent le domaine de la génération visuelle, ils sont informatiquement inefficaces, appliquant un effort computationnel uniforme indépendamment de la complexité. En revanche, les modèles autorégressifs (AR) sont intrinsèquement conscients de la complexité, comme en témoignent leurs vraisemblances variables, mais sont souvent entravés par une tokenisation discrète avec pertes et une accumulation d'erreurs. Dans ce travail, nous introduisons les Generative Refinement Networks (GRN), un paradigme de synthèse visuelle de nouvelle génération pour résoudre ces problèmes. Au cœur de GRN se trouve la résolution du goulot d'étranglement de la tokenisation discrète via une Quantisation Binaire Hiérarchique (HBQ) théoriquement quasi sans perte, atteignant une qualité de reconstruction comparable aux approches continues. Construit sur l'espace latent du HBQ, GRN améliore fondamentalement la génération AR avec un mécanisme de raffinement global qui perfectionne et corrige progressivement les œuvres – à la manière d'un artiste peignant. De plus, GRN intègre une stratégie d'échantillonnage guidée par l'entropie, permettant une génération adaptative, consciente de la complexité et à pas variables sans compromettre la qualité visuelle. Sur le benchmark ImageNet, GRN établit de nouveaux records en reconstruction d'image (0.56 rFID) et en génération d'image conditionnée par classe (1.81 gFID). Nous avons également mis à l'échelle GRN pour des tâches plus complexes comme la génération texte-image et texte-vidéo, obtenant des performances supérieures à échelle équivalente. Nous publions tous les modèles et le code pour favoriser les recherches futures sur GRN.
Bien que le manque de données d'action explicites limite les modèles Vision-Langage-Action (VLA), les vidéos d'actions humaines constituent une source de données évolutive bien que non labellisée. Un défi majeur dans l'utilisation de jeux de données vidéo humains à grande échelle réside dans la transformation des signaux visuels en représentations indépendantes de l'ontologie, appelées actions latentes. Cependant, la capacité de la représentation d'action latente à dériver un contrôle robuste à partir d'observations visuelles n'a pas encore été rigoureusement évaluée. Nous présentons le benchmark LARY (Latent Action Representation Yielding), un cadre unifié pour évaluer les représentations d'actions latentes sur les actions sémantiques de haut niveau (quoi faire) et le contrôle robotique de bas niveau (comment faire). Le jeu de données soigneusement constitué comprend plus d'un million de vidéos (1 000 heures) couvrant 151 catégories d'actions, ainsi que 620 000 paires d'images et 595 000 trajectoires de mouvement à travers diverses embodiments et environnements. Nos expériences révèlent deux insights cruciaux : (i) Les modèles de fondation visuelle généraux, entraînés sans aucune supervision d'action, surpassent systématiquement les modèles spécialisés d'actions latentes incarnées. (ii) L'espace visuel latent est fondamentalement mieux aligné sur l'espace d'action physique que l'espace basé sur les pixels. Ces résultats suggèrent que les représentations visuelles générales encodent intrinsèquement des connaissances pertinentes pour l'action en vue d'un contrôle physique, et que l'abstraction au niveau sémantique constitue une voie fondamentalement plus efficace de la vision à l'action que la reconstruction au niveau pixel.
La reconstruction de représentations 3D à partir d'entrées 2D est une tâche fondamentale en vision par ordinateur et en infographie, servant de pierre angulaire pour la compréhension et l'interaction avec le monde physique. Bien que les méthodes traditionnelles atteignent une haute fidélité, elles sont limitées par une optimisation lente par scène ou un entraînement spécifique à une catégorie, ce qui entrave leur déploiement pratique et leur évolutivité. Par conséquent, la reconstruction 3D généralisable par propagation avant a connu un développement rapide ces dernières années. En apprenant un modèle qui mappe directement les images vers des représentations 3D en une seule passe avant, ces méthodes permettent une reconstruction efficace et une généralisation robuste inter-scènes. Notre étude est motivée par une observation cruciale : malgré la diversité des représentations géométriques en sortie, allant des champs implicites aux primitives explicites, les approches par propagation avant existantes partagent des schémas architecturaux de haut niveau similaires, tels que des extracteurs de caractéristiques d'image, des mécanismes de fusion d'informations multi-vues et des principes de conception géométriquement conscients. Par conséquent, nous faisons abstraction de ces différences de représentation pour nous concentrer sur la conception des modèles, en proposant une nouvelle taxonomie centrée sur les stratégies de conception de modèles, indépendantes du format de sortie. Notre taxonomie proposée organise les axes de recherche autour de cinq problèmes clés qui animent les développements récents : l'amélioration des caractéristiques, la conscience géométrique, l'efficacité des modèles, les stratégies d'augmentation et les modèles sensibles au temps. Pour étayer cette taxonomie par des preuves empiriques et une évaluation standardisée, nous passons également en revue de manière exhaustive les benchmarks et jeux de données associés, et discutons et catégorisons largement les applications réelles basées sur les modèles 3D par propagation avant. Enfin, nous esquissons des directions futures pour relever des défis ouverts tels que l'évolutivité, les standards d'évaluation et la modélisation du monde.
La distillation en ligne (OPD) s'est imposée comme un paradigme efficace pour le post-entraînement des grands modèles de langage. Cependant, l'approche standard nécessite un serveur d'inférence enseignant actif pendant tout l'entraînement, entraînant des coûts infrastructurels substantiels. Dans ce travail, nous étudions si la distillation en ligne peut être réalisée hors ligne. Une approche naturelle consiste à précalculer une fois les log-probabilités de l'enseignant sur les épisodes de SFT et à les réutiliser pendant l'entraînement. En pratique, cependant, cette variante hors ligne échoue à égaler de façon fiable les performances de l'OPD standard. Pour comprendre cet écart, nous identifions une condition jusqu'alors négligée, cruciale pour tout pipeline OPD, que nous nommons la cohérence de l'enseignant. Cette condition exige que le même modèle enseignant soit utilisé à la fois pour le réglage fin supervisé (SFT) et pour l'OPD. Nous montrons que violer cette cohérence introduit un biais de gradient irréductible, conduisant l'OPD hors ligne et en ligne à converger vers un point fixe sous-optimal, indépendamment de la durée de l'entraînement. Forts de cette analyse, nous proposons Lightning OPD, un cadre de distillation en ligne hors ligne qui garantit la cohérence de l'enseignant en précalculant les log-probabilités sur les épisodes de SFT. Cette conception élimine entièrement le besoin d'un serveur enseignant actif. Nous démontrons en outre que, sous condition de cohérence de l'enseignant, Lightning OPD partage le même optimum que l'OPD standard, avec un écart de gradient borné et un effet de régularisation implicite aidant à prévenir la dérive de la politique. Des expériences approfondies en raisonnement mathématique et génération de code montrent que Lightning OPD atteint des performances de pointe avec une efficacité bien supérieure. En partant d'un modèle Qwen3-8B-Base initialisé par SFT, Lightning OPD atteint 69,9 % sur AIME 2024 en seulement 30 heures GPU, réalisant une accélération de 4,0x par rapport à l'OPD standard et abaissant considérablement la barrière d'entrée pour la recherche académique sur le post-entraînement des LLM.
Nous présentons un modèle de récompense multimodal discriminatif qui évalue toutes les réponses candidates en une seule passe avant. Les modèles de récompense discriminatifs conventionnels évaluent chaque réponse indépendamment, nécessitant de multiples passes avant, une pour chaque réponse potentielle. Notre approche concatène plusieurs réponses avec des tokens séparateurs et applique l'entropie croisée sur leurs scores scalaires, permettant un raisonnement comparatif direct et un apprentissage de préférences à N voies efficace. La conception multi-réponses permet également une accélération du temps d'exécution et une réduction des FLOPs jusqu'à N fois par rapport à l'évaluation conventionnelle mono-réponse. Pour permettre l'évaluation de récompenses à N voies au-delà des benchmarks existants par paires, nous avons construit deux nouveaux benchmarks : (1) MR^2Bench-Image contient des classements annotés par des humains sur des réponses provenant de 8 modèles divers ; (2) MR^2Bench-Video est un benchmark de récompense vidéo à grande échelle dérivé de 94 000 jugements humains par paires crowdsourcés sur des questions-réponses vidéo couvrant 19 modèles, débruités par un ensemble de graphes de préférence. Les deux benchmarks fournissent des variantes d'évaluation à 4 réponses échantillonnées à partir des classements complets. Construit sur une architecture vision-langage de 4B paramètres avec fine-tuning LoRA et une tête de valeur MLP légère, notre modèle obtient des résultats state-of-the-art sur six benchmarks de récompense multimodale, incluant MR^2Bench-Image, MR^2Bench-Video et quatre autres benchmarks existants. Notre modèle surpasse les modèles de récompense génératifs et discriminatifs existants plus larges. Nous démontrons en outre que notre modèle de récompense, utilisé en apprentissage par renforcement avec GRPO, produit des modèles de politique améliorés qui maintiennent les performances sur les benchmarks multimodaux standards tout en améliorant substantiellement la qualité de génération libre, surpassant largement un modèle de récompense discriminatif (RM) mono-réponse en stabilité d'entraînement et en qualité de génération libre.
Les humains utilisent l'introspection pour évaluer leur compréhension via des états internes privés inaccessibles aux observateurs externes. Nous étudions si les grands modèles de langage possèdent une connaissance privilégiée similaire concernant l'exactitude des réponses, information non disponible par l'observation externe. Nous entraînons des classificateurs de justesse sur des représentations de questions issues à la fois des états cachés propres à un modèle et de modèles externes, testant si les auto-représentations procurent un avantage en performance. Sur l'évaluation standard, nous ne trouvons aucun avantage : les auto-sondages performent de manière comparable aux sondages par modèles pairs. Nous émettons l'hypothèse que cela est dû à un fort accord inter-modèles sur l'exactitude des réponses. Pour isoler une connaissance privilégiée authentique, nous évaluons sur des sous-ensembles de désaccord, où les modèles produisent des prédictions conflictuelles. Là, nous découvrons une connaissance privilégiée spécifique au domaine : les auto-représentations surpassent systématiquement les représentations des pairs dans les tâches de connaissances factuelles, mais ne montrent aucun avantage en raisonnement mathématique. Nous localisons ensuite cette asymétrie domainale à travers les couches du modèle, constatant que l'avantage factuel émerge progressivement des couches précoces à intermédiaires, ce qui est cohérent avec un processus de récupération mnésique spécifique au modèle, tandis que le raisonnement mathématique ne montre aucun avantage consistant à aucune profondeur.
Les modèles vision-langage (VLM) excellent sur de nombreux benchmarks de raisonnement multimodal, mais ces évaluations ne nécessitent souvent pas une lecture exhaustive de l'image et peuvent ainsi masquer des échecs dans la capture fidèle de tous les détails visuels. Nous présentons Grid2Matrix (G2M), un benchmark contrôlé dans lequel un modèle voit une grille de couleurs et une correspondance couleur-nombre, et doit produire la matrice correspondante. En faisant varier la taille de la grille et le nombre de couleurs, G2M offre un moyen simple d'augmenter la complexité visuelle tout en minimisant les confusions sémantiques. Nous constatons que les VLM présentent un effondrement précoce et marqué en évaluation zero-shot de bout en bout, échouant sur des grilles étonnamment petites plutôt que de se dégrader progressivement à mesure que la tâche devient plus dense. Nous sondons les encodeurs visuels de VLM issus de deux familles représentatives et constatons qu'ils préservent substantiellement plus d'informations de la grille que les sorties de bout en bout correspondantes. Cela suggère que l'échec ne s'explique pas uniquement par l'encodage visuel, mais reflète également un écart entre ce qui reste récupérable depuis les caractéristiques visuelles et ce qui est finalement exprimé en langage. Nous nommons cet écart l'Agnosie Numérique. Des analyses plus poussées montrent que ces erreurs sont hautement structurées et dépendent fortement de la façon dont les cellules de la grille chevauchent les limites des patchs visuels. Nous constatons également que des stratégies courantes telles que la mise à l'échelle des modèles et l'alignement multimodal n'éliminent pas complètement ce mode d'échec. Nous espérons que G2M servira de banc d'essai utile pour comprendre où et comment les VLM perdent les détails visuels fins, et pour évaluer les tâches où manquer de petits détails visuels peut avoir de l'importance, comme les tableaux, les graphiques, les formulaires et les interfaces graphiques.
Nous évaluons l'impact des traces de raisonnement interne, que nous appelons flux de pensée, sur la compréhension de scènes vidéo par les modèles vision-langage. En utilisant quatre configurations de Gemini 2.5 Flash et Flash Lite de Google sur des scènes extraites de 100 heures de vidéo, nous posons trois questions : une réflexion plus poussée améliore-t-elle les résultats, où les gains s'arrêtent-ils, et sur quoi ces modèles raisonnent-ils réellement ? Nous introduisons trois métriques d'évaluation. La richesse de contenu mesure la proportion du flux de pensée consacrée au contenu utile de la scène par rapport aux métacommentaires. La couverture pensée-final mesure la fidélité avec laquelle le flux de pensée se traduit dans la sortie finale. L'analyse des entités dominantes identifie les sujets, actions et contextes sur lesquels le modèle se concentre. GPT-5 sert d'évaluateur indépendant. Nous constatons que les gains de qualité dus à un raisonnement supplémentaire plafonnent rapidement, la majeure partie de l'amélioration survenant dans les premières centaines de tokens. Flash Lite offre le meilleur équilibre entre qualité et utilisation de tokens. Des budgets de raisonnement serrés amènent le modèle à ajouter dans la sortie finale du contenu qu'il n'a jamais raisonné, une forme d'hallucination par étape de compression. Bien que de niveaux différents, Flash et Flash Lite produisent des flux de pensée similaires, bien que de style différent : Flash discute de son processus de raisonnement, tandis que Lite se concentre sur la description de la scène.
Le décodage spéculatif accélère les modèles de langage autorégressifs en utilisant un modèle léger (drafter) pour proposer plusieurs tokens futurs, que le modèle cible vérifie ensuite en parallèle. DFlash démontre qu'un block diffusion drafter peut générer un bloc d'ébauche entier en une seule passe avant et atteindre des performances de pointe en décodage spéculatif, surpassant les drafters autorégressifs robustes comme EAGLE-3. Cependant, la version standard de DFlash ne vérifie qu'une seule trajectoire ébauchée par round, limitant potentiellement sa longueur d'acceptation. Nous présentons DDTree (Diffusion Draft Tree), une méthode qui construit un arbre d'ébauche directement à partir des distributions par position d'un block diffusion drafter. Avec un budget fixe de nœuds, DDTree utilise un algorithme de tas best-first simple pour sélectionner les continuations les plus susceptibles de correspondre au modèle cible selon un substitut défini par la sortie du modèle d'ébauche. L'arbre résultant est vérifié efficacement en une seule passe avant du modèle cible grâce à un masque d'attention limité aux ancêtres. Comme DDTree s'appuie sur DFlash, un modèle d'ébauche leader pour le décodage spéculatif, ces améliorations placent DDTree parmi les approches les plus avancées en matière de décodage spéculatif.
La reconnaissance optique de caractères (OCR) a progressé rapidement avec l'essor des modèles vision-langage, mais son évaluation reste concentrée sur un petit groupe d'écritures de ressources élevées et moyennes. Nous présentons GlotOCR Bench, un benchmark complet évaluant la généralisation de l'OCR sur plus de 100 scripts Unicode. Notre benchmark comprend des variantes d'images propres et dégradées générées à partir de textes multilingues réels. Les images sont rendues à l'aide de polices provenant du répertoire Google Fonts, formées avec HarfBuzz et rasterisées avec FreeType, prenant en charge les scripts LTR et RTL. Des échantillons d'images rendues ont été vérifiés manuellement pour garantir un rendu correct sur tous les scripts. Nous évaluons un large éventail de modèles vision-langage open-source et propriétaires et constatons que la plupart obtiennent de bonnes performances sur moins de dix scripts, et même les modèles frontaliers les plus performants échouent à généraliser au-delà de trente scripts. Les performances suivent globalement la couverture préalable des scripts, suggérant que les systèmes OCR actuels dépendent autant du pré-entraînement des modèles de langage que de la reconnaissance visuelle. Les modèles confrontés à des scripts inconnus produisent soit du bruit aléatoire, soit hallucinent des caractères provenant de scripts similaires qu'ils connaissent déjà. Nous publions le benchmark et la pipeline pour assurer la reproductibilité. Code de la pipeline : https://github.com/cisnlp/glotocr-bench, Benchmark : https://hf.co/datasets/cis-lmu/glotocr-bench.
Les architectures traditionnelles à profondeur fixe améliorent leur qualité en augmentant les FLOPs d’entraînement, généralement par une paramétrisation accrue, au détriment de l’empreinte mémoire ou des données. Une alternative potentielle réside dans les architectures bouclées, qui augmentent les FLOPs en faisant circuler les activations à travers un bloc de couches en boucle. Bien que prometteuses, les méthodes existantes pour entraîner ces architectures peuvent être instables, souffrant d’explosion des résidus et de pics de perte. Nous abordons ces défis en reformulant la boucle comme un système dynamique non linéaire et variant dans le temps opérant sur le flux résiduel. Par une approximation linéaire de ce système, nous constatons que l’instabilité survient dans les architectures bouclées existantes en raison de normes spectrales élevées dans leurs paramètres d’injection. Pour résoudre ces problèmes, nous proposons Parcae, une nouvelle architecture bouclée stable qui contraint la norme spectrale des paramètres d’injection via une discrétisation d’une paramétrisation diagonale négative. Ainsi, Parcae atteint jusqu’à 6,3 % de perplexité de validation en moins par rapport aux précédents modèles bouclés à grande échelle. En utilisant notre architecture bouclée stable, nous étudions les propriétés de mise à l’échelle du bouclage comme moyen d’améliorer la qualité en augmentant les FLOPs lors de l’entraînement et de l’inférence. Pour l’entraînement, nous dérivons des lois de puissance prévisibles pour ajuster les FLOPs tout en maintenant fixe le nombre de paramètres. Nos premières lois d’échelle suggèrent que le bouclage et les données doivent être augmentés conjointement pour un budget FLOPs fixe. Lors de l’inférence, nous constatons que Parcae peut utiliser le bouclage pour moduler le calcul, suivant une décroissance exponentielle saturante prévisible. Lorsqu’elle est mise à l’échelle jusqu’à 1,3 milliard de paramètres, Parcae améliore les scores CORE et Core-Extended de 2,99 et 1,18 points respectivement par rapport à des Transformers de référence solides, avec un budget fixe en paramètres et données, atteignant une qualité relative allant jusqu’à 87,5 % de celle d’un Transformer deux fois plus grand.
Les grands modèles de langage (LLM) démontrent souvent de solides performances en matière de sécurité dans les langues riches en ressources, mais présentent des vulnérabilités sévères lorsqu'ils sont interrogés dans des langues peu dotées. Nous attribuons cet écart à un décalage entre la capacité de compréhension sémantique agnostique au langage et l'alignement de sécurité dominant axé sur les langues, biaisé en faveur des langues riches en ressources. Conformément à cette hypothèse, nous identifions empiriquement le goulot d'étranglement sémantique dans les LLM, une couche intermédiaire dans laquelle la géométrie des représentations du modèle est gouvernée principalement par le contenu sémantique partagé plutôt que par l'identité linguistique. En nous appuyant sur cette observation, nous proposons l'Alignement Sémantique Agnostique au Langage (LASA), qui ancre l'alignement de sécurité directement dans les goulots d'étranglement sémantiques. Les expériences montrent que LASA améliore considérablement la sécurité dans toutes les langues : le taux de réussite moyen des attaques (ASR) chute de 24,7 % à 2,8 % sur LLaMA-3.1-8B-Instruct et reste autour de 3-4 % pour les modèles Qwen2.5 et Qwen3 Instruct (7B-32B). Ensemble, notre analyse et notre méthode offrent une perspective au niveau des représentations sur la sécurité des LLM, suggérant que l'alignement de sécurité nécessite d'ancrer la compréhension de la sécurité non pas dans le texte de surface, mais dans l'espace sémantique agnostique au langage du modèle.
Le développement piloté par les spécifications (SDD) avec des agents de codage IA offre un flux de travail structuré, mais les agents restent souvent « aveugles au contexte » dans les grands dépôts en évolution, ce qui entraîne des hallucinations d'API et des violations architecturales. Nous présentons Spec Kit Agents, un pipeline SDD multi-agents (avec des rôles de chef de projet et de développeur) qui intègre des hooks d'ancrage contextuel par phase. Les hooks de lecture seule ancrent chaque étape (Spécifier, Planifier, Tâches, Implémenter) dans les preuves du dépôt, tandis que les hooks de validation vérifient les artefacts intermédiaires par rapport à l'environnement. Nous évaluons 128 exécutions couvrant 32 fonctionnalités sur cinq dépôts. Les hooks d'ancrage contextuel améliorent la qualité jugée de +0,15 sur un score composite de 1 à 5 évalué par un LLM-juge (+3,0 pour cent du score total ; test des rangs signés de Wilcoxon, p < 0,05) tout en maintenant une compatibilité des tests au niveau du dépôt de 99,7 à 100 pour cent. Nous évaluons en outre le framework sur SWE-bench Lite, où les hooks d'augmentation améliorent la ligne de base de 1,7 pour cent, atteignant 58,2 pour cent de Pass@1.
Les tokeniseurs visuels transforment les pixels bruts de haute dimension en une représentation compressée pour la modélisation en aval. Au-delà de la compression, les tokeniseurs déterminent quelles informations sont préservées et comment elles sont organisées. L'approche standard de facto pour la tokenisation vidéo consiste à représenter une vidéo par une grille spatiotemporelle 3D de tokens, chacun capturant l'information locale correspondante dans le signal original. Cela oblige le modèle en aval qui consomme les tokens, par exemple un modèle texte-à-vidéo, à apprendre à prédire tous les détails de bas niveau "pixel par pixel", indépendamment de la complexité inhérente de la vidéo, ce qui entraîne une grande complexité d'apprentissage. Nous présentons VideoFlexTok, qui représente les vidéos par une séquence de longueur variable de tokens structurée de manière grossière à fine : les premiers tokens capturent (émergent) des informations abstraites, telles que la sémantique et le mouvement, tandis que les tokens suivants ajoutent des détails granulaires. Le décodeur de flux génératif permet des reconstructions vidéo réalistes à partir de n'importe quel nombre de tokens. Cette structure de représentation permet d'adapter le nombre de tokens selon les besoins en aval et d'encoder des vidéos plus longues que les références avec le même budget. Nous évaluons VideoFlexTok sur des tâches génératives de classe-à-vidéo et texte-à-vidéo et montrons qu'il permet un entraînement plus efficace que les tokens en grille 3D, par exemple en atteignant une qualité de génération comparable (gFVD et score ViCLIP) avec un modèle 5 fois plus petit (1,1 Md contre 5,2 Md). Enfin, nous démontrons comment VideoFlexTok peut permettre la génération de vidéos longues sans coût computationnel prohibitif en entraînant un modèle texte-à-vidéo sur des vidéos de 10 secondes et 81 images avec seulement 672 tokens, soit 8 fois moins qu'un tokeniseur en grille 3D comparable.
Nous abordons le problème de la localisation tactile, dont l'objectif est d'identifier les régions d'une image qui partagent les mêmes propriétés matérielles qu'une entrée tactile. Les méthodes visuo-tactiles existantes reposent sur un alignement global et échouent ainsi à capturer les correspondances locales à granularité fine nécessaires pour cette tâche. Ce défi est amplifié par les jeux de données existants, qui contiennent principalement des images en gros plan et à faible diversité. Nous proposons un modèle qui apprend l'alignement visuo-tactile local via des interactions denses de caractéristiques cross-modales, produisant des cartes de saillance tactile pour la segmentation de matériaux conditionnée par le toucher. Pour surmonter les contraintes des jeux de données, nous introduisons : (i) des images de scènes multi-matériaux en conditions réelles qui augmentent la diversité visuelle, et (ii) une stratégie d'appariement par diversité matérielle qui aligne chaque échantillon tactile avec des images visuellement variées mais tactilement cohérentes, améliorant la localisation contextuelle et la robustesse aux signaux faibles. Nous construisons également deux nouveaux jeux de données de segmentation de matériaux ancrés dans le tactile pour l'évaluation quantitative. Les expériences menées sur de nouveaux benchmarks ainsi que sur des références existantes montrent que notre approche surpasse substantiellement les méthodes visuo-tactiles précédentes en matière de localisation tactile.
Les robots humanoïdes promettent une assistance polyvalente, mais la loco-manipulation humanoïde dans le monde réel reste difficile car elle nécessite une stabilité du corps entier, des mains habiles et une perception consciente des contacts sous des changements de contact fréquents. Dans ce travail, nous étudions la loco-manipulation humanoïde habile et riche en contacts. Nous développons d'abord un contrôleur du corps entier basé sur l'apprentissage par renforcement (RL) qui assure une exécution stable du bas du corps et du torse pendant une manipulation complexe. Sur la base de ce contrôleur, nous développons un système de collecte de données humanoïdes pour le corps entier qui combine la téléopération par réalité virtuelle (VR) avec un mappage de mouvement humain-vers-humanoïde, permettant une collecte efficace de démonstrations en conditions réelles. Nous proposons ensuite Humanoid Transformer with Touch Dreaming (HTD), un Transformer encodeur-décodeur multimodal qui modélise le toucher comme une modalité centrale aux côtés de la vision multi-vues et de la proprioception. HTD est entraîné en une seule étape par clonage comportemental augmenté par le "touch dreaming" (rêve tactile) : en plus de prédire des segments d'actions, la politique prédit les forces futures aux articulations de la main et les états latents tactiles futurs, encourageant le tronc Transformer partagé à apprendre des représentations conscientes des contacts pour une interaction habile. Sur cinq tâches riches en contacts, Insert-T, Organisation de Livres, Pliage de Serviette, Ramassage de Litière pour Chat et Service de Thé, HTD obtient une amélioration relative de 90,9 % du taux de réussite moyen par rapport au meilleur modèle de référence. Les résultats d'ablation montrent en outre que la prédiction tactile dans l'espace latent est plus efficace que la prédiction tactile brute, produisant un gain relatif de 30 % du taux de réussite. Ces résultats démontrent que la combinaison d'une exécution robuste du corps entier, d'une collecte de données humanoïdes évolutive et d'un apprentissage prédictif centré sur le toucher permet une manipulation humanoïde polyvalente et de haute dextérité dans le monde réel. Page web du projet : humanoid-touch-dream.github.io.
Pokémon Rouge est un JRPG à long terme caractérisé par des récompenses rares, une observabilité partielle et des mécanismes de contrôle singuliers, ce qui en fait un benchmark exigeant pour l'apprentissage par renforcement. Bien que des travaux récents aient montré que des agents PPO peuvent vaincre les deux premiers champions en utilisant un façonnage intensif des récompenses et des observations élaborées, l'entraînement reste fragile en pratique, les agents dégénérant souvent en boucles d'actions, en spam de menus ou en errances improductives. Dans cet article, nous présentons PokeRL, un système modulaire qui entraîne des agents d'apprentissage par renforcement profond à accomplir des tâches du début du jeu dans Pokémon Rouge, notamment sortir de la maison du joueur, explorer Bourg Palette pour atteindre les hautes herbes et remporter le premier combat contre le rival. Nos principales contributions sont un encapsuleur d'environnement conscient des boucles autour de l'émulateur PyBoy avec masquage cartographique, un mécanisme anti-boucle et anti-spam multicouche, et une conception de récompense hiérarchique dense. Nous soutenons que des systèmes pratiques comme PokeRL, qui modélisent explicitement les modes d'échec tels que les boucles et le spam, constituent une étape intermédiaire nécessaire entre les benchmarks simplistes et les agents capables de devenir champions de la Ligue Pokémon. Le code est disponible à l'adresse https://github.com/reddheeraj/PokemonRL.
Les modèles de diffusion latente pour la super-résolution d'images médicales héritent universellement d'autoencodeurs variationnels conçus pour les photographies naturelles. Nous démontrons que ce choix par défaut, et non l'architecture de diffusion, constitue la contrainte dominante sur la qualité de reconstruction. Dans une expérience contrôlée où tous les autres composants du pipeline sont maintenus fixes, le remplacement de l'autoencodeur variationnel générique de Stable Diffusion par MedVAE, un autoencodeur spécialisé pré-entraîné sur plus de 1,6 million d'images médicales, entraîne une amélioration de +2,91 à +3,29 dB du PSNR sur des IRM du genou, des IRM cérébrales et des radiographies pulmonaires (n = 1 820 ; d de Cohen = 1,37 à 1,86, tous p < 10^{-20}, test des rangs signés de Wilcoxon). La décomposition en ondelettes localise l'avantage dans les bandes de fréquence spatiale les plus fines, qui encodent la structure fine anatomiquement pertinente. Des ablations menées sur les planifications d'inférence, les cibles de prédiction et les architectures génératives confirment que l'écart est stable à plus ou moins 0,15 dB près, tandis que les taux d'hallucination restent comparables entre les méthodes (h de Cohen < 0,02 sur tous les jeux de données), établissant que la fidélité de reconstruction et les hallucinations génératives sont gouvernées par des composants indépendants du pipeline. Ces résultats fournissent un critère de criblage pratique : la qualité de reconstruction de l'autoencodeur, mesurable sans entraînement de diffusion, prédit les performances en aval en super-résolution (R² = 0,67), suggérant que la sélection d'un autoencodeur variationnel spécifique au domaine devrait précéder l'exploration d'architectures de diffusion. Le code et les poids des modèles entraînés sont publiquement disponibles à l'adresse https://github.com/sebasmos/latent-sr.
Les grands modèles de langage sont de plus en plus utilisés comme agents dans les simulations sociales, économiques et politiques. Une hypothèse courante est qu'un raisonnement plus performant devrait améliorer la fidélité de la simulation. Nous soutenons que cette hypothèse peut être erronée lorsque l'objectif n'est pas de résoudre un problème stratégique, mais d'échantillonner des comportements plausibles à rationalité limitée. Dans de tels contextes, les modèles dotés de capacités de raisonnement accrues peuvent devenir de meilleurs solveurs mais de moins bons simulateurs : ils peuvent suroptimiser les actions stratégiquement dominantes, faire disparaître les comportements terminaux axés sur le compromis, et parfois exhiber un schéma de diversité-sans-fidélité où la variation locale persiste sans fidélité au niveau des résultats. Nous étudions ce décalage entre solveur et échantillonneur dans trois environnements de négociation multi-agents adaptés de travaux de simulation antérieurs : un scénario ambigu de limites commerciales avec autorité fragmentée, un scénario ambigu de limites commerciales avec opposition unifiée, et un nouveau cas de domaine dans la gestion d'urgence de l'électricité impliquant une réduction sur le réseau. Nous comparons trois conditions de réflexion – absence de réflexion, réflexion limitée et raisonnement natif – sur deux familles de modèles principales, puis étendons le même protocole à des exécutions directes sur OpenAI avec GPT-4.1 et GPT-5.2. Dans les trois expériences, la réflexion limitée produit des trajectoires substantiellement plus diversifiées et orientées vers le compromis que l'absence de réflexion ou le raisonnement natif. Dans l'extension OpenAI directe, GPT-5.2 en mode natif se termine par des décisions autoritaires dans 45 exécutions sur 45 à travers les trois expériences, tandis que GPT-5.2 avec réflexion limitée retrouve des issues de compromis dans chaque environnement. La contribution n'est pas une affirmation selon laquelle le raisonnement est généralement nuisible. C'est un avertissement méthodologique : la capacité du modèle et la fidélité de la simulation sont des objectifs distincts, et la simulation comportementale devrait qualifier les modèles comme échantillonneurs, et pas seulement comme solveurs.
Les grands modèles vision-langage (VLM) reposent souvent sur des préconceptions sémantiques familières, mais les évaluations existantes ne séparent pas clairement les échecs de perception des échecs de cartographie des règles. Nous étudions ce comportement sous le nom de fixation sémantique : la préservation d'une interprétation par défaut même lorsque l'instruction spécifie un mappage alternatif tout aussi valide. Pour isoler cet effet, nous présentons VLM-Fix, un benchmark contrôlé sur quatre jeux de stratégie abstraits qui évalue des états finaux de plateau identiques sous des formulations de règles standards et inversées appariées. Sur 14 VLM ouverts et fermés, la précision favorise systématiquement les règles standards, révélant un écart robuste de fixation sémantique. Les interventions par prompt étayent ce mécanisme : des prompts utilisant des alias neutres réduisent considérablement l'écart pour les règles inversées, tandis que des alias chargés sémantiquement le rouvrent. L'apprentissage post-formation est fortement aligné sur les règles : s'entraîner sur une règle améliore le transfert pour la même règle mais nuit au transfert pour la règle opposée, tandis qu'un entraînement conjoint améliore le transfert global. Pour tester la validité externe au-delà des jeux synthétiques, nous évaluons des interventions de défamiliarisation analogues sur VLMBias et observons le même schéma qualitatif. Enfin, le pilotage des activations des couches tardives permet de récupérer partiellement les performances dégradées, indiquant que les erreurs de fixation sémantique sont au moins partiellement modifiables dans les représentations tardives. Page du projet, code et jeu de données disponibles sur https://maveryn.github.io/vlm-fix/.
La compétence spatiale est la capacité de maintenir une représentation interne cohérente d'un environnement et de l'utiliser pour inférer une structure discrète et planifier des actions sous contraintes. Les évaluations spatiales dominantes pour les grands modèles se limitent à sonder des primitives isolées via des transformations 3D ou des réponses à des questions visuelles. Nous présentons le Benchmark de Compétence Spatiale (SCBench), couvrant trois paliers de capacités hiérarchiques dont les tâches nécessitent des sorties exécutables vérifiées par des contrôleurs déterministes ou des évaluateurs basés sur des simulateurs. Sur SCBench, trois modèles de pointe présentent une précision décroissant de manière monotone à mesure que la complexité des capacités augmente. Une exploration systématique des limites de tokens de sortie révèle que les gains de précision se concentrent sur les budgets faibles et se saturent rapidement, tandis que les échecs sont dominés par une géométrie localement plausible qui rompt les contraintes globales. Nous publions les générateurs de tâches, les vérificateurs et les outils de visualisation.
Les grands modèles audio-linguistiques (ALM) ont récemment démontré des capacités remarquables en compréhension audio holistique, mais ils restent peu fiables pour l'ancrage temporel, c'est-à-dire la tâche qui consiste à identifier précisément quand un événement se produit dans un audio de longue durée. Cette limitation provient de deux facteurs : des données d'entraînement dominées par une supervision au niveau du clip dépourvue de timestamps précis, et des benchmarks qui ne parviennent pas à simuler des scénarios réalistes où des événements brefs sont masqués par des sons d'arrière-plan denses. Dans cet article, nous présentons SpotSound, un modèle audio-linguistique conçu pour l'ancrage temporel d'événements audio. SpotSound intègre un nouvel objectif d'entraînement, spécifiquement conçu pour supprimer les timestamps hallucinés pour les événements absents de l'entrée. De plus, nous présentons SpotSound-Bench, un benchmark exigeant d'ancrage temporel où les événements cibles occupent moins de ~10 % de chaque clip, créant une évaluation rigoureuse de type « aiguille dans une botte de foin ». Les expériences démontrent que SpotSound obtient des résultats state-of-the-art sur les benchmarks d'ancrage temporel tout en maintenant des performances robustes sur diverses tâches audio-linguistiques en aval. Le code, les modèles et le benchmark sont disponibles sur https://loiesun.github.io/spotsound/
Alors que les modèles de langage de grande taille (LLM) sont de plus en plus déployés en tant qu'agents autonomes, la compréhension de l'émergence des comportements stratégiques dans des environnements multi-agents est devenue un enjeu important d'alignement. Nous adoptons une position empirique neutre et construisons un environnement contrôlé où le comportement stratégique peut être directement observé et mesuré. Nous introduisons une simulation multi-agents à grande échelle dans un modèle simplifié de la ville de New York, où des agents pilotés par des LLM interagissent sous l'effet d'incitations opposées. Les agents Bleus visent à atteindre leur destination de manière efficace, tandis que les agents Rouges tentent de les détourner vers des routes à forte densité de panneaux publicitaires en utilisant un langage persuasif pour maximiser les revenus publicitaires. Le masquage des identités rend la navigation socialement médiée, forçant les agents à décider quand faire confiance ou tromper. Nous étudions l'apprentissage de politiques via un pipeline de simulation itératif qui met à jour les politiques des agents sur plusieurs rounds d'interaction en utilisant l'Optimisation de Kahneman-Tversky (KTO). Les agents Bleus sont optimisés pour réduire l'exposition aux publicités tout en préservant l'efficacité de la navigation, tandis que les agents Rouges s'adaptent pour exploiter les faiblesses persistantes. Au fil des itérations, la meilleure politique Bleu améliore le taux de réussite de la tâche de 46,0 % à 57,3 %, bien que la sensibilité aux manipulations reste élevée à 70,7 %. Les politiques ultérieures présentent une coopération sélective plus marquée tout en préservant l'efficacité des trajectoires. Cependant, un compromis persistant entre sécurité et utilité subsiste : les politiques qui résistent mieux à la manipulation adverse ne maximisent pas simultanément l'accomplissement de la tâche. Globalement, nos résultats montrent que les agents LLM peuvent manifester un comportement stratégique limité, incluant la confiance et la tromperie sélectives, tout en restant très vulnérables à la persuasion antagoniste.
La synthèse d'images en temps réel à point de vue libre nécessite de concilier la redondance multi-caméras avec les contraintes de latence des applications interactives. Nous relevons ce défi en combinant une géométrie légère à l'apprentissage automatique et proposons 3DTV, un réseau feedforward pour l'interpolation en temps réel à partir de vues éparses. Une sélection de triplets basée sur Delaunay garantit une couverture angulaire pour chaque vue cible. Sur cette base, nous introduisons un module de profondeur sensible à la pose qui estime une pyramide de profondeur grossière à fine, permettant une reprojection efficace des caractéristiques et un mélange tenant compte des occlusions. Contrairement aux méthodes nécessitant une optimisation spécifique à la scène, 3DTV fonctionne de manière feedforward sans réentraînement, le rendant pratique pour la RA/RV, la téléprésence et les applications interactives. Nos expériences sur des ensembles de données vidéo multi-vues complexes démontrent que 3DTV atteint constamment un bon équilibre entre qualité et efficacité, surpassant les méthodes récentes de synthèse de vues en temps réel. Fait crucial, 3DTV évite les proxys explicites, permettant un rendu robuste à travers des scènes diverses. Cela en fait une solution pratique pour le streaming multi-vues à faible latence et le rendu interactif. Page du projet : https://stefanmschulz.github.io/3DTV_webpage/