Articles du Jour

La distillation en-ligne (OPD) est devenue un paradigme d'entraînement populaire dans la communauté des LLM. Ce paradigme sélectionne un modèle plus large comme enseignant pour fournir des signaux denses et fins pour chaque trajectoire échantillonnée, contrairement à l'apprentissage par renforcement avec récompenses vérifiables (RLVR), qui n'obtient que des signaux épars à partir des résultats vérifiables dans l'environnement. Récemment, la communauté a exploré l'auto-distillation en-ligne (OPSD), où le même modèle sert à la fois d'enseignant et d'élève, l'enseignant recevant des informations privilégiées supplémentaires telles que des réponses de référence pour permettre une auto-évolution. Cet article démontre que les signaux d'apprentissage dérivés uniquement de l'enseignant privilégié entraînent une fuite d'information sévère et un entraînement à long terme instable. En conséquence, nous identifions la niche optimale pour l'auto-distillation et proposons RLSD (RLVR avec auto-distillation). Concrètement, nous exploitons l'auto-distillation pour obtenir des différences de politique au niveau token afin de déterminer les magnitudes de mise à jour fines, tout en continuant à utiliser RLVR pour dériver des directions de mise à jour fiables à partir des retours environnementaux (par exemple, la justesse des réponses). Cela permet à RLSD de tirer simultanément parti des forces de RLVR et d'OPSD, atteignant un plafond de convergence plus élevé et une stabilité d'entraînement supérieure.

Les méthodes récentes de compréhension de vidéos en flux continu reposent de plus en plus sur des mécanismes de mémoire complexes pour traiter les flux vidéo longs. Nous remettons en cause cette tendance par un constat simple : une approche baseline à fenêtre glissante qui ne fournit que les N images les plus récentes à un VLM standard atteint déjà, voire dépasse, les performances des modèles de streaming publiés. Nous formalisons cette baseline sous le nom de SimpleStream et l'évaluons contre 13 modèles de référence majeurs (hors ligne et en ligne) de LLM vidéo sur OVO-Bench et StreamingBench. Malgré sa simplicité, SimpleStream démontre des performances constamment solides. Avec seulement 4 images récentes, il atteint une précision moyenne de 67,7 % sur OVO-Bench et 80,59 % sur StreamingBench. Des ablations contrôlées montrent en outre que la valeur d'un contexte plus long dépend du modèle de base plutôt que d'augmenter uniformément avec l'échelle du modèle, et révèlent un compromis constant perception-mémoire : l'ajout de contexte historique améliore le rappel, mais affaiblit souvent la perception en temps réel. Cela suggère que des modules de mémoire, de récupération ou de compression plus performants ne doivent pas être considérés comme des preuves de progrès, sauf s'ils surpassent clairement SimpleStream dans les mêmes conditions. Nous soutenons donc que les futures évaluations de streaming devraient dissocier la perception de scène récente de la mémoire à long terme, afin que les améliorations de performance issues d'une complexité accrue puissent être évaluées plus clairement.

La transformation de tokens, plutôt que de pixels, peut-elle aider les modèles de langage multimodaux (MLLM) à comprendre l'apparence d'une scène depuis un point de vue proche ? Bien que les MLLM obtiennent de bonnes performances en raisonnement visuel, ils restent fragiles face aux changements de point de vue, car la transformation pixel par pixel est très sensible aux petites erreurs de profondeur et introduit souvent des distorsions géométriques. En nous appuyant sur les théories de l'imagerie mentale qui postulent que les représentations structurelles au niveau des parties constituent la base de la transformation de perspective chez l'humain, nous examinons si les tokens d'image dans les MLLM basés sur ViT peuvent servir de substrat efficace pour les changements de point de vue. Nous comparons la transformation avant et arrière, et constatons que la transformation arrière de tokens, qui définit une grille dense sur la vue cible et récupère un token correspondant de la vue source pour chaque point de la grille, offre une plus grande stabilité et préserve mieux la cohérence sémantique lors des changements de point de vue. Les expériences sur notre benchmark ViewBench proposé démontrent que la transformation au niveau des tokens permet aux MLLM de raisonner de manière fiable à partir de points de vue proches, surpassant constamment toutes les méthodes de référence, y compris les approches de transformation pixel par pixel, les MLLM affinés spatialement et une méthode de transformation générative.

Les modèles de langage multimodaux (MLLM) évoluent d'observateurs passifs vers des agents actifs, résolvant des problèmes par l'Expansion Visuelle (invocation d'outils visuels) et l'Expansion des Connaissances (recherche sur le web ouvert). Cependant, les évaluations existantes sont insuffisantes : elles manquent d'intégration flexible des outils, testent les outils visuels et de recherche séparément, et évaluent principalement par les réponses finales. Par conséquent, elles ne peuvent pas vérifier si les outils ont été réellement invoqués, appliqués correctement ou utilisés efficacement. Pour remédier à cela, nous présentons Agentic-MME, un benchmark vérifié en processus pour les Capacités Agentiques Multimodales. Il contient 418 tâches du monde réel réparties sur 6 domaines et 3 niveaux de difficulté pour évaluer la synergie des capacités, comprenant plus de 2 000 points de contrôle étape par étape qui représentent en moyenne plus de 10 heures-personnes d'annotation manuelle par tâche. Chaque tâche inclut un cadre d'évaluation unifié prenant en charge l'exécution en bac à sable de code et d'API, ainsi qu'une trajectoire de référence humaine annotée avec des points de contrôle étape par étape selon un double axe : l'axe S et l'axe V. Pour permettre une vérification véritablement au niveau du processus, nous auditons les états intermédiaires fins plutôt que seulement les réponses finales, et quantifions l'efficacité via une métrique de sur-réflexion relative aux trajectoires humaines. Les résultats expérimentaux montrent que le meilleur modèle, Gemini3-pro, atteint une précision globale de 56,3 %, qui chute significativement à 23,0 % sur les tâches de Niveau 3, soulignant la difficulté de la résolution de problèmes agentiques multimodaux dans le monde réel.

Les LLM modernes sont mis à l'échelle au moment du test, par exemple via un échantillonnage répété, où le coût de l'inférence augmente avec la taille du modèle et le nombre d'échantillons. Cela crée un compromis que les lois d'échelle de pré-entraînement, comme Chinchilla, n'abordent pas. Nous présentons les lois d'échelle Train-to-Test (T²) qui optimisent conjointement la taille du modèle, les jetons d'entraînement et le nombre d'échantillons d'inférence sous des budgets fixes de bout en bout. T² modernise les lois d'échelle de pré-entraînement avec la modélisation pass@k utilisée pour la mise à l'échelle au moment du test, puis optimise conjointement les décisions de pré-entraînement et de test. Les prévisions de T² sont robustes sur différentes approches de modélisation : mesure de l'effet d'échelle conjoint sur la perte de tâche et modélisation de l'impact sur la précision de la tâche. Sur huit tâches en aval, nous constatons que lorsque le coût de l'inférence est pris en compte, les décisions optimales de pré-entraînement se déplacent radicalement vers le régime de surentraînement, bien au-delà de la plage des suites d'échelle de pré-entraînement standard. Nous validons nos résultats en pré-entraînant des modèles fortement surentraînés dans la région optimale que prévoit l'échelle T², confirmant leurs performances substantiellement supérieures par rapport au seul pré-entraînement. Enfin, comme les LLM de pointe sont post-entraînés, nous montrons que nos résultats persistent après l'étape de post-entraînement, rendant l'échelle T² significative dans les déploiements modernes.

Les humains développent une compréhension spatiale partagée en communiquant des observations partielles et dépendantes du point de vue. Nous nous demandons si les modèles de langage multimodaux (MLLM) peuvent en faire de même, en alignant des points de vue égocentriques distincts par le dialogue pour former un modèle mental cohérent et allocentrique d'un environnement partagé. Pour étudier cela systématiquement, nous présentons COSMIC, un benchmark pour la communication spatiale collaborative. Dans ce cadre, deux agents MLLM statiques observent un environnement intérieur en 3D sous différents angles et échangent des messages en langage naturel pour résoudre des requêtes spatiales. COSMIC contient 899 scènes diverses et 1250 paires question-réponse couvrant cinq tâches. Nous constatons une hiérarchie de capacités cohérente : les MLLM sont plus fiables pour identifier des objets d'ancrage communs entre les vues, performent moins bien sur le raisonnement relationnel et échouent largement à construire des cartes globalement cohérentes, avec des performances proches du hasard, même pour les modèles les plus avancés. De plus, nous constatons que la capacité de réflexion procure des gains constants dans l'ancrage de référence, mais est insuffisante pour une communication spatiale de plus haut niveau. Pour contextualiser le comportement des modèles, nous avons également collecté 250 dialogues humain-humain. Les humains atteignent une précision globale de 95%, laissant une marge d'amélioration significative même pour le meilleur modèle, Gemini-3-Pro-Thinking, qui atteint une précision globale de 72%. De plus, les conversations humaines deviennent de plus en plus spécifiques à mesure que les partenaires convergent vers un modèle mental partagé, tandis que les dialogues des modèles continuent d'explorer de nouvelles possibilités plutôt que de converger, ce qui est cohérent avec une capacité limitée à construire et maintenir un modèle mental partagé robuste. Notre code et nos données sont disponibles à l'adresse https://github.com/ankursikarwar/Cosmic

Le développement de logiciels industriels, qu'il s'agisse de la conception de puces, de l'optimisation des GPU ou des systèmes embarqués, manque de traces de raisonnement expertes montrant comment les ingénieurs raisonnent face aux contraintes matérielles et à la sémantique temporelle. Dans ce travail, nous proposons InCoder-32B-Thinking, entraîné sur les données du cadre de synthèse Error-driven Chain-of-Thought (ECoT) avec un modèle de monde de code industriel (ICWM) pour générer des traces de raisonnement. Plus précisément, ECoT génère des chaînes de raisonnement en synthétisant le contenu de réflexion à partir d'un dialogue multitour avec un retour d'erreur environnemental, modélisant explicitement le processus de correction d'erreurs. ICWM est entraîné sur des traces d'exécution spécifiques au domaine (simulation Verilog, profilage GPU, etc.), apprend la dynamique causale de l'impact du code sur le comportement matériel et permet l'auto-vérification en prédisant les résultats d'exécution avant la compilation réelle. Toutes les traces de raisonnement synthétisées sont validées via des chaînes d'outils métier, créant ainsi des données d'entraînement correspondant à la distribution naturelle de la profondeur de raisonnement des tâches industrielles. L'évaluation sur 14 benchmarks généraux (81,3 % sur LiveCodeBench v5) et 9 benchmarks industriels (84,0 % sur CAD-Coder et 38,0 % sur KernelBench) montre qu'InCoder-32B-Thinking obtient des résultats open-source de premier plan dans tous les domaines.

Avec l'émergence de cadres d'agents LLM persistants et personnalisés tels qu'OpenClaw, les réseaux sociaux agentiques centrés sur l'humain, dans lesquels des équipes d'agents IA collaboratifs servent des utilisateurs individuels au sein d'un réseau social sur de multiples domaines, deviennent une réalité. Ce contexte génère de nouveaux défis en matière de vie privée : les agents doivent coordonner leurs actions au-delà des frontières des domaines, servir de médiateurs entre les humains et interagir avec les agents d'autres utilisateurs, tout en protégeant des informations personnelles sensibles. Si les travaux antérieurs ont évalué la coordination multi-agents et la préservation de la vie privée, les dynamiques et les risques liés à la confidentialité dans les réseaux sociaux agentiques centrés sur l'humain demeurent inexplorés. Pour combler cette lacune, nous présentons AgentSocialBench, le premier benchmark conçu pour évaluer systématiquement le risque pour la vie privée dans ce contexte. Il comprend des scénarios répartis en sept catégories couvrant des interactions dyadiques et multipartites, ancrés dans des profils utilisateur réalistes dotés d'étiquettes de sensibilité hiérarchiques et de graphes sociaux orientés. Nos expériences révèlent que la protection de la vie privée dans les réseaux sociaux agentiques est fondamentalement plus difficile que dans les configurations à agent unique : (1) la coordination transdomaine et inter-utilisateurs crée une pression de fuite persistante, même lorsque les agents reçoivent des instructions explicites pour protéger l'information, (2) les instructions de confidentialité qui enseignent aux agents comment abstraire les informations sensibles les amènent paradoxalement à en discuter davantage (nous appelons cela le paradoxe de l'abstraction). Ces résultats soulignent que les agents LLM actuels ne disposent pas de mécanismes robustes pour préserver la vie privée dans les réseaux sociaux agentiques centrés sur l'humain, et que de nouvelles approches dépassant l'ingénierie des prompts sont nécessaires pour rendre la coordination sociale médiée par les agents suffisamment sûre pour un déploiement réel.

Le déploiement des grands modèles de langage est limité par les exigences en mémoire et en bande passante des poids statiques et du cache clé-valeur dynamique. La compression basée sur la SVD offre une solution adaptée au matériel pour réduire ces coûts. Cependant, les méthodes existantes souffrent de deux limitations principales : certaines sont sous-optimales en termes d'erreur de reconstruction, tandis que d'autres sont théoriquement optimales mais pratiquement inefficaces. Dans cet article, nous proposons Swift-SVD, un cadre de compression activation-aware et en forme fermée qui garantit simultanément l'optimalité théorique, l'efficacité pratique et la stabilité numérique. Swift-SVD agrège de manière incrémentielle la covariance des activations de sortie pour un lot d'entrées et effectue une seule décomposition en valeurs propres après agrégation, permettant une approximation de bas rang couche par couche, optimale, rapide et sans apprentissage. Nous utilisons le rang effectif pour analyser la compressibilité locale couche par couche et concevons une stratégie d'allocation dynamique des rangs qui prend conjointement en compte la perte de reconstruction locale et l'importance couche par couche de bout en bout. Des expériences approfondies sur six LLM et huit jeux de données démontrent que Swift-SVD surpasse les méthodes de référence les plus avancées, atteignant une précision de compression optimale tout en offrant des accélérations de 3 à 70 fois du temps de compression de bout en bout. Notre code sera publié après acceptation.

Les modèles de vision et langage (VLM) obtiennent des performances impressionnantes sur un large éventail de tâches multimodales. Cependant, sur certaines tâches nécessitant une perception visuelle fine, ils échouent souvent même lorsque les informations requises sont présentes dans leurs représentations internes. Dans ce travail, nous démontrons que cet écart provient de leur pipeline d'entraînement étroit qui se concentre sur le transfert d'informations visuelles vers l'espace textuel. Par conséquent, les VLM ne peuvent raisonner que sur des entités visuelles pouvant être mappées à des concepts connus dans l'espace linguistique, laissant les tâches centrées sur la vision comme la correspondance visuelle et le raisonnement sur des entités visuelles novatrices mal prises en charge. En conséquence, les VLM sont sévèrement limités dans plusieurs capacités multimodales importantes car ils s'appuient sur des descriptions textuelles fragiles et hallucinées d'entités visuelles qu'ils ne peuvent pas mapper à des représentations textuelles. Nous vérifions ce comportement via des tâches de correspondance visuelle, dans lesquelles les VLM doivent détecter des entités correspondantes entre deux images. En testant sur des tâches de correspondance sémantique, de forme et faciale, nous constatons que les VLM performent bien mieux lorsque les entités pertinentes sont nommables dans le langage que lorsqu'elles sont innommables. Mécaniquement, nos analyses Logit Lens confirment que les VLM attribuent explicitement des étiquettes sémantiques aux entités nommables et génèrent des tokens correspondants plus uniques comparé aux entités innommables. De plus, nous montrons qu'enseigner des noms arbitraires pour des entités inconnues améliore les performances, mais qu'un affinage spécifique aux tâches permet une généralisation encore plus forte sans s'appuyer sur des prérequis linguistiques. Nos résultats suggèrent que les échecs actuels des VLM sur les tâches visuelles reflètent des raccourcis appris lors de leur entraînement, plutôt qu'une limitation fondamentale des architectures multimodales.

Les agents informatiques étendent les capacités des modèles de langage au-delà de la génération de texte vers des actions persistantes sur des outils, des fichiers et des environnements d'exécution. Contrairement aux systèmes de dialogue, ils maintiennent un état à travers les interactions et traduisent les résultats intermédiaires en actions concrètes. Cela crée un défi de sécurité distinct, car des comportements nuisibles peuvent émerger via des séquences d'étapes individuellement plausibles, incluant des actions intermédiaires localement acceptables mais conduisant collectivement à des actions non autorisées. Nous présentons AgentHazard, un benchmark pour évaluer les comportements nuisibles des agents informatiques. AgentHazard contient 2 653 instances couvrant diverses catégories de risques et stratégies d'attaque. Chaque instance associe un objectif nuisible à une séquence d'étapes opérationnelles localement légitimes mais induisant conjointement un comportement dangereux. Le benchmark évalue si les agents peuvent reconnaître et interrompre les dommages résultant d'un contexte accumulé, d'usages répétés d'outils, d'actions intermédiaires et de dépendances entre les étapes. Nous évaluons AgentHazard sur Claude Code, OpenClaw et IFlow en utilisant principalement des modèles ouverts ou librement déployables des familles Qwen3, Kimi, GLM et DeepSeek. Nos résultats expérimentaux indiquent que les systèmes actuels restent très vulnérables. En particulier, lorsqu'il est alimenté par Qwen3-Coder, Claude Code présente un taux de réussite d'attaque de 73,63 %, suggérant que l'alignement des modèles seul ne garantit pas de manière fiable la sécurité des agents autonomes.

Alors que les modèles de langage de grande taille (LLM) affichent une performance plafonnante sur les benchmarks conventionnels, un défi crucial persiste : évaluer leur compétence dans des tâches complexes et ouvertes caractérisant une cognition authentique de niveau expert. Les cadres d'évaluation existants souffrent d'une couverture domainiale restreinte, d'une dépendance à des tâches généralistes ou de biais d'auto-évaluation. Pour combler cette lacune, nous présentons XpertBench, un benchmark haute fidélité conçu pour évaluer les LLM dans des domaines professionnels authentiques. XpertBench se compose de 1 346 tâches méticuleusement élaborées réparties en 80 catégories, couvrant la finance, la santé, les services juridiques, l'éducation et la recherche à double voie (STIM et Sciences Humaines). Ces tâches sont issues de plus de 1 000 soumissions par des experts du domaine—incluant des chercheurs d'institutions d'élite et des praticiens dotés d'une vaste expérience clinique ou industrielle—garantissant une validité écologique supérieure. Chaque tâche utilise des grilles d'évaluation détaillées avec principalement 15 à 40 critères pondérés pour évaluer la rigueur professionnelle. Pour faciliter une évaluation scalable mais alignée avec l'humain, nous introduisons ShotJudge, un nouveau paradigme d'évaluation qui emploie des juges LLM étalonnés avec des exemplaires experts en few-shot pour atténuer les biais d'auto-récompense. Notre évaluation empirique des LLM de pointe révèle un plafond de performance prononcé : même les modèles leaders n'atteignent qu'un taux de réussite maximal d'environ 66 %, avec un score moyen avoisinant 55 %. Les modèles présentent également une divergence domainiale, montrant des forces non chevauchantes en raisonnement quantitatif versus synthèse linguistique. Ces résultats soulignent un « fossé expert » significatif dans les systèmes d'IA actuels et établissent XpertBench comme un instrument essentiel pour naviguer la transition d'assistants généralistes vers des collaborateurs professionnels spécialisés.

Les modèles vision-langage (VLM) récents reposent généralement sur un unique encodeur visuel entraîné avec des objectifs image-texte contrasteurs, comme le pré-entraînement de style CLIP. Si les encodeurs contrasteurs sont efficaces pour l'alignement intermodal et la recherche, les encodeurs visuels auto-supervisés capturent souvent une sémantique dense plus riche et présentent une plus grande robustesse sur les tâches de reconnaissance et de compréhension. Dans ce travail, nous étudions comment mettre à l'échelle la fusion de ces représentations visuelles complémentaires pour la modélisation vision-langage. Nous proposons CoME-VL : Complementary Multi-Encoder Vision-Language, un cadre de fusion modulaire qui intègre un encodeur visuel entraîné de manière contrasteuse avec un encodeur auto-supervisé de type DINO. Notre approche effectue une fusion au niveau de la représentation par (i) une agrégation multi-couche guidée par l'entropie avec des projections à contrainte d'orthogonalité pour réduire la redondance, et (ii) une attention croisée améliorée par RoPE pour aligner des grilles de tokens hétérogènes et produire des tokens visuels fusionnés compacts. Les tokens fusionnés peuvent être injectés dans un LLM à décodeur uniquement avec des modifications minimales des pipelines VLM standard. Des expériences approfondies sur divers benchmarks vision-langage démontrent que CoME-VL surpasse systématiquement les modèles de référence à encodeur unique. En particulier, nous observons une amélioration moyenne de 4,9 % sur les tâches de compréhension visuelle et de 5,4 % sur les tâches de localisation. Notre méthode atteint des performances de pointe sur RefCOCO pour la détection tout en améliorant considérablement le modèle de base. Enfin, nous menons des études d'ablation sur la fusion de couches, le mélange de caractéristiques non redondantes et la capacité de fusion pour évaluer comment les signaux contrasteurs et auto-supervisés complémentaires affectent les performances des VLM.

La planification d'actions robotiques dans le monde réel est un défi car elle nécessite non seulement de comprendre l'état actuel de l'environnement, mais aussi de prédire son évolution en réponse aux actions. Les modèles vision-langage-action (VLA), qui réutilisent des modèles de vision et de langage à grande échelle pour la génération d'actions robotiques via des experts d'action, ont obtenu des succès notables dans diverses tâches robotiques. Néanmoins, leurs performances restent limitées par l'étendue de leurs données d'entraînement, montrant une généralisation restreinte à des scénarios non vus et une vulnérabilité à diverses perturbations contextuelles. Plus récemment, les modèles du monde ont été réexaminés comme alternative aux VLA. Ces modèles, appelés modèles d'action par le monde (WAM), s'appuient sur des modèles du monde entraînés sur de vastes corpus de données vidéo pour prédire les états futurs. Avec des adaptations mineures, leur représentation latente peut être décodée en actions robotiques. Il a été suggéré que leur capacité explicite de prédiction dynamique, combinée à des prérequis spatio-temporels acquis par un pré-entraînement sur des vidéos à l'échelle du web, permet aux WAM de généraliser plus efficacement que les VLA. Dans cet article, nous menons une étude comparative des politiques VLA de pointe et des WAM récemment publiés. Nous évaluons leurs performances sur les benchmarks LIBERO-Plus et RoboTwin 2.0-Plus sous diverses perturbations visuelles et linguistiques. Nos résultats montrent que les WAM atteignent une robustesse élevée, avec LingBot-VA atteignant 74,2% de taux de succès sur RoboTwin 2.0-Plus et Cosmos-Policy obtenant 82,2% sur LIBERO-Plus. Bien que des VLA tels que π_{0,5} puissent atteindre une robustesse comparable sur certaines tâches, ils nécessitent généralement un entraînement extensif avec des ensembles de données robotiques diversifiés et des objectifs d'apprentissage variés. Les approches hybrides intégrant partiellement un apprentissage dynamique basé sur la vidéo présentent une robustesse intermédiaire, soulignant l'importance de la manière dont les prérequis vidéo sont intégrés.

La distillation des modèles de génération vidéo vers des budgets d'inférence extrêmement réduits (par exemple, 2-4 NFE) est cruciale pour un déploiement en temps réel, mais reste difficile. La distillation par cohérence de trajectoire devient souvent conservatrice sous des dynamiques vidéo complexes, produisant un aspect trop lissé et un mouvement faible. La distillation par appariement de distributions (DMD) peut retrouver des échantillons nets et mode-seeking, mais ses signaux d'entraînement locaux ne régularisent pas explicitement la composition des mises à jour de débruitage entre les pas de temps, rendant les déploiements composés sujets à la dérive. Pour surmonter cette difficulté, nous proposons la Distillation par Appariement de Distributions Auto-Cohérente (SC-DMD), qui régularise explicitement la composition cohérente en point final des mises à jour de débruitage consécutives. Pour la génération vidéo autorégressive en temps réel, nous traitons en outre le cache KV comme une condition paramétrée par la qualité et proposons un entraînement Sensible au Cache et à la Distribution. Ce schéma d'entraînement applique SC-DMD sur des déploiements multi-pas et introduit un objectif d'alignement de caractéristiques conditionné par le cache qui oriente les sorties de faible qualité vers des références de haute qualité. À travers de nombreuses expériences sur des architectures non autorégressives (par exemple, Wan~2.1) et des paradigmes temps réel autorégressifs (par exemple, Self Forcing), notre méthode, baptisée Salt, améliore constamment la qualité de la génération vidéo à faible NFE tout en restant compatible avec divers mécanismes de mémoire par cache KV. Le code source sera publié sur https://github.com/XingtongGe/Salt.