Articles de recherche IA sélectionnés quotidiennement avec traductions
Les modèles du monde ont suscité une attention considérable en tant qu'axe de recherche prometteur en intelligence artificielle, mais une définition claire et unifiée fait encore défaut. Dans cet article, nous présentons OpenWorldLib, un cadre d'inférence complet et standardisé pour les modèles du monde avancés. En nous appuyant sur l'évolution des modèles du monde, nous proposons une définition claire : un modèle du monde est un modèle ou un cadre centré sur la perception, doté de capacités d'interaction et de mémoire à long terme, pour comprendre et prédire le monde complexe. Nous catégorisons ensuite systématiquement les capacités essentielles des modèles du monde. Sur la base de cette définition, OpenWorldLib intègre des modèles couvrant différentes tâches au sein d'un cadre unifié, permettant une réutilisation efficace et une inférence collaborative. Enfin, nous présentons des réflexions et analyses supplémentaires sur les orientations futures potentielles de la recherche sur les modèles du monde. Lien vers le code : https://github.com/OpenDCAI/OpenWorldLib
Les méthodes actuelles d'analyse de documents rivalisent principalement sur l'innovation architecturale des modèles, tandis que l'ingénierie systématique des données d'entraînement reste sous-explorée. Pourtant, les modèles SOTA de différentes architectures et échelles de paramètres présentent des schémas d'échec très cohérents sur le même ensemble d'échantillons difficiles, suggérant que le goulot d'étranglement des performances provient de déficiences partagées dans les données d'entraînement plutôt que de l'architecture elle-même. S'appuyant sur cette observation, nous présentons \minerupro, qui améliore l'état de l'art uniquement par l'ingénierie des données et l'optimisation des stratégies d'entraînement, tout en maintenant l'architecture à 1,2 milliard de paramètres de \mineru complètement fixe. Son cœur est un moteur de données co-conçu autour de la couverture, de l'informativité et de la précision des annotations : l'échantillonnage sensible à la diversité et à la difficulté étend les données d'entraînement de moins de 10 millions à 65,5 millions d'échantillons tout en corrigeant le décalage de distribution ; la vérification de cohérence inter-modèles exploite l'accord de sortie entre modèles hétérogènes pour évaluer la difficulté des échantillons et générer des annotations fiables ; le pipeline Juger-et-affiner améliore la qualité des annotations pour les échantillons difficiles via une correction itérative de type rendre-puis-vérifier. Une stratégie d'entraînement progressive en trois étapes - pré-entraînement à grande échelle, fine-tuning sur échantillons difficiles et alignement GRPO - exploite séquentiellement ces données à différents niveaux de qualité. Sur le plan de l'évaluation, nous corrigeons les biais d'appariement d'éléments dans OmniDocBench~v1.5 et introduisons un sous-ensemble Difficile, établissant le protocole OmniDocBench~v1.6 plus discriminant. Sans aucune modification architecturale, \minerupro atteint 95,69 sur OmniDocBench~v1.6, améliorant de 2,71 points la baseline de même architecture et surpassant toutes les méthodes existantes, y compris les modèles avec plus de 200 fois plus de paramètres.
Les modèles Vision-Langage-Action (VLA) obtiennent des performances élevées en manipulation robotique en exploitant des modèles de base vision-langage pré-entraînés. Cependant, dans les applications robotiques en aval, ils sont généralement affinés avec des données limitées, ce qui entraîne un surapprentissage à des formulations d'instructions spécifiques et laisse la robustesse aux instructions paraphrasées peu explorée. Pour étudier cet écart, nous présentons LIBERO-Para, un benchmark contrôlé qui fait varier indépendamment les expressions d'action et les références aux objets pour une analyse granulaire de la généralisation linguistique. Sur sept configurations VLA (0,6B-7,5B), nous observons une dégradation constante des performances de 22 à 52 pp sous paraphrase. Cette dégradation est principalement due à la variation lexicale au niveau des objets : même de simples substitutions de synonymes entraînent des baisses importantes, indiquant une dépendance à l'appariement superficiel plutôt qu'à l'ancrage sémantique. De plus, 80 à 96 % des échecs proviennent d'une divergence de trajectoire au niveau de la planification plutôt que d'erreurs d'exécution, montrant que la paraphrase perturbe l'identification de la tâche. Le taux de succès binaire traite toutes les paraphrases de manière égale, occultant si les modèles performent de manière cohérente selon les niveaux de difficulté ou s'appuient sur les cas les plus faciles. Pour résoudre ce problème, nous proposons PRIDE, une métrique qui quantifie la difficulté de paraphrase en utilisant des facteurs sémantiques et syntaxiques. Notre benchmark et le code correspondant sont disponibles à l'adresse : https://github.com/cau-hai-lab/LIBERO-Para
Le raisonnement étendu dans les grands modèles de langage (LLM) crée de sévères goulots d'étranglement mémoire au niveau du cache KV. Les principales méthodes de compression du cache KV estiment l'importance des clés (K) et des valeurs (V) en utilisant les scores d'attention des requêtes récentes post-RoPE. Cependant, les requêtes subissent une rotation avec la position lors de l'application du RoPE, ce qui rend les requêtes représentatives très rares, conduisant à une sélection médiocre des clés prioritaires et à un raisonnement instable. Pour éviter ce problème, nous nous tournons vers l'espace pré-RoPE, où nous observons que les vecteurs Q (requête) et K (clé) sont fortement concentrés autour de centres fixes non nuls et restent stables quelle que soit la position – c'est la concentration Q/K. Nous montrons que cette concentration amène les requêtes à accorder préférentiellement leur attention aux clés situées à des distances spécifiques (par exemple, les clés les plus proches), les centres déterminant quelles distances sont privilégiées via une série trigonométrique. Sur cette base, nous proposons TriAttention pour estimer l'importance des clés en exploitant ces centres. Via la série trigonométrique, nous utilisons la préférence de distance caractérisée par ces centres pour noter les clés en fonction de leurs positions, et nous exploitons également les normes Q/K comme signal supplémentaire pour l'estimation de l'importance. Sur AIME25 avec une génération de 32K tokens, TriAttention atteint la même précision de raisonnement que l'Attention Complète tout en obtenant un débit 2,5 fois supérieur ou une réduction de la mémoire KV de 10,7 fois, alors que les meilleures méthodes de référence n'atteignent qu'environ la moitié de la précision à la même efficacité. TriAttention permet le déploiement d'OpenClaw sur un seul GPU grand public, là où un contexte long provoquerait normalement un dépassement de mémoire avec l'Attention Complète.
Bien que la fréquence textuelle ait été validée comme pertinente pour la cognition humaine dans la vitesse de lecture, son lien avec les grands modèles de langage (LLM) est rarement étudié. Nous proposons une nouvelle orientation de recherche concernant la fréquence des données textuelles, un sujet peu exploré à notre connaissance. Notre cadre est composé de trois unités. Premièrement, cet article propose la Loi de Fréquence Textuelle (TFL), qui indique que les données textuelles fréquentes devraient être privilégiées pour les LLM, tant pour l'amorçage que pour le réglage fin. Étant donné que de nombreux LLM sont fermés quant à leurs données d'entraînement, nous proposons d'utiliser des ressources en ligne pour estimer la fréquence au niveau de la phrase. Nous utilisons ensuite un paraphraseur d'entrée pour reformuler l'entrée en une expression textuelle plus fréquente. Ensuite, nous proposons la Distillation de Fréquence Textuelle (TFD) en interrogeant les LLM pour réaliser une complétion d'histoire en étendant davantage les phrases des jeux de données, et les corpus résultants sont utilisés pour ajuster l'estimation initiale. Enfin, nous proposons l'Entraînement Curriculaire par Fréquence Textuelle (CTFT) qui effectue le réglage fin des LLM dans un ordre croissant de fréquence au niveau de la phrase. Des expériences sont menées sur notre jeu de données organisé, le Jeu de Données Appariées de Fréquence Textuelle (TFPD), concernant le raisonnement mathématique, la traduction automatique, le raisonnement de bon sens et l'utilisation d'outils agentiques. Les résultats montrent l'efficacité de notre cadre.
Les modèles de langage de grande taille pour la vidéo (VideoLLM) ont obtenu des performances solides sur de nombreuses tâches de compréhension vidéo, mais la plupart des systèmes existants restent hors ligne et ne sont pas bien adaptés aux flux vidéo en direct qui nécessitent une observation continue et une réponse rapide. Les VideoLLM en flux récents ont réalisé des progrès, mais les approches actuelles reposent souvent sur des pipelines déclencheur-réponse découplés ou se limitent à une narration de type légendage, réduisant ainsi leur efficacité pour le question-réponse ouvert et l'interaction à long terme. Nous proposons AURA (Compréhension Permanente et Assistance en Temps Réel), un cadre d'interaction visuelle en flux continu de bout en bout qui permet à un VideoLLM unifié de traiter continuellement les flux vidéo et de prendre en charge à la fois le question-réponse en temps réel et les réponses proactives. AURA intègre la gestion du contexte, la construction des données, les objectifs d'entraînement et l'optimisation du déploiement pour une interaction en flux continu stable à long terme. Il atteint des performances de pointe sur les benchmarks de streaming et prend en charge un système de démonstration en temps réel avec reconnaissance automatique de la parole et synthèse vocale fonctionnant à 2 images par seconde sur deux accélérateurs de 80 Go. Nous publions le modèle AURA ainsi qu'un cadre d'inférence en temps réel pour faciliter les recherches futures.
L'édition spatiale d'images réalise des transformations pilotées par la géométrie, permettant un contrôle précis de la disposition des objets et des angles de vue de la caméra. Les modèles actuels sont insuffisants pour les manipulations spatiales fines, ce qui motive la création d'une suite d'évaluation dédiée. Nos contributions sont les suivantes : (i) Nous présentons SpatialEdit-Bench, un benchmark complet qui évalue l'édition spatiale en mesurant conjointement la plausibilité perceptuelle et la fidélité géométrique via la reconstruction du point de vue et l'analyse du cadrage. (ii) Pour résoudre le problème du manque de données pour un entraînement scalable, nous construisons SpatialEdit-500k, un jeu de données synthétique généré avec un pipeline Blender contrôlable qui rend des objets sur divers arrière-plans et selon des trajectoires systématiques de caméra, fournissant des transformations de référence précises pour les opérations centrées sur l'objet et sur la caméra. (iii) En nous appuyant sur ces données, nous développons SpatialEdit-16B, un modèle de référence pour l'édition spatiale fine. Notre méthode obtient des performances compétitives en édition générale tout en surpassant substantiellement les méthodes antérieures sur les tâches de manipulation spatiale. Toutes les ressources seront rendues publiques à l'adresse https://github.com/EasonXiao-888/SpatialEdit.
Les agents d'IA déployés comme assistants permanents doivent maintenir des croyances correctes à mesure que leur environnement informationnel évolue. En pratique, les preuves sont dispersées dans des sources hétérogènes qui se contredisent souvent, les nouvelles informations peuvent invalider des conclusions antérieures, et les préférences des utilisateurs émergent via des corrections plutôt que des instructions explicites. Les benchmarks existants supposent largement des configurations statiques à autorité unique et n'évaluent pas si les agents peuvent suivre cette complexité. Nous présentons ClawArena, un benchmark pour évaluer les agents d'IA dans des environnements informationnels évolutifs. Chaque scénario maintient une vérité terrain complète mais cachée, tout en exposant l'agent uniquement à des traces bruitées, partielles et parfois contradictoires via des sessions multi-canaux, des fichiers de travail et des mises à jour planifiées. L'évaluation est organisée autour de trois défis couplés : le raisonnement sur les conflits multi-sources, la révision dynamique des croyances et la personnalisation implicite, dont les interactions produisent une taxonomie de questions à 14 catégories. Deux formats de questions, QCM (sélection d'ensemble) et vérifications exécutables via shell, testent à la fois le raisonnement et l'ancrage dans l'espace de travail. La version actuelle contient 64 scénarios couvrant 8 domaines professionnels, totalisant 1 879 tours d'évaluation et 365 mises à jour dynamiques. Les expériences sur cinq frameworks d'agents et cinq modèles de langage montrent que la capacité du modèle (écart de 15,4 %) et la conception du framework (écart de 9,2 %) affectent substantiellement les performances, que les frameworks d'auto-évolution des compétences peuvent partiellement combler les écarts de capacité des modèles, et que la difficulté de révision des croyances est déterminée par la stratégie de conception des mises à jour plutôt que par la simple présence de celles-ci. Le code est disponible à l'adresse https://github.com/aiming-lab/ClawArena.
Les agents d'IA collaboratifs opérant dans les systèmes de fichiers locaux émergent rapidement comme un paradigme dans l'interaction humain-IA ; cependant, leur personnalisation efficace reste limitée par de sévères contraintes de données. En effet, des barrières strictes de confidentialité et la difficulté de collecter conjointement des traces multimodales du monde réel empêchent un entraînement et une évaluation à grande échelle. Les méthodes existantes restent centrées sur l'interaction tout en négligeant les traces comportementales denses des opérations sur le système de fichiers. Pour combler cette lacune, nous proposons FileGram, un cadre complet qui ancre la mémoire et la personnalisation des agents dans les traces comportementales du système de fichiers. Il comprend trois composants principaux : (1) FileGramEngine, un moteur de données piloté par les personas, scalable, qui simule des flux de travail réalistes et génère à grande échelle des séquences d'actions multimodales granulaires ; (2) FileGramBench, un benchmark de diagnostic ancré dans les traces comportementales du système de fichiers pour évaluer les systèmes de mémoire sur la reconstruction de profils, la dissociation des traces, la détection de dérive des personas et l'ancrage multimodal ; et (3) FileGramOS, une architecture mémoire ascendante qui construit des profils utilisateur directement à partir d'actions atomiques et de différences de contenu plutôt qu'à partir de résumés de dialogues, encodant ces traces dans des canaux procéduraux, sémantiques et épisodiques avec une abstraction au moment de la requête. Des expériences approfondies montrent que FileGramBench reste difficile pour les systèmes de mémoire à la pointe et que FileGramEngine et FileGramOS sont efficaces. En ouvrant le cadre en source libre, nous espérons soutenir les futures recherches sur les agents personnalisés centrés sur la mémoire pour les systèmes de fichiers.
Les grands modèles de langage (LLM) excellent dans le raisonnement complexe, mais leur efficacité est limitée par la charge cognitive croissante induite par les longues traces de raisonnement. Dans cet article, nous proposons LightThinker, une méthode permettant aux LLMs de compresser dynamiquement les pensées intermédiaires en représentations sémantiques compactes. Cependant, la compression statique peine souvent avec les raisonnements complexes où la perte irréversible de détails intermédiaires peut entraîner des goulots d'étranglement logiques. Pour résoudre ce problème, nous faisons évoluer le framework vers LightThinker++, en introduisant une Gestion Explicite et Adaptative de la Mémoire. Ce paradigme passe à une gestion au niveau comportemental en incorporant des primitives mémoire explicites, soutenues par un pipeline spécialisé de synthèse de trajectoires pour entraîner une planification mémoire intentionnelle. Des expériences approfondies démontrent la versatilité du framework selon trois dimensions. (1) LightThinker réduit l'utilisation maximale de tokens de 70 % et le temps d'inférence de 26 %, avec une perte de précision minime. (2) Dans le raisonnement standard, LightThinker++ réduit l'utilisation de tokens de pointe de 69,9 % tout en produisant un gain de précision de +2,42 % sous le même budget de contexte pour une performance maximale. (3) Plus notablement, dans les tâches agentiques à long terme, il maintient une empreinte stable au-delà de 80 tours (une réduction de 60 % à 70 %), obtenant un gain de performance moyen de 14,8 % sur différents scénarios complexes. Globalement, notre travail offre une direction évolutive pour maintenir un raisonnement profond des LLM sur des horizons étendus avec une surcharge minimale.
L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme standard pour le post-entraînement des grands modèles de langage. Bien que l'Optimisation de Politique par Groupe Relatif (GRPO) soit largement adoptée, son attribution de crédit grossière pénalise uniformément les séquences d'actions échouées, manquant de la granularité au niveau des tokens nécessaire pour corriger efficacement des déviations spécifiques. L'Optimisation de Politique par Auto-distillation (SDPO) résout ce problème en fournissant une supervision plus dense et ciblée au niveau des logits, facilitant une amélioration rapide en début d'entraînement, mais elle s'effondre fréquemment lors d'un entraînement prolongé. Nous attribuons cette instabilité en phase tardive à deux défauts intrinsèques : l'auto-distillation sur des échantillons déjà corrects introduit une ambiguïté d'optimisation, et la fiabilité du signal de l'auto-enseignant se dégrade progressivement. Pour résoudre ces problèmes, nous proposons l'Optimisation de Politique à Routage d'Échantillons (SRPO), un cadre unifié sur-politique qui achemine les échantillons corrects vers le renforcement aligné sur la récompense de GRPO et les échantillons échoués vers la correction ciblée au niveau des logits de SDPO. SRPO intègre en outre un mécanisme de pondération dynamique sensible à l'entropie pour supprimer les cibles de distillation peu fiables à haute entropie tout en privilégiant celles qui sont confiantes. Évalué sur cinq benchmarks et deux échelles de modèles, SRPO atteint à la fois l'amélioration rapide initiale de SDPO et la stabilité à long terme de GRPO. Il surpasse constamment les performances maximales des deux méthodes de référence, augmentant la moyenne sur les cinq benchmarks sur Qwen3-8B de 3,4 % par rapport à GRPO et de 6,3 % par rapport à SDPO, tout en produisant des longueurs de réponse modérées et en réduisant le coût computationnel par étape jusqu'à 17,2 %.
Une voie de recherche prometteuse pour permettre aux LLM de générer du code correct de manière constante consiste à remédier à leur incapacité à estimer correctement l'exécution des programmes, en particulier pour le code qu'ils génèrent. Dans ce travail, nous démontrons que les Code LLM peuvent être entraînés à simuler l'exécution des programmes étape par étape et que cette capacité peut être exploitée pour améliorer les performances en programmation compétitive. Notre approche combine un fine-tuning supervisé sur des traces d'exécution en langage naturel, c'est-à-dire des explications textuelles ancrées dans l'exécution réelle, avec un apprentissage par renforcement utilisant des récompenses vérifiables. Nous introduisons deux objectifs complémentaires : la prédiction de la sortie étant donné le code et les entrées, et la résolution de tâches de programmation compétitive avec un retour d'exécution provenant soit de la vérité terrain, soit d'une auto-prédiction. Ces objectifs permettent aux modèles d'effectuer une auto-vérification sur plusieurs solutions candidates et une auto-correction itérative en simulant l'exécution de tests. Sur plusieurs benchmarks de programmation compétitive, notre méthode apporte des améliorations constantes par rapport aux approches de raisonnement standard. Nous présentons en outre des études d'ablation et des analyses pour élucider le rôle de la simulation d'exécution et ses limites.
L’apprentissage par l’expérience est essentiel pour développer des agents de grands modèles de langage (LLM) performants. Pourtant, les paradigmes d’auto-évolution actuels restent inefficaces : les agents apprennent de manière isolée, redécouvrant sans cesse des comportements similaires à partir d’une expérience limitée, ce qui entraîne une exploration redondante et une faible généralisation. Pour résoudre ce problème, nous proposons SkillX, un cadre entièrement automatisé pour construire une base de connaissances de compétences prêtes à l’emploi, réutilisable entre agents et environnements. SkillX fonctionne via un pipeline automatisé reposant sur trois innovations synergiques : (i) la Conception de Compétences Multi-Niveaux, qui distille les trajectoires brutes en une hiérarchie à trois niveaux (plans stratégiques, compétences fonctionnelles et compétences atomiques) ; (ii) le Raffinement Itératif des Compétences, qui révise automatiquement les compétences sur la base des retours d’exécution pour améliorer continuellement la qualité de la bibliothèque ; et (iii) l’Expansion Exploratoire des Compétences, qui génère et valide de manière proactive de nouvelles compétences pour étendre la couverture au-delà des données d’entraînement initiales. En utilisant un agent de base performant (GLM-4.6), nous construisons automatiquement une bibliothèque de compétences réutilisable et évaluons sa transférabilité sur des benchmarks exigeants de tâches à long terme et interactives, notamment AppWorld, BFCL-v3 et τ²-Bench. Les expériences montrent que SkillX améliore constamment le succès des tâches et l’efficacité d’exécution lorsqu’il est intégré à des agents de base moins performants, soulignant l’importance des représentations d’expérience structurées et hiérarchisées pour un apprentissage généralisable des agents. Notre code sera bientôt disponible publiquement à l’adresse : https://github.com/zjunlp/SkillX.
Que faut-il pour construire un système de raisonnement visuel fonctionnant sur les graphiques, les sciences, la compréhension spatiale et les tâches ouvertes ? Les modèles vision-langage (VLM) les plus performants montrent qu'un raisonnement visuel aussi étendu est à portée, mais la recette derrière eux reste obscure, verrouillée dans des pipelines d'apprentissage par renforcement (RL) propriétaires utilisant des données non publiques. Nous présentons Vero, une famille de VLM entièrement ouverts qui égalent ou surpassent les modèles open-weight existants sur une grande variété de tâches de raisonnement visuel. Nous avons mis à l'échelle les données et les récompenses de RL sur six grandes catégories de tâches, en construisant Vero-600K, un jeu de données de 600 000 échantillons issus de 59 ensembles de données, et en concevant des récompenses routées par tâche qui gèrent des formats de réponse hétérogènes. Vero atteint des performances de pointe, améliorant quatre modèles de base de 3,7 à 5,5 points en moyenne sur VeroEval, notre suite de 30 benchmarks exigeants. En partant de Qwen3-VL-8B-Instruct, Vero surpasse Qwen3-VL-8B-Thinking sur 23 des 30 benchmarks sans données de pensée propriétaires supplémentaires. Lorsqu'il est entraîné à partir du même modèle de base, Vero-600K surpasse les ensembles de données de RL existants across toutes les catégories de tâches. Des ablations systématiques révèlent que différentes catégories de tâches suscitent des schémas de raisonnement qualitativement distincts qui se transfèrent mal de manière isolée, suggérant que la couverture étendue des données est le principal moteur d'une forte mise à l'échelle par RL. Toutes les données, le code et les modèles sont publiés.
OpenClaw, l'agent IA personnel le plus déployé début 2026, fonctionne avec un accès complet au système local et s'intègre à des services sensibles tels que Gmail, Stripe et le système de fichiers. Si ces privilèges étendus permettent des niveaux élevés d'automatisation et une personnalisation puissante, ils exposent également une surface d'attaque substantielle que les évaluations en bac à sable existantes ne parviennent pas à capturer. Pour combler cette lacune, nous présentons la première évaluation de sécurité en conditions réelles d'OpenClaw et introduisons la taxonomie CIK, qui unifie l'état persistant d'un agent en trois dimensions, à savoir la Capacité, l'Identité et la Connaissance, pour l'analyse de sécurité. Nos évaluations couvrent 12 scénarios d'attaque sur une instance active d'OpenClaw avec quatre modèles de base (Claude Sonnet 4.5, Opus 4.6, Gemini 3.1 Pro et GPT-5.4). Les résultats montrent que l'empoisonnement d'une seule dimension CIK augmente le taux de réussite moyen des attaques de 24,6% à 64-74%, le modèle le plus robuste affichant même une augmentation de plus de trois fois par rapport à sa vulnérabilité de base. Nous évaluons en outre trois stratégies de défense alignées sur CIK ainsi qu'un mécanisme de protection des fichiers ; cependant, la défense la plus forte produit encore un taux de réussite de 63,8% sous des attaques ciblant la Capacité, tandis que la protection des fichiers bloque 97% des injections malveillantes mais empêche également les mises à jour légitimes. Dans l'ensemble, ces résultats montrent que les vulnérabilités sont inhérentes à l'architecture de l'agent, nécessitant des sauvegardes plus systématiques pour sécuriser les agents IA personnels. Notre page projet est https://ucsc-vlaa.github.io/CIK-Bench.
L'apprentissage par renforcement avec récompenses vérifiables (RLVR) forme efficacement des modèles de raisonnement qui dépendent d'une abondance d'étiquettes parfaites, mais sa vulnérabilité face aux étiquettes bruitées inévitables dues à la pénurie d'experts reste cruellement sous-étudiée. Dans ce travail, nous franchissons une première étape vers une analyse systématique des mécanismes des étiquettes bruitées dans le RLVR. Contrairement à la classification supervisée, la plupart des algorithmes de RLVR intègrent une condition basée sur des déroulements : l'influence d'une étiquette sur l'entraînement dépend de la capacité de la politique actuelle à générer des séquences qui la réalisent, une propriété qui s'étend naturellement aux étiquettes bruitées. Sur la base de cette observation, nous distinguons deux types de bruit : les étiquettes bruitées inactives, qui réduisent l'efficacité des données, et les étiquettes bruitées actives, qui sont renforcées et risquent de biaiser le modèle vers des distributions incorrectes. À partir d'expériences d'entraînement avec des échantillons bruités, nous identifions un phénomène de Cohérence Précoce de la Correction : bien que les échantillons bruités commencent à prendre du retard aux stades ultérieurs, la précision sur les échantillons propres et bruités augmente de manière similaire en début d'entraînement. Motivés par cette dynamique, nous proposons le Raffinement en Ligne des Étiquettes (OLR), qui corrige progressivement les étiquettes potentiellement bruitées avec des réponses décidées à la majorité lorsque deux conditions sont remplies : une pente positive dans le taux de réussite des déroulements de la réponse majoritaire et une cohérence historique stable entre les mises à jour, permettant une auto-correction graduelle à mesure que la politique s'améliore. Nous évaluons OLR sur six benchmarks de raisonnement mathématique en distribution (AIME24/25, AMC, MATH-500, Minerva et Olympiad) et trois tâches hors distribution (ARC-c, GPQA-diamond et MMLU-pro). Pour des ratios de bruit allant de 0,1 à 0,9, OLR améliore constamment la robustesse dans les contextes d'étiquettes bruitées inactives et actives, obtenant des gains moyens de 3,6 % à 3,9 % sur les benchmarks en distribution et de 3,3 % à 4,6 % sur les évaluations hors distribution.
L'incorporation multimodale universelle (UME) projette des entrées hétérogènes dans un espace de recherche partagé à l'aide d'un modèle unique. Les approches récentes améliorent l'UME en générant des rationalités explicites de type chaîne de pensée (CoT) avant d'extraire les embeddings, permettant aux grands modèles linguistiques multimodaux de mieux inférer l'intention complexe des requêtes. Cependant, la CoT explicite entraîne un surcoût substantiel d'inférence et peut comprimer des preuves multimodales riches dans un goulot d'étranglement textuel étroit. Nous proposons PLUME, un cadre de raisonnement latent qui fait progresser l'UME en remplaçant la CoT verbalisée par un déroulement autoregressif court d'états latents continus. Pour prendre en charge des requêtes multimodales diverses, PLUME introduit en outre un adaptateur de transition guidé par ancres sémantiques qui oriente le déroulement latent le long de différentes trajectoires de raisonnement sous le même budget de calcul fixe. Pour stabiliser l'entraînement, PLUME adopte un curriculum progressif explicite-vers-latent qui n'utilise le raisonnement verbalisé que comme échafaudage temporaire d'entraînement et transfère progressivement ce comportement dans le calcul des états cachés, éliminant la CoT explicite lors de l'inférence. Sur le benchmark MMEB-v2 comprenant 78 tâches, PLUME surpasse les solides bases de référence UME à CoT explicite tout en réduisant le raisonnement de centaines de tokens générés à moins de 10 étapes latentes, offrant une inférence plus de 30 fois plus rapide. PLUME est particulièrement adapté aux contextes de recherche où les preuves pertinentes sont denses, structurellement complexes et difficiles à organiser via des rationalités intermédiaires verbalisées, comme la recherche de documents visuels et vidéo. Ces résultats montrent que le calcul latent structuré peut préserver les avantages du raisonnement intermédiaire sans le surcoût de la génération de rationalités explicites, offrant un paradigme plus solide et plus efficace pour les systèmes de recherche pratiques.
L'apprentissage au moment du test (TTL) permet aux agents linguistiques d'affiner itérativement leurs performances grâce à des interactions répétées avec l'environnement lors de l'inférence. Au cœur du TTL se trouve une politique d'adaptation qui met à jour la politique de l'acteur sur la base de l'expérience tirée des épisodes précédents, améliorant ainsi le comportement futur. Les méthodes existantes reposent sur des politiques d'adaptation fixes et artisanales plutôt que de les optimiser pour une amélioration en aval. Nous soutenons que les politiques d'adaptation optimales devraient être apprises à partir des environnements de tâche, et non conçues manuellement sur la base de l'intuition humaine. Pour y parvenir, nous présentons Meta-TTL, un cadre qui formule la découverte de politiques d'adaptation efficaces comme un problème d'optimisation bi-niveaux. Dans ce cadre, la boucle interne exécute le processus TTL standard, mesurant dans quelle mesure une politique d'adaptation candidate aide un agent à corriger les erreurs sur une séquence d'épisodes. Guidée par les performances de l'agent, la boucle externe utilise une recherche évolutive sur une distribution diversifiée de tâches d'entraînement pour affiner itérativement la politique d'adaptation. Nous évaluons Meta-TTL sur Jericho et WebArena-Lite dans des contextes de distribution interne (ID) et externe (OOD), en utilisant plusieurs architectures méta-agents. Les résultats sur les deux benchmarks montrent que Meta-TTL surpasse systématiquement les lignes de base artisanales, suggérant que la politique d'adaptation optimisée encode des stratégies transférables qui généralisent au-delà de la distribution des tâches d'entraînement.
Les agents de recherche approfondie (DRA) intègrent le raisonnement des grands modèles de langage (LLM) avec des outils externes. Les systèmes de mémoire permettent aux DRA d'exploiter les expériences historiques, essentielles pour un raisonnement efficace et une évolution autonome. Les méthodes existantes reposent sur la récupération de trajectoires similaires en mémoire pour aider au raisonnement, mais souffrent de limitations importantes : une évolution mémoire inefficace et des coûts de stockage et de récupération croissants. Pour résoudre ces problèmes, nous proposons un nouveau cadre d'Agent à Mémoire Intelligente (MIA), basé sur une architecture Manager-Planner-Executor. Le Gestionnaire de Mémoire est un système de mémoire non paramétrique capable de stocker des trajectoires de recherche historiques compressées. Le Planificateur est un agent de mémoire paramétrique qui génère des plans de recherche pour les questions. L'Exécuteur est un autre agent qui recherche et analyse des informations guidé par le plan de recherche. Pour construire le cadre MIA, nous adoptons d'abord un paradigme d'apprentissage par renforcement alterné pour renforcer la coopération entre le Planificateur et l'Exécuteur. De plus, nous permettons au Planificateur d'évoluer continuellement pendant l'apprentissage en phase de test, avec des mises à jour effectuées en temps réel parallèlement à l'inférence sans interrompre le processus de raisonnement. Par ailleurs, nous établissons une boucle de conversion bidirectionnelle entre les mémoires paramétriques et non paramétriques pour réaliser une évolution mémoire efficace. Enfin, nous intégrons un mécanisme de réflexion et un mécanisme de jugement non supervisé pour stimuler le raisonnement et l'auto-évolution dans un environnement ouvert. Des expériences approfondies sur onze benchmarks démontrent la supériorité de MIA.
Les progrès récents des modèles vision-langage (VLM) ont considérablement repoussé les limites des systèmes de question-réponse visuelle (VQA). Cependant, les détails haute résolution peuvent parfois devenir un bruit induisant des hallucinations ou des erreurs de raisonnement. Dans cet article, nous proposons l'incitation pilotée par la dégradation (DDP), un nouveau cadre qui améliore les performances en VQA en réduisant stratégiquement la fidélité des images pour forcer les modèles à se concentrer sur l'information structurelle essentielle. Nous évaluons DDP sur deux tâches distinctes. Les attributs physiques ciblent les images sujettes aux erreurs de jugement humain, où DDP utilise une combinaison de sous-échantillonnage à 80 %, d'aides visuelles structurelles (masques à fond blanc et lignes orthométriques) et d'apprentissage en contexte (ICL) pour recalibrer le focus du modèle. Les phénomènes perceptuels abordent diverses anomalies visuelles et illusions auxquelles les machines sont sensibles, incluant les anomalies visuelles (VA), les illusions de couleur (CI), de mouvement (MI), Gestalt (GI), géométriques (GSI) et les illusions visuelles (VI). Pour cette tâche, DDP intègre une étape de classification des tâches avec des outils spécialisés tels que des masques de flou et l'amélioration du contraste, conjointement au sous-échantillonnage. Nos résultats expérimentaux démontrent que moins est plus : en dégradant intentionnellement les entrées visuelles et en fournissant des incitations structurelles ciblées, DDP permet aux VLM de contourner les textures distractives et d'atteindre une précision de raisonnement supérieure sur des benchmarks visuels exigeants.
Les progrès récents des modèles fondamentaux vidéo (VFMs) ont révolutionné la synthèse vidéo centrée sur l'humain, mais l'édition fine et indépendante des sujets et des scènes reste un défi majeur. Les tentatives récentes d'intégrer un contrôle environnemental plus riche via des compositions géométriques 3D rigides se heurtent souvent à un compromis marqué entre contrôle précis et flexibilité générative. De plus, le lourd prétraitement 3D limite encore l'évolutivité pratique. Dans cet article, nous proposons ONE-SHOT, un framework efficace en paramètres pour la génération vidéo compositionnelle humain-environnement. Notre idée clé est de factoriser le processus génératif en signaux désentrelacés. Plus précisément, nous introduisons un mécanisme d'injection dans l'espace canonique qui découple la dynamique humaine des indices environnementaux via une attention croisée. Nous proposons également Dynamic-Grounded-RoPE, une nouvelle stratégie d'encodage positionnel qui établit des correspondances spatiales entre des domaines spatiaux disparates sans alignements 3D heuristiques. Pour supporter la synthèse à long horizon, nous introduisons un mécanisme d'intégration contextuelle hybride pour maintenir la cohérence du sujet et de la scène sur des générations de durée minute. Les expériences démontrent que notre méthode surpasse significativement l'état de l'art, offrant un contrôle structurel supérieur et une diversité créative pour la synthèse vidéo. Notre projet est disponible sur : https://martayang.github.io/ONE-SHOT/.
La dégradation d'image due au flou, au bruit, à la compression et à un éclairage médiocre compromet gravement la compréhension multimodale dans des conditions réelles. Les modèles multimodaux unifiés, qui combinent compréhension et génération au sein d'une architecture unique, sont naturellement adaptés à ce défi, car leur voie générative peut modéliser la structure visuelle fine que la dégradation détruit. Pourtant, ces modèles ne parviennent pas à exploiter leur propre capacité générative sur des entrées dégradées. Nous attribuons cette déconnexion à deux facteurs qui se cumulent : les régimes d'entraînement existants ne demandent jamais au modèle d'invoquer la génération durant le raisonnement, et la voie standard de décodage-réencodage ne permet pas une optimisation conjointe efficace. Nous présentons CLEAR, un cadre qui connecte les deux capacités via trois étapes progressives : (1) un affinage supervisé sur un jeu de données sensible à la dégradation pour établir le schéma de raisonnement générer-puis-répondre ; (2) un Pont de Représentation Latente qui remplace le détour par décodage-réencodage par une connexion directe et optimisable entre la génération et le raisonnement ; (3) le GRPO Entrelacé, une méthode d'apprentissage par renforcement qui optimise conjointement le raisonnement textuel et la génération visuelle avec des récompenses basées sur l'exactitude des réponses. Nous construisons MMD-Bench, couvrant trois niveaux de sévérité de dégradation sur six benchmarks multimodaux standards. Les expériences montrent que CLEAR améliore substantiellement la robustesse sur les entrées dégradées tout en préservant les performances sur images propres. Notre analyse révèle en outre que supprimer la supervision par reconstruction au niveau pixel conduit à des états visuels intermédiaires de meilleure qualité perceptuelle, suggérant que l'optimisation guidée par la tâche et la qualité visuelle sont naturellement alignées.
Nous présentons AvatarPointillist, une nouvelle méthode pour générer des avatars dynamiques en 4D à partir d'une seule image portrait, basée sur des Gaussiennes. Le cœur de notre approche est un Transformer décodeur-seul qui génère de manière autoregressive un nuage de points pour la technique de *Gaussian Splatting* 3D. Cette approche séquentielle permet une construction précise et adaptative, ajustant dynamiquement la densité des points et leur nombre total en fonction de la complexité du sujet. Durant la génération des points, le modèle AR prédit conjointement les informations de *binding* par point, permettant une animation réaliste. Après la génération, un décodeur Gaussien dédié convertit les points en attributs Gaussiens complets et rendus. Nous démontrons que conditionner le décodeur sur les caractéristiques latentes du générateur AR permet une interaction efficace entre les étapes et améliore notablement la fidélité. Des expériences approfondies valident qu'AvatarPointillist produit des avatars de haute qualité, photoréalistes et contrôlables. Nous pensons que cette formulation autoregressive représente un nouveau paradigme pour la génération d'avatars, et nous publierons notre code pour inspirer les recherches futures.
Alors que les agents de modèles linguistiques évoluent au-delà des tâches de génie logiciel (GL) vers le génie du machine learning (GML), la vérification du comportement des agents devient plusieurs ordres de grandeur plus coûteuse : si les tâches de GL peuvent être vérifiées via des tests unitaires à exécution rapide, la vérification en GML nécessite d'exécuter des pipelines ML complets — prétraitement des données, entraînement du modèle et évaluation des métriques — sur de grands jeux de données à chaque étape de déploiement, ce qui rend l'apprentissage par renforcement (RL) *on-policy* trajectoriel prohibitivement lent. Les approches existantes se replient sur le fine-tuning supervisé (SFT) ou des récompenses proxy hors-ligne, sacrifiant ainsi les bénéfices en exploration et généralisation du RL *on-policy*. Nous observons que la taille des données en environnement sandbox est la source principale de ce goulot d'étranglement. Forts de ce constat, nous présentons SandMLE, un framework multi-agents qui génère des environnements synthétiques GML diversifiés et vérifiables à partir d'un petit nombre de tâches de base, préservant la complexité structurelle et technique des problèmes du monde réel tout en limitant les jeux de données à une échelle micro (chaque tâche n'est associée qu'à 50-200 échantillons d'entraînement). Grâce à des expériences poussées, nous montrons que SandMLE réduit le temps d'exécution de plus de 13 fois, permettant pour la première fois dans le domaine du GML un RL *on-policy* trajectoriel à grande échelle. Sur MLE-bench-lite, SandMLE apporte des gains significatifs par rapport aux lignes de base SFT pour les modèles Qwen3-8B, 14B et 30B-A3B, avec des améliorations relatives du taux de médailles comprises entre 20,3 % et 66,9 %. De plus, la politique entraînée généralise à travers des scaffolds agentiques non vus, atteignant un score HumanRank jusqu'à 32,4 % supérieur sur MLE-Dojo.
Les systèmes d'IA agentiques exécutent de plus en plus d'actions conséquentes au nom de mandants humains, en déléguant des tâches via des chaînes multi-étapes d'agents autonomes. Aucune norme existante ne comble un déficit fondamental de responsabilité : vérifier que les actions terminales d'une chaîne de délégation ont été légitimement autorisées par un mandant humain, via quelle chaîne de délégation, et dans quel cadre. Cet article présente le protocole HDP (Human Delegation Provenance), un mécanisme léger basé sur des jetons qui capture et vérifie cryptographiquement le contexte d'autorisation humaine dans les systèmes multi-agents. Un jeton HDP lie un événement d'autorisation humaine à une session, enregistre chaque action de délégation d'un agent comme un saut signé dans une chaîne en ajout seul, et permet à tout participant de vérifier l'intégralité du registre de provenance en utilisant uniquement la clé publique Ed25519 de l'émetteur et l'identifiant de session actuel. La vérification est entièrement hors ligne, ne nécessitant ni consultation de registre ni ancres de confiance tierces. Nous situons HDP dans le paysage existant des protocoles de délégation, identifions son positionnement distinct par rapport à OAuth 2.0 Token Exchange (RFC 8693), aux JSON Web Tokens (RFC 7519), à UCAN et au Intent Provenance Protocol (draft-haberkamp-ipp-00), et démontrons que les normes existantes ne répondent pas aux exigences des systèmes agentiques en matière de provenance humaine, de sauts multiples et d'ajout seul. HDP a été publié en tant que Internet-Draft de l'IETF (draft-helixar-hdp-agentic-delegation-00) et une SDK de référence en TypeScript est publiquement disponible.
Les modèles de fondation pour la biologie et la physique optimisent la précision prédictive, mais leurs représentations internes échouent systématiquement à préserver la géométrie continue des systèmes qu'ils modélisent. Nous identifions la cause fondamentale : la Taxe d'Alignement Géométrique, un coût intrinsèque lié au forçage de variétés continues à travers des goulots d'étranglement catégoriels discrets. Des ablations contrôlées sur des systèmes dynamiques synthétiques démontrent que le remplacement de l'entropie croisée par une tête continue sur un encodeur identique réduit la distorsion géométrique jusqu'à 8,5 fois, tandis que les codebooks appris présentent une double contrainte non monotone où une quantification plus fine dégrade la géométrie malgré une amélioration de la reconstruction. Sous des objectifs continus, trois architectures diffèrent d'un facteur 1,3 ; sous une tokenisation discrète, elles divergent d'un facteur 3 000. En évaluant 14 modèles de fondation biologiques avec la théorie rate-distortion et MINE, nous identifions trois régimes d'échec : le Découplage Local-Global, la Compression Représentationnelle et la Vacuité Géométrique. Une expérience contrôlée confirme que la robustesse en reverse-complement d'Evo 2 sur de l'ADN réel reflète une composition de séquence conservée, et non une symétrie apprise. Aucun modèle n'atteint simultanément une faible distorsion, une information mutuelle élevée et une cohérence globale.
La reconnaissance à longue traîne a bénéficié des modèles de fondation et des paradigmes de fine-tuning, mais les études et benchmarks existants se limitent principalement aux domaines d'images naturelles, où les données de pré-entraînement et de fine-tuning partagent des distributions similaires. En revanche, les images scientifiques présentent des caractéristiques visuelles et des signaux de supervision distincts, soulevant des questions sur l'efficacité du fine-tuning des modèles de fondation dans de tels contextes. Dans ce travail, nous étudions la reconnaissance scientifique à longue traîne sous un paradigme purement visuel et de fine-tuning efficace en paramètres (PEFT). Les expériences sur trois benchmarks scientifiques montrent que le fine-tuning des modèles de fondation apporte des gains limités, et révèlent que les caractéristiques de l'avant-dernière couche jouent un rôle important, particulièrement pour les classes de queue. Motivés par ces observations, nous proposons SciLT, un cadre qui exploite les représentations multi-niveaux grâce à une fusion adaptative des caractéristiques et un apprentissage à double supervision. En utilisant conjointement les caractéristiques de l'avant-dernière couche et de la couche finale, SciLT atteint des performances équilibrées entre les classes de tête et de queue. Des expériences approfondies démontrent que SciLT surpasse constamment les méthodes existantes, établissant une base solide et pratique pour la reconnaissance scientifique à longue traîne et fournissant des indications précieuses pour l'adaptation des modèles de fondation aux données scientifiques présentant d'importants décalages de domaine.
Transformer les modèles génératifs de langage causaux en encodeurs bidirectionnels offre une alternative puissante aux architectures de type BERT. Cependant, les approches actuelles restent limitées : elles manquent de consensus sur les objectifs d'entraînement optimaux, souffrent d'oubli catastrophique à grande échelle et échouent à intégrer de manière flexible le vaste écosystème de modèles génératifs spécialisés. Dans ce travail, grâce à des ablations systématiques sur les familles Gemma3 et Qwen3, nous identifions les facteurs clés déterminant une adaptation réussie, en soulignant le rôle crucial d'une phase de masquage préalable souvent omise. Pour mettre à l'échelle ce processus sans les données de pré-entraînement originales, nous introduisons une stratégie duale combinant la fusion linéaire de poids avec un mélange léger de données multi-domaines qui atténue l'oubli catastrophique. Enfin, nous enrichissons nos encodeurs en les fusionnant avec des modèles causaux spécialisés, transférant ainsi de manière transparente des capacités spécifiques aux modalités et domaines. Cette recette open-source, conçue pour tout LLM décodeur causal, produit BidirLM, une famille de cinq encodeurs qui surpassent les alternatives sur des benchmarks de représentation pour le texte, la vision et l'audio.
Le rythme accéléré des publications scientifiques rend de plus en plus difficile pour les chercheurs de se tenir au courant. Nous présentons Paper Espresso, une plateforme open-source qui découvre, résume et analyse automatiquement les articles arXiv tendances. Le système utilise des grands modèles de langage (LLM) pour générer des résumés structurés avec des labels thématiques et des mots-clés, et fournit une analyse des tendances à granularité multiple (quotidienne, hebdomadaire et mensuelle) via une consolidation thématique pilotée par LLM. Après plus de 35 mois de déploiement continu, Paper Espresso a traité plus de 13 300 articles et a rendu publiques toutes les métadonnées structurées, révélant une dynamique riche du paysage de la recherche en IA : un pic mi-2025 sur l'apprentissage par renforcement pour le raisonnement des LLM, une émergence thématique non saturante (6 673 sujets uniques), et une corrélation positive entre la nouveauté des sujets et l'engagement communautaire (2,0x de votes positifs médians pour les articles les plus novateurs). Une démonstration en direct est disponible à l'adresse https://huggingface.co/spaces/Elfsong/Paper_Espresso.
L'évolution rapide de l'intelligence artificielle autonome et agentique au sein des services financiers a introduit une crise architecturale existentielle : les grands modèles de langage (LLM) sont des systèmes probabilistes et non déterministes opérant dans des domaines qui exigent des garanties de conformité absolues et mathématiquement vérifiables. Les solutions de garde-fou existantes — incluant NVIDIA NeMo Guardrails et Guardrails AI — reposent sur des classificateurs probabilistes et des validateurs syntaxiques qui sont fondamentalement inadéquats pour faire respecter les contraintes réglementaires complexes à multiples variables imposées par la SEC, la FINRA et l'OCC. Cet article présente le Protocole Lean-Agent, une plateforme de garde-fou pour l'IA basée sur la vérification formelle, qui exploite le modèle neuro-symbolique Aristotle développé par Harmonic AI pour auto-formaliser les politiques institutionnelles en code Lean 4. Chaque action agentique proposée est traitée comme une conjecture mathématique : l'exécution est autorisée si et seulement si le noyau Lean 4 prouve que l'action satisfait des axiomes réglementaires pré-compilés. Cette architecture offre une certitude de conformité de niveau cryptographique avec une latence de l'ordre de la microseconde, satisfaisant directement la Règle 15c3-5 de la SEC, le Bulletin 2011-12 de l'OCC, la Règle 3110 de la FINRA et les mandats d'explicabilité du CFPB. Une feuille de route de mise en œuvre en trois phases, allant de la vérification en shadow jusqu'au déploiement à l'échelle de l'entreprise, est fournie.
Les grands modèles de langage (LLM) peuvent composer de la poésie, mais à quelle distance se trouvent-ils des poètes humains ? Dans cet article, nous présentons POEMetric, le premier cadre complet d'évaluation poétique, examinant 1) les capacités fondamentales à suivre des instructions pour générer des poèmes selon une forme et un thème donnés, 2) les capacités avancées à faire preuve de créativité, de diversité lexicale et d'idiosyncrasie, à évoquer une résonance émotionnelle, et à utiliser des images et des procédés littéraires, et 3) l'évaluation générale de la qualité globale du poème et l'estimation de la paternité. Nous avons constitué un jeu de données de poèmes humains – 203 poèmes anglais de 7 formes fixes annotées avec leur mètre, schémas de rimes et thèmes – et expérimenté avec 30 LLM pour la génération poétique basée sur les mêmes formes et thèmes que les données humaines, totalisant 6 090 poèmes de LLM. Sur la base de POEMetric, nous avons évalué les performances des poètes humains et des LLM via une évaluation basée sur des règles et une approche LLM-comme-juge, dont les résultats ont été validés par des experts humains. Les résultats montrent que, bien que le meilleur modèle ait atteint une haute précision formelle (4,26 sur 5,00, avec Gemini-2.5-Pro comme juge ; idem ci-après) et un alignement thématique élevé (4,99), tous les modèles ont échoué à atteindre le même niveau de capacités avancées que les poètes humains, qui ont démontré une créativité (4,02), une idiosyncrasie (3,95), une résonance émotionnelle (4,06) et une maîtrise de l'imagerie (4,49) et des procédés littéraires (4,67) inégalées. Les humains ont également surpassé le LLM le plus performant en qualité poétique globale (4,22 contre 3,20). Ainsi, la génération poétique reste un défi formidable pour les LLM. Les données et codes sont disponibles à l'adresse https://github.com/Bingru-Li/POEMetric.
L'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) a amélioré les capacités de raisonnement des LLM, mais une limitation fondamentale persiste : les modèles ne peuvent pas apprendre à partir de problèmes trop difficiles à résoudre avec leur politique actuelle, car ceux-ci ne génèrent aucun signal de récompense significatif. Nous proposons une solution simple mais efficace basée sur la reformulation des tâches. Nous transformons les problèmes ouverts difficiles en des variantes cognitivement plus simples – telles que les formats à choix multiples et à trous – qui préservent la réponse originale tout en réduisant l'espace de recherche effectif et en fournissant des signaux d'apprentissage plus denses. Ces reformulations couvrent un spectre allant des tâches discriminatives aux tâches génératives, que nous exploitons pour amorcer l'apprentissage : les modèles apprennent d'abord à partir de formats structurés et plus faciles, et ces connaissances se transfèrent ensuite pour améliorer les performances sur les problèmes ouverts originaux. Forts de cette idée, nous introduisons Cog-DRIFT, un cadre qui construit des variantes reformulées et les organise en un curriculum adaptatif basé sur la difficulté. L'entraînement progresse des formats plus faciles vers les plus difficiles, permettant au modèle d'apprendre à partir de problèmes qui auparavant ne généraient aucun signal sous l'apprentissage par renforcement post-entraînement standard. Cog-DRIFT amène non seulement une amélioration sur les problèmes difficiles initialement insolubles (absolue +10,11 % pour Qwen et +8,64 % pour Llama) mais généralise également bien à d'autres jeux de données de test. Sur 2 modèles et 6 benchmarks de raisonnement, notre méthode surpasse constamment le GRPO standard et des bases de référence solides en exploration guidée. En moyenne, Cog-DRIFT montre des améliorations de +4,72 % (Qwen) et +3,23 % (Llama) par rapport à la deuxième meilleure base de référence. Nous montrons en outre que Cog-DRIFT améliore le pass@k au moment du test, et que le curriculum améliore l'efficacité de l'échantillonnage. Globalement, nos résultats soulignent la reformulation de tâches et l'apprentissage curriculum comme un paradigme efficace pour surmonter la barrière de l'exploration dans le post-entraînement des LLM.
Les modèles de grands langages audio-visuels (AVLLM) émergent comme des interfaces unifiées pour la perception multimodale. Nous présentons la première étude d'interprétabilité mécaniste des AVLLM, analysant comment les caractéristiques audio et visuelles évoluent et fusionnent à travers les différentes couches d'un AVLLM pour produire les sorties textuelles finales. Nous constatons que bien que les AVLLM encodent une riche sémantique audio dans les couches intermédiaires, ces capacités échouent largement à émerger dans la génération textuelle finale lorsque l'audio entre en conflit avec la vision. Des analyses par sondage montrent que des informations audio latentes utiles sont présentes, mais que les couches de fusion plus profondes privilégient de manière disproportionnée les représentations visuelles qui tendent à supprimer les indices audio. Nous retraçons ensuite ce déséquilibre jusqu'à l'entraînement : le comportement audio de l'AVLLM correspond fortement à son modèle de base vision-langage, indiquant un alignement supplémentaire limité avec la supervision audio. Nos résultats révèlent un biais modal fondamental dans les AVLLM et fournissent de nouvelles perspectives mécanistes sur la façon dont les LLM multimodaux intègrent l'audio et la vision.
Les systèmes multi-agents de grands modèles de langage (LLM) peuvent évoluer selon deux dimensions distinctes : en augmentant le nombre d'agents et en s'améliorant grâce à l'accumulation d'expérience dans le temps. Bien que des travaux antérieurs aient étudié ces dimensions séparément, leur interaction sous des contraintes de coût réalistes reste peu claire. Dans cet article, nous introduisons une vision conceptuelle de l'évolutivité des systèmes multi-agents qui considère conjointement la taille de l'équipe et la capacité d'apprentissage continu, et nous étudions comment la conception de la mémoire partage cet espace. À cette fin, nous proposons LLMA-Mem, un cadre de mémoire permanente pour les systèmes multi-agents LLM sous des topologies de mémoire flexibles. Nous évaluons LLMA-Mem sur MultiAgentBench dans des environnements de codage, de recherche et de base de données. Empiriquement, LLMA-Mem améliore constamment les performances à long terme par rapport aux lignes de base tout en réduisant les coûts. Notre analyse révèle en outre un paysage d'évolutivité non monotone : des équipes plus importantes ne produisent pas toujours de meilleures performances à long terme, et des équipes plus petites peuvent surpasser des équipes plus grandes lorsque la mémoire soutient mieux la réutilisation de l'expérience. Ces résultats positionnent la conception de la mémoire comme une voie pratique pour faire évoluer les systèmes multi-agents de manière plus efficace et plus efficiente dans le temps.
La pression communicationnelle multi-agent peut-elle extraire des représentations discrètes et compositionnelles de propriétés physiques invisibles à partir de caractéristiques vidéo figées ? Nous démontrons que des agents communiquant via un goulot d'étranglement Gumbel-Softmax avec apprentissage itératif développent des protocoles positionnellement désenchevêtrés pour des propriétés latentes (élasticité, frottement, ratio de masse) sans étiquettes de propriétés ni supervision sur la structure des messages. Avec 4 agents, 100 % des 80 amorces convergent vers une compositionnalité quasi parfaite (PosDis=0,999, précision de validation 98,3 %). Les témoins confirment que c'est la structure multi-agent – et non la bande passante ou la couverture temporelle – qui induit cet effet. Une intervention causale révèle une perturbation chirurgicale des propriétés (~15 % de baisse sur la propriété ciblée, <3 % sur les autres). Une comparaison contrôlée des modèles de base révèle que l'a priori perceptuel détermine ce qui est communicable : DINOv2 domine sur la physique de rampe spatialement visible (98,3 % contre 95,1 %), tandis que V-JEPA 2 domine sur la physique de collision purement dynamique (87,4 % contre 77,7 %, d=2,74). Des témoins à échelle comparable (d=3,37) et à nombre d'images comparable (d=6,53) attribuent cet écart entièrement au pré-entraînement natif sur vidéo. Le protocole figé prend en charge une planification conditionnée par l'action (91,5 %) avec un raisonnement contrefactuel sur la vitesse (r=0,780). La validation sur des séquences réelles de Physics 101 confirme une précision de 85,6 % pour la comparaison des masses sur des objets non vus, les dynamiques temporelles contribuant à +11,2 % au-delà de l'apparence statique, la compositionnalité par mise à l'échelle des agents se répliquant à 90 % pour 4 agents, et l'intervention causale s'étendant à la vidéo réelle (d=1,87, p=0,022).
Les modèles de langage à diffusion (dLLM) permettent théoriquement un décodage des tokens dans un ordre arbitraire, une flexibilité qui pourrait permettre une exploration plus riche des chemins de raisonnement que les LLM autogressifs (AR). En pratique, cependant, le décodage aléatoire nuit souvent à la qualité de la génération. Pour y remédier, le remasquage des tokens peu confiants améliore la qualité sur un seul échantillon (par exemple, Pass@1) en priorisant les tokens pour lesquels le modèle est confiant, mais il supprime également l'exploration et limite les gains sur plusieurs échantillons (par exemple, Pass@k), créant un dilemme fondamental entre qualité et exploration. Dans cet article, nous proposons une explication unifiée de ce dilemme. Nous montrons que le remasquage peu confiant améliore un indicateur de qualité myope tout en restreignant de manière prouvée l'entropie de la distribution de séquences induite. Pour surmonter cette limitation, nous caractérisons la distribution optimale qui équilibre explicitement la qualité et l'exploration, et nous développons un échantillonneur simple de type Independent Metropolis–Hastings qui cible approximativement cette distribution pendant le décodage. Les expériences sur une série de benchmarks de raisonnement, incluant MATH500, AIME24/25, HumanEval et MBPP, montrent que notre approche offre un meilleur compromis exploration-qualité que le remasquage aléatoire et le remasquage peu confiant.