Articles du Jour

Nous présentons Qwen-Image-2.0, un modèle fondateur de génération d'images polyvalent qui unifie la génération haute fidélité et l'édition précise d'images dans un cadre unique. Malgré les progrès récents, les modèles existants peinent encore avec le rendu de texte ultra-long, la typographie multilingue, le photoréalisme haute résolution, le suivi robuste des instructions et le déploiement efficace, en particulier dans les scénarios riches en texte et compositionnellement complexes. Qwen-Image-2.0 relève ces défis en couplant Qwen3-VL comme encodeur de condition avec un Transformeur de Diffusion Multimodal pour la modélisation conjointe condition-cible, soutenu par une curation de données à grande échelle et un pipeline d'entraînement multi-étapes personnalisé. Cela permet une compréhension multimodale solide tout en préservant des capacités de génération et d'édition flexibles. Le modèle prend en charge des instructions allant jusqu'à 1 000 tokens pour générer du contenu riche en texte comme des diapositives, des affiches, des infographies et des bandes dessinées, tout en améliorant significativement la fidélité du texte multilingue et la typographie. Il améliore également la génération photoréaliste avec des détails plus riches, des textures plus réalistes et un éclairage cohérent, et suit plus fidèlement des instructions complexes à travers divers styles. Des évaluations humaines approfondies montrent que Qwen-Image-2.0 surpasse largement les modèles Qwen-Image précédents en génération et en édition, marquant une avancée vers des modèles fondateurs de génération d'images plus généraux, fiables et pratiques.

Suite à la récente obtention de performances de niveau médaille d'or aux Olympiades Internationales de Mathématiques (OIM) par les LLMs de pointe, la communauté est à la recherche du prochain objectif significatif et ambitieux pour mesurer le raisonnement des LLMs. Alors que les problèmes de type olympiade ne mesurent que le raisonnement pas à pas, les problèmes de niveau recherche utilisent un tel raisonnement pour repousser les frontières de la connaissance mathématique elle-même, apparaissant ainsi comme une alternative prometteuse. Pourtant, les référentiels mathématiques de niveau recherche restent rares, car ces problèmes sont difficiles à obtenir (par exemple, Riemann Bench et FrontierMath-Tier 4 contiennent respectivement 25 et 50 problèmes). Afin de soutenir une évaluation fiable des modèles de pointe de nouvelle génération, nous présentons Soohak, un référentiel de 439 problèmes rédigés ex nihilo par 64 mathématiciens. Soohak comprend deux sous-ensembles. Sur le sous-ensemble Challenge, les modèles de pointe, dont Gemini-3-Pro, GPT-5 et Claude-Opus-4.5, atteignent respectivement 30,4 %, 26,4 % et 10,4 %, laissant une marge de progression substantielle, tandis que les principaux modèles à poids ouverts, tels que Qwen3-235B, GPT-OSS-120B et Kimi-2.5, restent sous les 15 %. Fait notable, au-delà de la résolution standard de problèmes, Soohak introduit un sous-ensemble Refus qui sonde une capacité intrinsèque aux mathématiques de recherche : reconnaître les problèmes mal posés et s'abstenir plutôt que de produire des réponses confiantes mais injustifiées. Sur ce sous-ensemble, aucun modèle ne dépasse les 50 %, ce qui fait du refus une nouvelle cible d'optimisation que les modèles actuels ne traitent pas directement. Afin de prévenir la contamination, l'ensemble de données sera rendu public fin 2026, les évaluations des modèles étant disponibles sur demande dans l'intervalle.

Les récentes approches de type « Thinking with Video » utilisent des Modèles de Génération Vidéo (VGM) pour le raisonnement visuel en produisant des Chaînes d'Images temporellement cohérentes comme artefacts de raisonnement. Cependant, même les VGM performants présentent deux modes d'échec récurrents sur des tâches orientées vers un objectif : une dérive à long terme sur les tâches multi-étapes et des erreurs de simulation en milieu de séquence qui se cumulent. Ces deux problèmes découlent de l'absence d'un raisonnement explicite construit sur le prior visuel à court horizon du VGM, un rôle naturellement rempli par les Modèles de Langage Visuel (VLM), mais où placer le VLM n'est pas trivial : les plans préalables s'engagent avant la génération d'images, et les critiques a posteriori de vidéos entières interviennent trop tard. Nous proposons le Raisonnement Vidéo Collaboratif VLM-VGM (CollabVR), un cadre en boucle fermée qui couple le VLM avec le VGM à une granularité au niveau des étapes : le VLM planifie l'action immédiate suivante, inspecte le segment que le VGM génère, et intègre directement le diagnostic du vérificateur dans la prochaine invite d'action pour corriger les défaillances détectées. Sur Gen-ViRe et VBVR-Bench, CollabVR améliore à la fois les VGM open-source et propriétaires par rapport à l'inférence unique, à Pass@k et aux références antérieures de mise à l'échelle au moment du test, à puissance de calcul égale, avec les plus grands gains sur les tâches les plus difficiles. Il produit également des améliorations supplémentaires au-dessus d'un VGM affiné par raisonnement, indiquant que la supervision au niveau des étapes par le VLM est orthogonale à l'affinage orienté raisonnement et peut être empilée avec ce dernier. Nous fournissons des échantillons vidéo et des résultats qualitatifs supplémentaires sur notre page de projet : https://joow0n-kim.github.io/collabvr-project-page.

Le passage à l'échelle au moment du test est devenu un paradigme efficace pour améliorer la capacité de raisonnement des grands modèles de langage en allouant des calculs supplémentaires lors de l'inférence. Des approches structurées récentes ont encore fait progresser ce paradigme en organisant l'inférence à travers de multiples trajectoires, itérations de raffinement et retours basés sur la vérification. Cependant, les méthodes structurées existantes de passage à l'échelle au moment du test soit coordonnent faiblement les trajectoires de raisonnement parallèles, soit s'appuient sur des informations historiques bruitées sans décider explicitement ce qui doit être conservé et réutilisé, limitant ainsi leur capacité à équilibrer exploration et exploitation. Dans ce travail, nous proposons TMAS, un cadre pour passer à l'échelle le calcul au moment du test via la synergie multi-agents. TMAS organise l'inférence comme un processus collaboratif entre agents spécialisés, permettant un flux d'informations structuré entre agents, trajectoires et itérations de raffinement. Pour soutenir une collaboration efficace entre trajectoires, TMAS introduit des mémoires hiérarchiques : la banque d'expérience réutilise les conclusions intermédiaires fiables de bas niveau et les retours locaux, tandis que la banque de directives enregistre les stratégies de haut niveau déjà explorées pour orienter les déploiements ultérieurs loin des schémas de raisonnement redondants. De plus, nous concevons un schéma d'apprentissage par renforcement à récompense hybride adapté à TMAS, qui préserve conjointement la capacité de raisonnement de base, améliore l'utilisation de l'expérience et encourage l'exploration au-delà des stratégies de solution déjà tentées. Des expériences approfondies sur des benchmarks de raisonnement difficiles démontrent que TMAS atteint un passage à l'échelle itératif plus fort que les bases de référence existantes en matière de passage à l'échelle au moment du test, tandis que l'entraînement par récompense hybride améliore encore l'efficacité et la stabilité du passage à l'échelle à travers les itérations. Le code et les données sont disponibles à l'adresse https://github.com/george-QF/TMAS-code.

Le post-entraînement continu vise à étendre les grands modèles de langage (LLM) avec de nouvelles connaissances, compétences et comportements, mais il reste incertain quand les mises à jour séquentielles permettent le transfert de capacités et quand elles provoquent un oubli catastrophique. Les méthodes existantes atténuent l'oubli par l'ajustement fin séquentiel, le rejeu, la régularisation ou la fusion de modèles, mais offrent des critères limités pour déterminer quand l'incorporation de nouvelles mises à jour est bénéfique ou nuisible. Dans ce travail, nous étudions le post-entraînement continu des LLM à travers trois questions : Qu'est-ce qui motive l'oubli ? Quand les capacités acquises séquentiellement se transfèrent-elles ou interfèrent-elles ? Comment la compatibilité peut-elle être utilisée pour contrôler l'intégration des mises à jour ? Nous abordons ces questions via la géométrie des tâches : nous représentons chaque tâche de post-entraînement par sa mise à jour des paramètres et étudions la géométrie de covariance induite par cette mise à jour. Notre constat central est que l'oubli peut être considéré comme un échec d'intégration de mise à jour relatif à l'état ; il survient lorsque les géométries de covariance induites par les tâches ne s'alignent pas avec la géométrie de l'état évolutif du modèle. Les mises à jour séquentielles se transfèrent lorsqu'elles restent compatibles avec l'état du modèle façonné par les mises à jour précédentes, et interfèrent lorsque le conflit géométrique relatif à l'état devient élevé. Motivés par cette observation, nous proposons la Fusion de Wasserstein par Conflit Géométrique (GCWM), une méthode d'intégration de mise à jour sans données qui construit une métrique de Wasserstein partagée via des barycentres gaussiens de Wasserstein et utilise le conflit géométrique pour déclencher une correction sensible à la géométrie. Sur des modèles Qwen3 0,6B–14B dans des paramètres continus par domaine et par capacité, GCWM surpasse systématiquement les méthodes de référence sans données, améliorant la rétention et la performance finale sans données de rejeu. Ces résultats identifient le conflit géométrique à la fois comme un signal explicatif de l'oubli et comme un signal de contrôle pratique pour le post-entraînement continu des LLM.

Nous étudions les lois d'échelle empiriques pour la fusion de modèles de langage mesurée par l'entropie croisée. Malgré son usage pratique répandu, la fusion manque d'une règle quantitative prédisant les gains à mesure que l'on ajoute des experts ou que l'on augmente la taille du modèle. Nous identifions une loi de puissance compacte reliant la taille du modèle et le nombre d'experts : le plancher dépendant de la taille diminue avec la capacité du modèle, tandis que la queue de la fusion présente des rendements décroissants nets en fonction du nombre d'experts. La loi se vérifie intra-domaine et inter-domaines, s'ajuste étroitement aux courbes mesurées pour diverses architectures et méthodes (Average, TA, TIES, DARE), et explique deux régularités robustes : la majorité des gains surviennent tôt, et la variabilité diminue à mesure que l'on inclut davantage d'experts. À partir de là, nous présentons une théorie simple qui explique pourquoi les gains décroissent approximativement en 1/k et relie le plancher et la queue aux propriétés du modèle de base et à la diversité entre les domaines. Cette loi permet une planification prédictive : estimer combien d'experts sont nécessaires pour atteindre une perte cible, décider quand cesser d'ajouter des experts, et arbitrer entre l'augmentation de la taille du modèle de base et l'ajout d'experts sous un budget fixe—transformant ainsi la fusion d'une pratique heuristique en une alternative efficace sur le plan computationnel et planifiable à l'entraînement multitâche. Cela suggère un principe d'échelle pour l'IA générative distribuée : des gains prévisibles peuvent être obtenus en composant des spécialistes, offrant une voie complémentaire vers des systèmes de niveau IAG.

Un manuscrit LaTeX qui se compile sans erreur n’est pas nécessairement prêt pour la publication. Les PDF qui en résultent souffrent fréquemment de flottants mal placés, d’équations débordantes, d’un dimensionnement incohérent des tableaux, de lignes veuves et orphelines, ainsi que d’un mauvais équilibre des pages, ce qui oblige les auteurs à répéter des cycles de compilation, inspection et correction. Les outils fondés sur des règles sont aveugles au rendu visuel et n’opèrent que sur le code source et les fichiers journaux. Les LLMs textuels effectuent une édition en boucle ouverte, incapables de prédire ou de vérifier les conséquences de leurs modifications sur la mise en page bidimensionnelle. L’optimisation fiable de la composition typographique nécessite donc une boucle visuelle fermée avec une vérification après chaque modification. Nous formalisons ce problème sous le nom d’Optimisation Visuelle de la Composition Typographique (VTO), définie comme la tâche consistant à transformer un article LaTeX compilable en un PDF visuellement poli et respectant le budget de pages, par un processus itératif de vérification visuelle et de révision du code source. Nous introduisons une taxonomie en cinq catégories des défauts de composition pour guider le diagnostic. Nous présentons PaperFit, un agent à vision en boucle qui rend les pages de manière itérative, diagnostique les défauts et applique des corrections contraintes. Pour évaluer la VTO, nous construisons PaperFit-Bench, comprenant 200 articles couvrant 10 gabarits de conférence et 13 types de défauts de difficulté variable. Des expériences approfondies montrent que PaperFit surpasse largement toutes les méthodes de référence, établissant que combler le fossé entre une source compilable et un PDF prêt pour la publication nécessite une optimisation à vision en boucle, et que la VTO constitue une étape critique manquante dans la chaîne d’automatisation documentaire.

Les systèmes de génération vidéo commerciaux tels que Seedance 2.0 et Veo 3.1 ont connu des améliorations rapides, renforçant l'idée que les générateurs vidéo pourraient évoluer vers des « simulateurs du monde ». Pourtant, la communauté manque encore d'un benchmark qui teste directement si un modèle peut raisonner sur la manière dont un monde observé devrait évoluer dans le temps. Nous introduisons WorldReasonBench, qui reformule l'évaluation de la génération vidéo comme une prédiction d'état du monde : étant donné un état initial et une action, le modèle peut-il générer une vidéo future dont l'évolution de l'état reste cohérente sur les plans physique, social, logique et informationnel ? WorldReasonBench contient 436 cas de test soigneusement sélectionnés avec des annotations structurées de questions-réponses de vérité terrain couvrant quatre dimensions de raisonnement et 22 sous-catégories. Nous évaluons les vidéos générées à l'aide d'une méthodologie en deux parties alignée sur les jugements humains : la Vérification du raisonnement tenant compte du processus utilise des questions-réponses structurées et des diagnostics de phase de raisonnement pour détecter les échecs temporels et causaux, tandis que l'Évaluation multidimensionnelle de la qualité note la qualité du raisonnement, la cohérence temporelle et l'esthétique visuelle pour le classement et la modélisation par récompense. Nous introduisons également WorldRewardBench, un benchmark de préférences comprenant environ 6 000 paires annotées par des experts sur 1 400 vidéos, prenant en charge l'évaluation de modèles de récompense par paires et par points. Sur l'ensemble des générateurs vidéo modernes, nos résultats révèlent un écart persistant entre la plausibilité visuelle et le raisonnement sur le monde : les vidéos peuvent sembler convaincantes tout en échouant sur la dynamique, la causalité ou la préservation de l'information. Nous publierons nos benchmarks et notre boîte à outils d'évaluation pour soutenir la recherche communautaire sur la génération vidéo véritablement consciente du monde à l'adresse https://github.com/UniX-AI-Lab/WorldReasonBench/.

La capacité à suivre des instructions est une compétence fondamentale des grands modèles de langage (LLMs), mais son amélioration continue reste un défi. Les méthodes existantes reposent généralement soit sur une supervision externe coûteuse, provenant d'humains ou de modèles enseignants performants, soit sur un apprentissage par auto-jeu avec des instructions de difficulté statique, incapables d'évoluer parallèlement aux capacités du modèle. Pour pallier ces limitations, nous proposons SEIF (Self-Evolving Reinforcement Learning for Instruction Following), un cadre d'auto-évolution visant à renforcer la capacité des LLMs à suivre des instructions. SEIF forme une boucle d'auto-évolution fermée où l'amélioration de la capacité à suivre des instructions et l'évolution de la difficulté des instructions se renforcent mutuellement. SEIF comprend quatre rôles : un Instructeur qui génère des instructions de difficulté croissante, un Filtre qui élimine les instructions conflictuelles ou invalides pour garantir la qualité des données, un Suiveur qui apprend à suivre les instructions évoluées, et un Juge qui fournit des signaux de récompense pour l'apprentissage par renforcement. L'Instructeur et le Suiveur sont entraînés en alternance et co-évoluent tout au long du processus. Des expériences menées à plusieurs échelles de modèles et architectures montrent que SEIF améliore systématiquement les performances en matière de suivi d'instructions, ce qui suggère une forte généralité. Des analyses plus approfondies révèlent les sources d'amélioration et identifient une stratégie d'entraînement efficace pour l'auto-évolution sur des tâches ouvertes : un entraînement suffisant en phase précoce pour établir une base solide, suivi d'un entraînement modéré en phase tardive pour atténuer le sur-apprentissage et obtenir de meilleures performances finales. Le code et les données sont disponibles publiquement à l'adresse https://github.com/Rainier-rq1/SEIF.

Les architectures LLM récurrentes sont devenues une approche prometteuse pour améliorer le raisonnement, car elles permettent un calcul multi-étapes dans l'espace de plongement sans générer de jetons intermédiaires. Des modèles tels que Ouro effectuent un raisonnement en mettant à jour itérativement les représentations internes tout en conservant un cache standard de clés-valeurs (KV) à travers les itérations, ce qui entraîne une consommation de mémoire qui croît linéairement avec la profondeur de raisonnement. Par conséquent, augmenter le nombre d'itérations de raisonnement peut conduire à une utilisation prohibitive de la mémoire, limitant ainsi l'évolutivité pratique de telles architectures. Dans ce travail, nous proposons le Transformateur Bouclé à Mémoire Efficace (MELT), une architecture novatrice qui dissocie la profondeur de raisonnement de la consommation de mémoire. Au lieu d'utiliser un cache KV standard par couche et par boucle, MELT maintient un seul cache KV par couche qui est partagé entre les boucles de raisonnement. Ce cache est mis à jour au fil du temps via un mécanisme de portail apprenable. Pour permettre un entraînement stable et efficace sous cette architecture, nous proposons d'entraîner MELT en utilisant un entraînement par blocs dans une procédure en deux phases : transition interpolée, suivie d'une distillation alignée sur l'attention, toutes deux à partir du modèle de départ LoopLM vers MELT. Empiriquement, nous montrons que les modèles MELT affinés à partir des paramètres pré-entraînés d'Ouro surpassent les LLM standard de taille comparable, tout en maintenant une empreinte mémoire comparable à celle de ces modèles et nettement inférieure à celle d'Ouro. Dans l'ensemble, MELT réalise un raisonnement itératif à mémoire constante sans sacrifier les performances de LoopLM, en utilisant seulement une procédure de post-entraînement légère.

Les avancées récentes des modèles génératifs 3D ont rapidement amélioré la qualité de la synthèse image-vers-3D, permettant d'obtenir une géométrie de plus haute résolution et une apparence plus réaliste. Cependant, la fidélité, qui mesure la conformité au niveau pixel de l'actif 3D généré par rapport à l'image d'entrée, reste un obstacle central. Nous soutenons que cela provient d'un problème implicite de correspondance 2D-3D : la plupart des générateurs natifs 3D synthétisent la forme dans un espace canonique et injectent des indices visuels via l'attention, laissant les associations pixel-3D ambiguës. Pour résoudre ce problème, nous nous inspirons de la reconstruction 3D et proposons Pixal3D, un paradigme de génération 3D aligné sur les pixels pour la création d'actifs 3D de haute fidélité à partir d'images. Au lieu de générer dans une pose canonique, Pixal3D génère directement la 3D de manière alignée sur les pixels, en cohérence avec la vue d'entrée. Pour ce faire, nous introduisons un schéma de conditionnement par rétroprojection des pixels qui élève explicitement les caractéristiques d'image multi-échelles en un volume de caractéristiques 3D, établissant une correspondance pixel-3D directe sans ambiguïté. Nous montrons que Pixal3D est non seulement évolutif et capable de produire des actifs 3D de haute qualité, mais améliore également considérablement la fidélité, approchant le niveau de fidélité de la reconstruction. De plus, Pixal3D s'étend naturellement à la génération multi-vues en agrégeant les volumes de caractéristiques rétroprojetés à travers les vues. Enfin, nous montrons que la génération alignée sur les pixels bénéficie à la synthèse de scènes, et présentons un pipeline modulaire qui produit des scènes 3D de haute fidélité avec objets séparés à partir d'images. Pixal3D démontre pour la première fois la génération alignée sur les pixels à grande échelle avec un générateur natif 3D, et offre une nouvelle voie prometteuse vers la génération 3D de haute fidélité d'objets ou de scènes à partir d'images uniques ou multi-vues. Page du projet : https://ldyang694.github.io/projects/pixal3d/

L'alignement des modèles génératifs multimodaux sur les préférences humaines exige des signaux de récompense qui respectent la structure compositionnelle et multidimensionnelle du jugement humain. Les approches RLHF dominantes réduisent cette structure à des étiquettes scalaires ou par paires, effondrant des préférences nuancées en proxies paramétriques opaques et exposant des vulnérabilités au détournement de récompense. Bien que les méthodes récentes de Rubrics-as-Reward (RaR) tentent de retrouver cette structure via des critères explicites, générer des rubriques à la fois fiables, évolutives et économes en données reste un problème ouvert. Nous présentons Auto-Rubric as Reward (ARR), un cadre qui reformule la modélisation des récompenses en passant d'une optimisation implicite des poids à une décomposition explicite fondée sur des critères. Avant toute comparaison par paires, ARR externalise les connaissances de préférence internalisées d'un VLM sous forme de rubriques spécifiques à chaque prompt, traduisant une intention holistique en dimensions de qualité vérifiables indépendamment. Cette conversion de la structure implicite des préférences en contraintes inspectables et interprétables supprime substantiellement les biais d'évaluation, y compris le biais de position, permettant à la fois un déploiement zero-shot et un conditionnement few-shot avec une supervision minimale. Pour étendre ces gains à l'entraînement génératif, nous proposons Rubric Policy Optimization (RPO), qui distille l'évaluation multidimensionnelle structurée d'ARR en une récompense binaire robuste, remplaçant la régression scalaire opaque par des décisions de préférence conditionnées par les rubriques, stabilisant ainsi les gradients de politique. Sur des benchmarks de génération texte-image et d'édition d'images, ARR-RPO surpasse les modèles de récompense par paires et les juges VLM, démontrant que l'externalisation explicite des connaissances de préférence implicites en rubriques structurées permet un alignement multimodal plus fiable et plus économe en données, révélant que le goulot d'étranglement est l'absence d'une interface factorisée, et non un déficit de connaissances.

Inspiré par le développement d'OpenClaw, il existe une demande croissante d'agents personnels mobiles capables de gérer des interactions complexes et intuitives. Dans ce rapport technique, nous présentons X-OmniClaw, un agent mobile unifié conçu pour la compréhension et l'interaction multimodales dans l'écosystème Android. Cette architecture unifiée de perception, de mémoire et d'action permet à l'agent de traiter des tâches mobiles complexes avec une forte conscience contextuelle. Plus précisément, Omni Perception offre un pipeline d'entrée multimodal unifié qui intègre les états de l'interface utilisateur, les contextes visuels du monde réel et les entrées vocales, en exploitant un module d'alignement temporel pour décomposer les données brutes en représentations d'intention multimodales structurées. Omni Memory utilise l'optimisation de la mémoire multimodale pour renforcer l'intelligence personnalisée en intégrant une mémoire de travail d'exécution pour la continuité des tâches avec une mémoire personnelle à long terme distillée à partir de données locales, permettant ainsi des interactions hautement contextuelles et personnalisées. Enfin, Omni Action emploie une stratégie d'ancrage hybride qui combine des métadonnées XML structurelles avec une perception visuelle pour une interaction robuste. Grâce au clonage de comportement et au rejeu de trajectoire, le système capture la navigation de l'utilisateur comme des compétences réutilisables, permettant une exécution précise en accès direct. Les démonstrations dans divers scénarios montrent que X-OmniClaw améliore efficacement l'efficacité des interactions et la fiabilité des tâches, fournissant un modèle architectural pratique pour la prochaine génération d'assistants personnels natifs mobiles.

Nous présentons Key-Value Means (« KVM »), une nouvelle récurrence par blocs pour l'attention qui peut prendre en charge soit un état de taille fixe, soit un état croissant. Équiper un transformer de base robuste de couches d'attention KVM de taille fixe produit un RNN segmenté fort en O(N), tout en n'ajoutant qu'un nombre insignifiant de nouveaux paramètres. Nous entraînons un transformer avec un cache KVM extensible et montrons qu'il obtient des performances compétitives sur des tests de long contexte avec seulement un temps de pré-remplissage sous-quadratique et une croissance d'état sous-linéaire. KVM est implémentable avec des opérations standard et sans noyaux personnalisés, et supporte un entraînement et un pré-remplissage parallélisables par segments. Il offre de nombreux avantages à la fois des transformers traditionnels (mémoire de contexte extensible, entraînement et pré-remplissage parallélisables par segments) et des RNN linéaires dans un seul package unifié. Il peut être utilisé sur chaque couche, économisant la mémoire du cache KV, et permettant une gamme continue de choix de complexité temporelle de pré-remplissage entre O(N) et O(N^2). Il peut également être implémenté dans une solution hybride en tandem avec des couches LRNN en lieu et place de l'attention traditionnelle, pour compléter le LRNN avec une utilisation améliorée de la longueur de contexte à croissance mémoire sous-linéaire et un décodage de long contexte. Nous publions notre code à l'adresse https://github.com/recursal/KVM-paper et les modèles entraînés à l'adresse https://huggingface.co/collections/recursal/key-value-means sous la licence Apache 2.0.

L'encodage visuel constitue un goulot d'étranglement computationnel majeur dans les modèles de langage multimodaux à grande échelle (MLLM), en particulier pour les entrées d'image haute résolution. La pratique courante adopte généralement un encodage global suivi d'une compression post-ViT. L'encodage global produit des séquences massives de tokens, tandis que la compression post-ViT entraîne le coût d'attention quadratique complet du ViT avant toute réduction de tokens. Dans ce travail, nous réexaminons cette convention selon deux dimensions : la stratégie d'encodage et la compression des tokens visuels. Premièrement, des expériences contrôlées montrent que l'encodage par tranches surpasse l'encodage global sur l'ensemble des benchmarks, suggérant que préserver les détails locaux via des vues découpées peut être plus bénéfique que l'application d'une attention globale pour la perception fine. Deuxièmement, nous introduisons une compression précoce intra-ViT, qui réduit les tokens dans les couches superficielles du ViT et diminue considérablement les FLOPs d'encodage visuel tout en préservant les performances en aval. En intégrant la compression intra-ViT dans le cadre d'encodage par tranches, nous présentons LLaVA-UHD v4, un schéma d'encodage visuel efficace et dont la charge de calcul est contrôlable, spécialement conçu pour les entrées haute résolution. Sur un ensemble diversifié de benchmarks couvrant la compréhension de documents, l'OCR et le VQA général, LLaVA-UHD v4 réduit les FLOPs d'encodage visuel de 55,8 % tout en égalant ou dépassant les performances de référence. Ces résultats suggèrent que l'efficacité de l'encodage visuel peut être considérablement améliorée sans sacrifier les performances en aval, offrant une direction de conception pratique pour les MLLM haute résolution efficaces. Tous les poids de modèle et le code seront rendus publics pour soutenir la recherche future.

Les LLM auto-évolutifs excellent dans les domaines vérifiables mais peinent dans les tâches ouvertes, où le recours à des juges LLM proxy introduit des goulots d'étranglement capacitaires et du piratage de récompense. Pour surmonter ce problème, nous présentons G-Zero, un cadre co-évolutif sans vérificateur pour l'auto-amélioration autonome. Notre innovation centrale est Hint-δ, une récompense intrinsèque qui quantifie le décalage prédictif entre la réponse non assistée d'un modèle générateur et sa réponse conditionnée par un indice auto-généré. En utilisant ce signal, un modèle proposeur est entraîné via GRPO à cibler en continu les angles morts du générateur en synthétisant des requêtes difficiles et des indices informatifs. Le générateur est simultanément optimisé via DPO pour internaliser ces améliorations guidées par les indices. Théoriquement, nous prouvons une garantie de sous-optimalité en meilleure itération pour une version idéalisée de G-Zero basée sur DPO standard, à condition que le proposeur induise une couverture d'exploration suffisante et que le filtrage des données maintienne un faible bruit dans les scores des pseudo-étiquettes. En dérivant la supervision entièrement à partir de la dynamique distributionnelle interne, G-Zero contourne les plafonds de capacité des juges externes, offrant une voie scalable et robuste pour l'auto-évolution continue des LLM dans des domaines non vérifiables.

L'auto-distillation est devenue un cadre puissant pour le post-entraînement des grands modèles de langage, où un enseignant conditionné par des informations supplémentaires guide un étudiant qui n'en dispose pas, tous deux issus du même modèle. Bien que ce guidage soit utile lorsque l'étudiant échoue, lors de trajectoires réussies, le même mécanisme écrase au contraire les choix de l'étudiant et supprime son propre raisonnement. Par conséquent, nous proposons de lire le signal original d'auto-distillation en sens inverse : lorsque l'étudiant réussit sur un chemin que l'enseignant n'aurait pas prédit, ces jetons reflètent son raisonnement autonome. Sur cette base, nous proposons RLRT (RLVR avec enseignant inversé), qui augmente GRPO en renforçant ces jetons sur les trajectoires correctes. Nous interprétons cela comme une nouvelle forme d'exploration en RLVR : non pas une diversité uniforme, mais une exploration précieuse ancrée dans le propre succès de l'étudiant. Sur les points de contrôle Qwen3 de base, ajustés par instruction et ajustés par réflexion, RLRT surpasse considérablement les lignes de base fondées sur l'auto-distillation et l'exploration, établissant l'asymétrie d'information comme un nouvel axe de conception fondé sur des principes pour RLVR.

Les agents de grands modèles de langage s'appuient de plus en plus sur des compétences externes pour résoudre des tâches complexes, où ces compétences agissent comme des unités modulaires étendant leurs capacités au-delà de ce que la seule mémoire paramétrique permet. Les méthodes existantes supposent que les compétences externes s'accumulent soit comme un guidage persistant, soit s'intègrent dans la politique, menant finalement à une inférence sans compétence. Nous soutenons que cette hypothèse est trop restrictive, car avec une capacité paramétrique limitée et une contribution marginale inégale entre les compétences, l'ensemble optimal de compétences actives est non monotone, dépendant de la tâche et de l'étape. Dans ce travail, nous proposons SLIM, un cadre de gestion dynamique du cycle de vie des compétences pour l'apprentissage par renforcement (RL) agentique, qui traite l'ensemble des compétences externes actives comme une variable d'optimisation dynamique mise à jour conjointement avec l'apprentissage de la politique. Plus précisément, SLIM estime la contribution marginale externe de chaque compétence active par validation par retrait d'une compétence, puis applique trois opérations de cycle de vie : la conservation des compétences à haute valeur, le retrait des compétences dont la contribution devient négligeable après une exposition suffisante, et l'extension du répertoire de compétences lorsque des échecs persistants révèlent un manque de couverture capacitaire. Les expériences montrent que SLIM surpasse les meilleures références de 7,1 points de pourcentage en moyenne sur ALFWorld et SearchQA. Les résultats indiquent en outre que l'apprentissage de la politique et la rétention de compétences externes ne s'excluent pas mutuellement : certaines compétences sont absorbées dans la politique, tandis que d'autres continuent d'apporter une valeur externe, soutenant SLIM en tant que paradigme plus général pour le RL agentique basé sur les compétences.

La simulation basée sur l'apprentissage de la dynamique rigide multi-objets reste difficile en raison de la discontinuité des contacts et de l'accumulation des erreurs sur de long horizons temporels. La plupart des méthodes existantes restent liées à la connectivité des maillages et à la transmission de messages au niveau des sommets, ce qui limite leur applicabilité à des entrées sans maillage, comme les nuages de points, et entraîne un coût computationnel élevé. Modéliser efficacement une dynamique rigide haute fidélité à partir de représentations sans maillage demeure donc un défi. Nous présentons RigidFormer, un modèle centré sur les objets et basé sur un Transformer, qui apprend la dynamique rigide sans maillage avec des pas d'intégration contrôlables. RigidFormer raisonne au niveau des objets et fait évoluer chaque objet via des ancres compactes ; l'Anchor-Vertex Pooling enrichit ces ancres avec des caractéristiques locales des sommets, préservant ainsi la géométrie pertinente pour les contacts sans nécessiter d'interaction dense au niveau des sommets. Nous proposons l'Anchor-based RoPE pour intégrer la géométrie des ancres dans l'attention tout en respectant la nature non ordonnée des objets et des ancres : le traitement des tokens d'objets est équivariant aux permutations, et le descripteur moyen des ancres est invariant à la réindexation des ancres tout en préservant l'étendue de la forme. RigidFormer renforce également la rigidité en projetant les mises à jour sur la variété des corps rigides à l'aide d'un alignement de Kabsch différentiable. Sur des benchmarks standard, RigidFormer surpasse ou égale les approches basées sur les maillages en utilisant des entrées sous forme de points, s'exécute plus rapidement, généralise à des résolutions de points non vues et à différents jeux de données, et s'adapte à plus de 200 objets ; nous montrons aussi une extension préliminaire à des corps articulés pilotés par commande en traitant les parties du corps comme des composants interactifs au niveau des objets.

L'apprentissage par renforcement (RL) a permis de doter les grands modèles de langage (LLMs) de capacités de raisonnement complexes. Cependant, la plupart des algorithmes de RL souffrent d'une saturation des performances, empêchant des gains continus à mesure que l'entraînement par RL passe à l'échelle. Ce problème peut être caractérisé par l'effondrement de l'entropie, un indicateur clé de l'exploration en RL. Les tentatives existantes se concentrent sur la prévention de l'effondrement de l'entropie par régularisation ou clipping. Toutefois, les courbes d'entropie qui en résultent présentent souvent une instabilité à long terme, ce qui entrave les gains de performance. Dans cet article, nous introduisons Entrocraft, une approche simple d'échantillonnage par rejet qui réalise un planning d'entropie personnalisé par l'utilisateur en biaisant les distributions d'avantage. Entrocraft ne nécessite aucune régularisation objective et est agnostique vis-à-vis de l'estimateur d'avantage. Théoriquement, nous relions le changement d'entropie par étape à la distribution d'avantage sous des hypothèses minimales. Cela explique le comportement des méthodes RL et de préservation de l'entropie existantes. Entrocraft permet également une étude systématique des plannings d'entropie, révélant qu'un recuit linéaire, commençant haut et décroissant vers une cible légèrement plus basse, obtient les meilleures performances. Empiriquement, Entrocraft remédie à la saturation des performances, améliorant significativement la généralisation, la diversité des sorties et l'entraînement à long terme. Il permet à un modèle de 4B de surpasser une référence de 8B, soutient l'amélioration jusqu'à 4 fois plus longtemps avant d'atteindre un plateau, et augmente pass@K de 50 % par rapport à la référence.

Le cache clé-valeur (KV) est un goulot d'étranglement majeur dans l'inférence sur de longs contextes, où la mémoire et le calcul augmentent avec la longueur de la séquence. Les méthodes existantes d'éviction du cache KV réduisent ce coût mais dégradent généralement les performances par rapport à l'inférence avec cache complet. Notre idée clé est que l'attention avec cache complet n'est pas toujours optimale : dans les longs contextes, des tokens non pertinents peuvent diluer l'attention en l'éloignant des preuves utiles ; ainsi, une éviction sélective et apprenable peut améliorer la génération plutôt que de simplement approximer le cache complet. Nous introduisons une méthode d'éviction du cache KV basée sur la rétention globale qui apprend l'utilité future de chaque token sous un budget mémoire unifié. Des portes de rétention légères attribuent des scores d'utilité aux entrées KV mises en cache, et une projection de score finale partagée calibre ces scores à travers toutes les couches et toutes les têtes. Cela permet une politique d'éviction globale unique dans laquelle des tokens de différentes couches, têtes et modalités entrent en compétition directe pour la capacité du cache. Nous fournissons en outre une analyse théorique montrant que la rétention préférentielle des tokens utiles réduit la dilution de l'attention, et nous justifions la rétention géométrique comme un proxy indépendant de la requête pour l'utilité future. À travers divers benchmarks de raisonnement linguistique et vision-langage sur de longs contextes, et de dialogues multi-tours, notre méthode réduit considérablement la mémoire KV tout en égalant ou surpassant l'inférence avec cache complet. Ces résultats suggèrent que l'éviction apprise et globalement calibrée du cache KV n'est pas seulement une technique de compression, mais aussi un mécanisme pour améliorer le raisonnement sur de longs contextes.

Les modèles de diffusion et basés sur les flots sont devenus les approches de facto pour générer des données continues, par exemple dans des domaines tels que les images et les vidéos. Leur succès suscite un intérêt croissant pour leur application à la modélisation du langage. Contrairement à leurs homologues dédiés aux images, les modèles de diffusion pour le langage (DLMs) actuels opèrent principalement avec des jetons discrets. Dans cet article, nous montrons que les DLMs continus peuvent être rendus efficaces avec une adaptation minimale au domaine discret. Nous proposons Embedded Language Flows (ELF), une classe de modèles de diffusion dans un espace d'embedding continu, basée sur le Flow Matching en temps continu. Contrairement aux DLMs existants, ELF reste principalement dans l'espace d'embedding continu jusqu'à la dernière étape temporelle, où il effectue une projection vers des jetons discrets à l'aide d'un réseau à poids partagés. Cette formulation permet d'adapter directement des techniques établies issues des modèles de diffusion pour les images, par exemple la guidance sans classifieur (CFG). Les expériences montrent qu'ELF surpasse nettement les DLMs discrets et continus les plus performants, atteignant une meilleure qualité de génération avec moins d'étapes d'échantillonnage. Ces résultats suggèrent qu'ELF offre une voie prometteuse vers des DLMs continus efficaces.

L'élagage structuré et la distillation des connaissances (KD) sont des techniques typiques de compression des grands modèles de langage, mais leur application à l'échelle du pré-entraînement reste mal comprise, en particulier pour les modèles récents à mélange d'experts (MoE). Dans ce travail, nous étudions systématiquement la compression des MoE lors du pré-entraînement à grande échelle, en nous concentrant sur trois questions clés : l'élagage offre-t-il une meilleure initialisation que l'entraînement à partir de zéro ? Comment les choix de compression des experts affectent-ils le modèle final après un entraînement continu ? Et quelle stratégie d'entraînement est la plus efficace ? Nous obtenons les résultats suivants : Premièrement, que ce soit en profondeur, en largeur ou en compression d'experts, élaguer un MoE pré-entraîné surpasse systématiquement l'entraînement à partir de zéro de l'architecture cible, à budget d'entraînement égal. Deuxièmement, différentes méthodes de compression ponctuelle des experts convergent vers des performances finales similaires après un pré-entraînement continu à grande échelle. Motivés par ce constat, nous introduisons une stratégie simple de fusion d'experts avec préservation partielle qui améliore les performances en aval sur la plupart des références. Troisièmement, la combinaison de la KD avec la perte de modélisation du langage surpasse la KD seule, en particulier sur les tâches intensives en connaissances. Nous proposons en outre la distillation par prédiction multi-tokens (MTP), qui apporte des gains constants. Enfin, à nombre de tokens d'entraînement égal, les programmes d'élagage progressifs surpassent la compression ponctuelle, ce qui suggère que des transitions architecturales graduelles conduisent à de meilleures trajectoires d'optimisation. En synthèse, nous compressons Qwen3-Next-80A3B en un modèle 23A2B qui conserve des performances compétitives. Ces résultats offrent des conseils pratiques pour une compression efficace des MoE à grande échelle.

Les systèmes multi-agents basés sur des LLM sont de plus en plus déployés sur des tâches à long horizon, mais une seule erreur décisive est souvent acceptée par les agents en aval et se propage en un échec au niveau de la trajectoire. Les travaux existants cadrent ce problème comme une attribution post-hoc des échecs, diagnostiquant l'agent responsable et l'étape après la fin de la trajectoire. Cependant, ce paradigme renonce à toute possibilité d'intervention pendant que la trajectoire est encore en cours. Dans ce travail, nous présentons AgentForesight, un cadre qui reformule ce problème comme un audit en ligne : à chaque étape d'une trajectoire en cours, un auditeur observe uniquement le préfixe actuel et doit soit continuer l'exécution, soit alarmer à la première erreur décisive, sans accès aux étapes futures. Pour cela, nous constituons AFTraj-2K, un corpus de trajectoires agentiques couvrant les domaines du Codage, des Mathématiques et des Systèmes agentiques, dans lequel les trajectoires sûres sont conservées sous un pipeline de curation strict et les trajectoires non sûres sont annotées à l'étape de leur erreur décisive via un consensus entre plusieurs juges LLM. Sur cette base, nous développons AgentForesight-7B, un auditeur en ligne compact entraîné avec une recette d'apprentissage par renforcement du grossier au fin qui l'équipe d'abord d'un a priori d'anticipation des risques à la frontière d'échec sur des paires adjacentes de préfixes sûrs/non sûrs, puis affine cet a priori en une localisation précise au niveau de l'étape sous une récompense sur trois axes ciblant conjointement le quoi, le où et le qui d'un verdict d'audit. Sur AFTraj-2K et un benchmark externe Who\&When, AgentForesight-7B surpasse les modèles propriétaires de premier plan, y compris GPT-4.1 et DeepSeek-V4-Pro, atteignant jusqu'à +19,9% de gain de performance et une erreur de localisation d'étape 3 fois plus faible, ouvrant la boucle de la détection post-hoc des échecs à l'intervention au moment du déploiement. Page du projet : https://zbox1005.github.io/agent-foresight/

Le guidage par activation contrôle le comportement des modèles de langage en ajoutant des directions aux représentations internes lors de l'inférence, mais le guidage standard par flux résiduel peut échouer dans un dialogue avec état. Nous identifions la contamination du cache KV comme un mode de défaillance clé : les états token guidés sont stockés et réutilisés de manière répétée, transformant une perturbation locale en une dégradation cumulative de la cohérence. Pour relever ce défi, nous proposons le guidage par delta d'attention rognée avec porte (GCAD), qui extrait les signaux de guidage des contributions de l'invite système à l'auto-attention et les applique avec un filtrage au niveau des tokens. Lors d'expériences de guidage de persona, GCAD préserve le contrôle des traits tout en améliorant considérablement la cohérence à long terme. Sur le principal benchmark multi-tours, GCAD améliore la dérive moyenne de cohérence de -18,6 à -1,9 et augmente l'expression du trait au 10e tour de 78,0 à 93,1. Ces résultats suggèrent que le guidage par activation devient plus fiable lorsque les interventions suivent les voies médiées par les invites que les modèles utilisent déjà pour le contrôle comportemental.

Le décodage spéculatif accélère la génération autorégressive dans les modèles de langage de grande taille (LLMs) grâce à une procédure en deux étapes, où un modèle ébauche léger propose des tokens que le modèle cible vérifie ensuite en un seul passage avant. Bien que le réseau ébauche soit de petite taille dans les architectures modernes, sa tête de modèle de langage (LM-head) effectue toujours une projection vers un vaste vocabulaire, ce qui en fait l’un des principaux goulots d’étranglement computationnels. Dans les travaux antérieurs, ce problème a été principalement traité par une troncature statique ou dynamique du vocabulaire. Bien qu’elles atténuent le goulot d’étranglement, ces méthodes introduisent une complexité supplémentaire, telle qu’une curation spéciale du vocabulaire, une logique sophistiquée en phase d’inférence ou des modifications de la configuration d’entraînement. Dans cet article, nous proposons SlimSpec, une paramétrisation de faible rang de la tête LM du modèle ébauche qui comprime la représentation interne plutôt que la sortie, préservant ainsi un support complet du vocabulaire. Nous évaluons notre méthode avec le modèle ébauche EAGLE-3 sur trois modèles cibles et divers benchmarks, à la fois dans des régimes d’inférence limités par la latence et par le débit. SlimSpec atteint une accélération de 4 à 5 fois par rapport à l’architecture standard de tête LM, tout en maintenant une longueur d’acceptation compétitive, surpassant les méthodes existantes d’une accélération de bout en bout allant jusqu’à 8 à 9 %. Notre méthode ne nécessite que des ajustements minimes des pipelines d’entraînement et d’inférence. Combinée aux améliorations de vitesse susmentionnées, SlimSpec constitue une alternative solide pour une grande variété d’architectures de tête LM d’ébauche.

Les systèmes multi-agents basés sur les LLM peuvent désormais automatiser l’intégralité du pipeline de recherche, de l’idéation à la rédaction d’articles, mais une question fondamentale demeure : l’automatisation pour qui ? Les chercheurs opèrent sous différentes configurations de ressources, adoptent des préférences méthodologiques variées et visent des formats de sortie distincts. Un système produisant des résultats uniformes sans tenir compte de ces différences desservira systématiquement chaque utilisateur individuel, faisant de la personnalisation une condition préalable pour qu’une automatisation de la recherche soit réellement utilisable. Cependant, y parvenir nécessite trois capacités que les systèmes actuels ne possèdent pas : accumuler des connaissances procédurales réutilisables d’un projet à l’autre, conserver l’expérience propre à chaque utilisateur d’une session à l’autre, et internaliser des préférences implicites qui résistent à une formalisation explicite. Nous proposons NanoResearch, un cadre multi-agents qui répond à ces lacunes grâce à une co-évolution à trois niveaux. Une banque de compétences distille les opérations récurrentes en règles procédurales compactes réutilisables entre projets. Un module de mémoire maintient l’expérience propre à l’utilisateur et au projet, ancrant les décisions de planification dans l’historique de recherche de chaque utilisateur. Un apprentissage de politique sans étiquette convertit les retours libres en mises à jour persistantes des paramètres du planificateur, remodelant la coordination ultérieure. Ces trois couches co-évoluent : des compétences fiables produisent une mémoire plus riche, une mémoire plus riche éclaire une meilleure planification, et l’internalisation des préférences réaligne en continu la boucle sur chaque utilisateur. Des expériences approfondies montrent que NanoResearch offre des gains substantiels par rapport aux systèmes de recherche IA de pointe, et s’affine progressivement pour produire une recherche de meilleure qualité à moindre coût au fil des cycles successifs.

La consolidation de la mémoire, processus par lequel des expériences transitoires sont transformées en représentations stables et structurées, est un principe d'organisation fondamental du cerveau humain, mais reste largement inexplorée en tant que principe de conception pour les modèles séquentiels modernes. Dans ce travail, nous exploitons des théories neuroscientifiques établies de la consolidation de la mémoire et du couplage inter-fréquences pour proposer le Module de Mémoire Hiérarchique (HMM), une architecture de mémoire neuronale composée de deux sous-modules fonctionnellement distincts opérant à des fréquences de mise à jour différentes. Inspiré par l'hypothèse de transformation, le sous-module basse fréquence produit des représentations de haut niveau qui capturent des connaissances abstraites et générales, tandis que le sous-module haute fréquence produit des représentations fines qui préservent des détails épisodiques plus riches. La sortie mémoire finale est reconstruite dynamiquement comme une combinaison dépendante du contexte des deux représentations, analogue à la nature reconstructive du rappel de mémoire humaine. Nous intégrons HMM dans un décodeur de langage basé sur Transformer pour former Mela, une famille de modèles de langage augmentés par la mémoire qui effectuent une consolidation de mémoire en ligne au moment du test. Pour exploiter davantage les représentations mémoire multi-granularités produites par HMM, nous introduisons MemStack, une méthode qui distribue différents niveaux de caractéristiques mémoire à travers les premières couches du décodeur sans introduire de jetons supplémentaires. Les expériences de modélisation du langage démontrent que Mela surpasse les modèles de référence Transformer pour toutes les tailles de modèles. De plus, avec une longueur de contexte pré-entraîné fixée à 4K, Mela maintient ses performances sur des contextes significativement plus longs, tandis que les modèles de référence Transformer se dégradent rapidement au-delà de leur longueur d'entraînement. Des études d'ablation approfondies valident la contribution de chaque composant et fournissent des indications pour une configuration pratique.

Alors que les grands modèles de langage multimodaux ont progressé dans les domaines du texte, de l'image et de l'audio, la recherche en personnalisation est restée principalement axée sur le langage visuel, avec des bancs d'essai omnimodaux unifiés couvrant conjointement le texte, l'image et l'audio encore limités, et manquant de rigueur méthodologique pour prendre en compte les scénarios d'absence de persona ou les études d'ancrage systématiques. Nous présentons Omni-Persona, le premier banc d'essai complet pour la personnalisation omnimodale. Nous formalisons la tâche comme un routage cross-modal sur le graphe de modalité du persona, englobant 4 groupes de tâches et 18 tâches fines réparties sur environ 750 éléments. Pour diagnostiquer rigoureusement le comportement d'ancrage, nous proposons la précision calibrée (Précision calibrée, notée mathrm{Cal}), qui récompense conjointement un ancrage correct et une abstention appropriée, en intégrant les requêtes sans persona dans un cadre d'évaluation unifié. Sur nos expériences dédiées, trois résultats de diagnostic émergent : (i) les modèles open-source montrent un écart constant d'ancrage audio vs visuel que la RLVR réduit partiellement via une supervision dense basée sur des règles ; (ii) le rappel des réponses possibles et l'échelle des paramètres sont des diagnostics incomplets, car un rappel fort peut coexister avec une hallucination en l'absence de persona et les modèles plus grands n'atteignent pas toujours un Cal plus élevé, exposant la calibration comme un axe d'évaluation distinct ; et (iii) la SFT est limitée par la difficulté de construire une supervision de vérité terrain annotée à grande échelle, tandis que la RLVR généralise plus régulièrement grâce à un retour vérifiable au niveau des résultats, mais dérive vers un comportement conservateur et une qualité de génération inférieure sous notre conception de récompense. Omni-Persona sert donc de cadre de diagnostic qui met en lumière les pièges de la personnalisation omnimodale, guidant la conception future du post-entraînement et des récompenses.

L'alignement de sécurité dans les modèles de langage repose sur deux systèmes mécanistiquement distincts : les neurones de refus, qui régulent l'expression des connaissances nuisibles, et les neurones de concept, qui encodent ces connaissances elles-mêmes. En ciblant un seul neurone dans chaque système, nous démontrons les deux directions de défaillance — contourner la sécurité face à des demandes explicitement nuisibles par suppression, et induire un contenu nuisible à partir de requêtes innocentes par amplification — à travers sept modèles de deux familles, de 1,7 à 70 milliards de paramètres, sans aucun entraînement ni ingénierie de prompt. Nos résultats suggèrent que l'alignement de sécurité n'est pas robustement distribué à travers les poids du modèle, mais qu'il est médié par des neurones individuels, chacun causalement suffisant pour verrouiller le comportement de refus — la suppression d'un seul des neurones de refus identifiés contourne l'alignement de sécurité face à diverses demandes nuisibles.

Bien que le langage naturel constitue le médium par défaut des modèles de langage de grande taille (LLMs), sa capacité expressive limitée crée un goulot d'étranglement profond pour la résolution de problèmes complexes. Alors que les avancées récentes en intelligence artificielle ont largement reposé sur le passage à l'échelle, la simple internalisation des connaissances ne garantit pas leur application efficace. Définissant la représentation langagière comme les constructions linguistiques et symboliques utilisées pour cartographier et modéliser le monde réel, cet article soutient que la formation de schémas par une représentation langagière avancée constitue la prochaine frontière pour étendre l'intelligence des LLMs. Nous postulons que l'activation et l'organisation des connaissances d'un LLM — son schéma — dépendent fortement de la sophistication structurelle et symbolique du langage utilisé pour représenter une tâche donnée. Cet article contribue à la fois une formalisation de cette affirmation et les preuves empiriques pour l'étayer. Avec une nouvelle formalisation, nous présentons plusieurs lignes de preuves à l'appui de notre position : premièrement, nous examinons des pratiques empiriques récentes et des méthodologies émergentes qui démontrent les gains de performance substantiels réalisables grâce à une conception délibérée de la représentation langagière, même sans modification des paramètres ou de l'échelle du modèle. Deuxièmement, nous menons des expériences contrôlées montrant que la performance d'un LLM et ses activations internes de caractéristiques varient selon différentes représentations langagières d'une même tâche sous-jacente. Ensemble, ces résultats soulignent que la conception de la représentation langagière constitue une direction prometteuse pour la recherche future.

L'apprentissage par renforcement a considérablement amélioré les capacités de raisonnement des grands modèles de langage multimodaux (MLLM), mais les politiques qui en résultent restent fragiles face aux dégradations visuelles du monde réel telles que le flou, les artefacts de compression et les scans basse résolution. Les techniques de robustesse antérieures issues de la vision et du RL profond reposent sur l'augmentation de données statique ou la régularisation basée sur la valeur, dont aucune ne se transfère proprement au réglage fin RL sans critique des MLLM autorégressifs. Renforcer le raisonnement face à de telles corruptions est non trivial : injecter naïvement des vues dégradées pendant le déploiement induit un empoisonnement de la récompense, où les occlusions perceptuelles déclenchent des trajectoires hallucinées et déstabilisent l'optimisation. Nous proposons ROMA, un cadre de réglage fin RL qui modifie la dynamique d'optimisation pour renforcer le raisonnement face à la dégradation visuelle tout en préservant les performances sur entrées propres. Une stratégie à double passage avant utilise le teacher forcing pour évaluer les vues dégradées par rapport aux trajectoires d'images propres, évitant ainsi de nouveaux déploiements sur des entrées dégradées. Pour la cohérence distributionnelle, nous appliquons une pénalité KL de substitution au niveau des tokens contre l'augmentation dans le pire cas ; pour empêcher l'effondrement de la politique sous régularisation, une perte auxiliaire de gradient de politique ancrée aux avantages d'images propres préserve un signal de récompense fiable ; et pour éviter une invariance systématiquement incorrecte, une régularisation conditionnée par la justesse limite l'application aux trajectoires réussies. Sur Qwen3-VL 4B/8B sur sept benchmarks de raisonnement multimodal, notre méthode améliore la robustesse de +2,4% sur les corruptions vues et +2,3% sur les corruptions non vues par rapport à GRPO tout en égalant la précision sur entrées propres.

Dans ce travail, nous introduisons la composition de modèles à encodeurs gelés, une approche novatrice pour les modèles de plongement multimodaux. Nous nous appuyons sur l'architecture de type VLM, dans laquelle les encodeurs non textuels sont adaptés pour produire des entrées destinées à un modèle de langage, qui génère à son tour des plongements pour toutes les variétés d'entrées. Nous présentons le résultat : la suite jina-embeddings-v5-omni, une paire de modèles qui encodent des entrées textuelles, images, audio et vidéo dans un unique espace de plongement sémantique. Notre méthode consiste à étendre les deux modèles textuels Jina Embeddings v5 pour prendre en charge des médias supplémentaires en ajoutant des encodeurs pour les images et l'audio. Les modèles de plongement textuels de base et les encodeurs non textuels ajoutés restent gelés. Nous n'avons entraîné que les composants de liaison, représentant 0,35 % du poids total du modèle conjoint. L'entraînement est donc bien plus efficace qu'un réentraînement complet des paramètres. De plus, le modèle de langage demeure effectivement inchangé, produisant exactement les mêmes plongements pour les entrées textuelles que les modèles Jina Embeddings v5 Text. Nos évaluations montrent que cette approche donne des résultats compétitifs avec l'état de l'art, avec des performances quasi équivalentes à celles de modèles de plongement multimodaux plus volumineux.

L'évolution basée sur les LLM est apparue comme une approche prometteuse pour améliorer les agents en affinant des artefacts non paramétriques, mais son coût en temps réel reste un goulot d'étranglement majeur. Nous identifions que ce coût provient de l'exécution synchronisée des étapes et du déséquilibre au sein de chaque étape lourde en LLM. Nous présentons FlashEvolve, un framework efficace qui remplace l'exécution synchronisée par des travailleurs asynchrones et des files d'attente, permettant le chevauchement des différentes étapes et phases. Pour gérer l'obsolescence des données introduite par l'asynchronisme, FlashEvolve suit les versions des artefacts et applique différentes politiques pour mettre à jour, ignorer ou corriger les artefacts obsolètes. Contrairement à l'obsolescence dans l'espace des poids en RL asynchrone, l'obsolescence dans l'espace linguistique est inspectable et réparable : un artefact obsolète n'est pas simplement un travail retardé, mais une preuve lisible que le LLM peut examiner, réviser et transformer en un signal d'évolution utile. FlashEvolve améliore également le débit et l'efficacité des tokens grâce à l'achèvement spéculatif des étapes et au contrôle adaptatif des flux. Sur les charges de travail GEPA, FlashEvolve améliore le débit des propositions de 3,5 fois sur vLLM local et de 4,9 fois sur le service API par rapport à GEPA synchrone. La même conception s'applique également à ACE et Meta-Harness.

Lorsque des systèmes multi-agents (SMA) échouent, identifier l'endroit où l'erreur décisive s'est produite est la première étape pour une restauration automatisée vers un état antérieur. L'attribution des erreurs reste un défi fondamental en raison des longues traces d'interaction générées par les SMA basés sur de grands modèles de langage. Cet article présente un cadre pour l'attribution des erreurs fondé sur la prédiction conforme (PC), qui offre des garanties de couverture valables pour tout échantillon fini et sans hypothèse de distribution. Nous introduisons de nouveaux algorithmes de PC basés sur la filtration, conçus pour des données séquentielles telles que les trajectoires d'agents. Contrairement aux algorithmes de PC existants, notre approche prédit des ensembles qui sont des séquences contiguës afin de permettre une restauration et un débogage efficaces. Nous vérifions nos garanties théoriques sur une variété d'agents et d'ensembles de données, montrons que les erreurs peuvent être isolées avec précision, puis utilisons les ensembles de prédiction pour restaurer les SMA afin qu'ils corrigent leurs propres erreurs. Notre approche globale est indépendante du modèle et offre une couche d'incertitude théorique pour l'attribution des erreurs dans les SMA. Nous publions le code à l'adresse https://github.com/layer6ai-labs/conformal-agent-error-attribution.

Muon est apparu comme une alternative efficace à Adam pour le pré-entraînement, mais reste sous-utilisé pour le fine-tuning. Un obstacle majeur est que la plupart des modèles ouverts sont pré-entraînés avec Adam, et le passage naïf à Muon pour le fine-tuning entraîne une dégradation des performances en raison d'une inadéquation de l'optimiseur. Nous étudions cette inadéquation à travers des expériences contrôlées et la relions aux biais implicites distincts d'Adam et de Muon. Nous apportons la preuve que cette inadéquation perturbe les connaissances pré-entraînées, et que cette perturbation est proportionnelle à la force de mise à jour. Cela nous amène à émettre l'hypothèse qu'en contraignant les mises à jour, on devrait atténuer l'inadéquation. Nous validons cela avec LoRA : sur des tâches de langage et de vision, LoRA réduit l'écart de performance entre Adam et Muon observé en fine-tuning complet. Des études sur le rang de LoRA, l'oubli catastrophique et les variantes de LoRA confirment en outre que la sévérité de l'inadéquation est corrélée à la force de mise à jour. Ces résultats éclairent la manière dont l'inadéquation de l'optimiseur affecte le fine-tuning et comment elle peut être atténuée. Notre code est disponible à l'adresse https://github.com/XingyuQu/muon-finetune.

L'alignement des Modèles de Langage Multimodaux de Grande Taille (MLLMs) nécessite des modèles de récompense fiables, mais les évaluateurs en une seule étape existants peuvent souffrir d'un jugement paresseux, exploitant les priors linguistiques au détriment d'une vérification visuelle fine. Bien que l'évaluation basée sur des grilles atténue ces biais dans les contextes purement textuels, son extension aux tâches multimodales est entravée par la complexité du raisonnement visuel. Les différences critiques entre les réponses dépendent souvent de détails visuels spécifiques à l'instance. Une évaluation robuste nécessite de synthétiser dynamiquement des grilles qui isolent les écarts spatiaux et factuels. Pour résoudre ce problème, nous introduisons DeltaRubric, une approche qui reformule l'évaluation des préférences multimodales comme un processus de planification et d'exécution au sein d'un seul MLLM. DeltaRubric fonctionne en deux étapes : agissant d'abord comme un Planificateur de Désaccord, le modèle génère une liste de vérification neutre et spécifique à l'instance. En passant ensuite en mode Vérificateur de Checklist, il exécute ces vérifications auto-générées sur l'image et la question pour produire le jugement final fondé. Nous formulons DeltaRubric comme un problème d'apprentissage par renforcement multi-rôle, optimisant conjointement les capacités de planification et de vérification. Validé sur les modèles Qwen3-VL 4B et 8B Instruct, DeltaRubric obtient des gains empiriques solides. Par exemple, sur VL-RewardBench, il améliore la précision globale du modèle de base de +22,6 points (4B) et +18,8 points (8B), surpassant largement les références standard sans grille. Les résultats démontrent que décomposer l'évaluation en étapes structurées et vérifiables conduit à une modélisation de récompense multimodale plus fiable et généralisable.

La distillation sur politique offre une supervision dense, jeton par jeton, pour l’entraînement des modèles de raisonnement ; cependant, il reste flou dans quelles conditions ce signal est bénéfique et dans lesquelles il est nuisible. Quel modèle enseignant faut-il utiliser, et dans le cas de l’auto-distillation, quel contexte spécifique doit servir de signal de supervision ? Le choix optimal varie-t-il d’un jeton à l’autre ? Actuellement, répondre à ces questions nécessite généralement des cycles d’entraînement coûteux dont les métriques de performance agrégées masquent la dynamique au niveau des jetons individuels. Nous introduisons un cadre diagnostique sans entraînement qui opère à la plus haute résolution : par jeton, par question et par enseignant. Nous dérivons un gradient idéal par nœud, défini comme la mise à jour des paramètres qui maximise l’augmentation de la probabilité de succès de l’étudiant. Nous développons ensuite un algorithme de déroulement ciblé et passant à l’échelle pour estimer ce gradient efficacement, même pour de longues chaînes de pensées intermédiaires. Le score d’alignement du gradient, défini comme la similarité cosinus entre ce gradient idéal et tout gradient de distillation donné, quantifie dans quelle mesure une configuration particulière se rapproche du signal idéal. À travers un ensemble de configurations d’auto-distillation et de modèles enseignants externes, nous observons que le guidage par distillation présente un alignement sensiblement plus élevé avec l’idéal sur les déroulements incorrects que sur les déroulements corrects, où l’étudiant performe déjà bien et où le signal de l’enseignant tend à devenir bruité. De plus, nous constatons que le contexte de distillation optimal dépend conjointement de la capacité du modèle étudiant et de la tâche cible, et qu’aucune configuration universellement efficace n’émerge. Ces résultats motivent l’utilisation d’analyses diagnostiques par tâche et par jeton pour la distillation.

Un simple retrieveur lexical suffit-il à mesure que les grands modèles de langage (LLM) deviennent plus performants dans une boucle agentique ? Cette question se pose naturellement lorsqu’on construit des systèmes de recherche profonde. Nous la réexaminons en associant BM25 à des LLM de pointe dotés de meilleures capacités de raisonnement et d’utilisation d’outils. Pour aider les chercheurs qui se posent la même question, nous présentons Pi-Serini, un agent de recherche équipé de trois outils permettant de récupérer, parcourir et lire des documents. Nos résultats montrent que, sur BrowseComp-Plus, un retrieveur lexical bien configuré avec une profondeur de récupération suffisante peut soutenir une recherche profonde efficace lorsqu’il est associé à des LLM plus performants. Plus précisément, Pi-Serini avec gpt-5.5 atteint 83,1% de précision des réponses et 94,7% de rappel des preuves mises en évidence, surpassant les agents de recherche publiés qui utilisent des retrieveurs denses. Des ablations contrôlées montrent en outre que l’optimisation de BM25 améliore la précision des réponses de 18,0% et le rappel des preuves mises en évidence de 11,1% par rapport au réglage BM25 par défaut, tandis que l’augmentation de la profondeur de récupération améliore encore le rappel des preuves mises en évidence de 25,3% par rapport au réglage de récupération superficielle. Le code source est disponible à l’adresse https://github.com/justram/pi-serini.

Nous présentons Metal-Sci, un banc d’essai comprenant 10 tâches de noyaux de calcul scientifiques pour Apple Silicon Metal, couvrant six régimes d’optimisation (stencils, paires complètes dans les problèmes à N corps, Boltzmann multi-champs, dynamique moléculaire par liste de voisins, EDP multi-noyaux, FFT). Chaque tâche fournit une référence CPU, une fonction de fitness ancrée sur le roofline, et une taille de généralisation réservée. Nous associons ce banc d’essai à un environnement léger de recherche automatique de noyaux qui compile chaque candidat à l’exécution, l’évalue par rapport au roofline sur plusieurs tailles, et transmet des diagnostics structurés de compilation et de correction par taille à un LLM gelé pilotant une boucle évolutive (1 + 1). Nous rapportons des balayages appariés sur un modèle unique de Claude Opus 4.7, Gemini 3.1 Pro et GPT 5.5 sur M1 Pro : les accélérations auto-mesurées dans la distribution vont de 1,00× à 10,7×. Au-delà de l’accélération brute, notre revendication méthodologique centrale est structurelle : la fonction de score de validation réservée Φ_T (évaluée une seule fois en fin de parcours sur une configuration que l’agent ne voit jamais pendant la recherche) agit comme un mécanisme de supervision mécanique peu coûteux sur cette boucle de recherche automatique, détectant par exemple un modèle <uint D> HMC d’Opus gagnant qui renvoie des échantillons erronés pour des dimensions inédites, et un meilleur FFT3D de GPT qui gagne dans la distribution avec une accélération de 2,95× mais chute à 0,23× sur un cube réservé de 256³, une régression silencieuse que le seul score intra-distribution ne peut pas voir. Code sur https://github.com/vicgalle/metal-sci-kernels.

Les bases de connaissances compilées par des agents fournissent une connaissance externe persistante aux agents basés sur de grands modèles de langage (LLM) dans des tâches aval ouvertes et intensives en connaissances. Cependant, leur qualité est systématiquement limitée par l'incomplétude, l'inexactitude et la redondance, se manifestant par des preuves manquantes ou des liens inter-documents, des affirmations de faible confiance ou imprécises, ainsi que des problèmes d'ambiguïté ou de résolution de coréférences. Ces défauts se cumulent lors d'une utilisation itérative, dégradant la fidélité de la récupération et les performances des tâches aval. Nous présentons DeepRefine, un modèle de raisonnement général basé sur LLM pour l'affinement des connaissances compilées par des agents, qui améliore la qualité de toute base de connaissances pré-construite à l'aide de requêtes utilisateur afin de la rendre plus adaptée aux tâches aval. DeepRefine effectue des interactions à plusieurs tours avec la base de connaissances, réalise un diagnostic abductif sur l'historique des interactions, localise les défauts probables et exécute des actions d'affinement ciblées pour des mises à jour incrémentales de la base de connaissances. Afin d'optimiser les politiques d'affinement de DeepRefine sans références de vérité terrain, nous introduisons une récompense Gain-Beyond-Draft (GBD) et entraînons le processus de raisonnement de bout en bout via l'apprentissage par renforcement. Des expériences exhaustives démontrent des gains aval constants par rapport à des bases de référence solides.

Alors que les modèles fondamentaux vidéo excellent dans la génération en plan unique, la narration cinématographique du monde réel repose intrinsèquement sur un séquençage multi-plan complexe. Les progrès supplémentaires sont limités par l'absence de jeux de données répondant à trois défis fondamentaux : une logique narrative authentique, des conflits d'alignement spatiotemporel texte-vidéo, et le dilemme du « copier-coller » qui prévaut dans la génération Sujet-vers-Vidéo (S2V). Pour combler cette lacune, nous présentons MuSS, un jeu de données à grande échelle et à double piste, conçu pour la génération multi-plan et S2V. Provenant de plus de 3 000 films, MuSS prend explicitement en charge à la fois les transitions de montage complexes et les récits centrés sur le sujet. Pour construire ce jeu de données, nous innovons avec un pipeline de légendage progressif qui élimine les conflits contextuels en garantissant une précision locale au niveau du plan avant d'assurer une cohérence narrative globale. Crucialement, nous implémentons un mécanisme de correspondance inter-plan pour éradiquer fondamentalement le raccourci de copier-coller en S2V. Parallèlement au jeu de données, nous proposons le Benchmark de Narration Cinématographique, intégrant un paradigme piloté par la logique visuelle et une nouvelle métrique de Variance Anti-Copier-Coller (ACP-Var) pour évaluer rigoureusement la narration continue et la cohérence structurelle 3D. Des expériences approfondies démontrent que, alors que les bases de référence actuelles peinent avec la logique narrative continue ou dégénèrent en simples générateurs d'autocollants 2D, notre modèle enrichi par MuSS atteint une efficacité narrative de pointe et une préservation de l'identité inter-plan.

Les grands modèles de langage (LLM) ont réalisé des progrès remarquables en raisonnement mathématique, mais cette capacité n'est pas également accessible dans toutes les langues. En particulier, les langues peu dotées affichent des performances de raisonnement bien inférieures. Pour y remédier, nous proposons la Distillation Autodirigée sur Politique Crosslingue (COPSD), qui transfère le comportement de raisonnement d'un modèle sur les langues riches vers les langues peu dotées. COPSD utilise le même modèle comme étudiant et comme enseignant : l'étudiant ne voit que le problème dans la langue peu dotée, tandis que l'enseignant reçoit un contexte crosslingue privilégié, comprenant la traduction du problème et la solution de référence en anglais. L'entraînement minimise la divergence au niveau des tokens sur l'ensemble de la distribution des déploiements propres de l'étudiant, fournissant ainsi une supervision dense tout en évitant la rareté et l'instabilité de l'apprentissage par renforcement (RL) basé uniquement sur les résultats. Des expériences menées sur 17 langues africaines peu dotées montrent que COPSD améliore systématiquement le raisonnement mathématique sur ces langues, quelle que soit la taille du modèle, et surpasse nettement l'Optimisation Relative de Politique par Groupe (GRPO). Des analyses supplémentaires montrent que COPSD améliore le respect du format de réponse, renforce le passage à l'échelle au moment du test et se généralise à des benchmarks de raisonnement multilingues plus difficiles, avec des gains particulièrement importants pour les langues les moins dotées. Nous mettons notre code et nos données à disposition à l'adresse : https://github.com/cisnlp/COPSD.

Nous présentons un nouveau corpus public de 100 502 critiques de films du Kazakhstan collectées sur kino.kz, couvrant la période 2001-2025 et incluant 4 943 titres uniques. Le jeu de données est multilingue, composé principalement de critiques en russe ainsi que de textes en kazakh et mélangeant les codes linguistiques. Les critiques sont annotées manuellement pour la langue et la polarité des sentiments, et 11 309 critiques contiennent également des évaluations explicites fournies par les utilisateurs. Nous définissons deux tâches d'analyse des sentiments — une classification de polarité à trois niveaux et une classification des scores en cinq classes — et comparons des modèles de base utilisant des approches classiques (sac de mots/TF-IDF) avec des modèles transformateurs multilingues (mBERT, XLM-RoBERTa, RemBERT). Les résultats expérimentaux montrent que les modèles transformateurs surpassent systématiquement les approches classiques pour la classification de polarité, tandis que la classification des scores reste difficile dans une évaluation contrôlée contre les fuites de données, en raison d'un déséquilibre marqué entre les classes et de distinctions subtiles entre les niveaux d'évaluation adjacents.

La compréhension de vidéos longues dans les VLMs est limitée par un seul passage avant monolithique sur des milliers de trames avec un coût d'attention quadratique. Une atténuation courante consiste d'abord à sélectionner un petit sous-ensemble de trames informatives avant le passage avant ; cela est fréquent pour les sélecteurs sans entraînement via des similarités auxiliaires dans l'espace des encodeurs. Ces signaux sont plafonnés par le pré-entraînement contrastif, qui échoue généralement sur les requêtes à fort raisonnement (négation, comptage inter-trames, résumé holistique). Nous proposons GridProbe, un paradigme d'inférence par sondage a posteriori efficace et sans entraînement, qui évalue les preuves dans l'espace des réponses en utilisant le propre raisonnement d'un VLM figé, puis sélectionne de manière adaptative les trames pertinentes pour la question, ce qui donne un coût d'attention sous-quadratique avec peu ou pas de perte de précision. Nous disposons les trames sur une grille K×K et exécutons des sondes légères de lignes R et de colonnes C, chaque sonde lisant son maximum a posteriori comme une confiance conditionnée par la requête. Le produit extérieur de R et C produit une carte d'importance interprétable dont l'asymétrie et l'aplatissement pilotent la sélection adaptative à la forme, une règle de forme fermée qui remplace de manière fiable le budget fixe de trames M par un M_eff par question. Nous montrons empiriquement que M_eff suit la difficulté intrinsèque de la question sans jamais voir la réponse, un signe de calcul adaptatif au moment du test. Sur Video-MME-v2, GridProbe atteint la baseline monolithique à moins de 1,6 pp de précision moyenne pour une réduction de 3,36× des TFLOPs, tandis que sur LongVideoBench, il domine la baseline au sens de Pareto (+0,9 pp pour 0,35× du calcul). Le sélecteur et le modèle de Q/R pouvant être découplés, l'association d'un petit sélecteur 2B avec un modèle de Q/R plus fort de 4B ou 8B est strictement dominante au sens de Pareto par rapport à la baseline monolithique 2B (jusqu'à +4,0 pp pour 0,52× du calcul, en moyenne), sans ré-entraînement. Enfin, l'interprétabilité des cartes d'importance ouvre de futures voies pour les diagnostics comportementaux, l'ancrage et la distillation de sélection de trames.

Les gènes marqueurs spécifiques de type cellulaire sont fondamentaux en biologie végétale, mais les ressources existantes reposent principalement sur des bases de données curées ou des études à haut débit sans modéliser explicitement les preuves à l'appui issues de la littérature scientifique. Nous présentons PlantMarkerBench, un référentiel multi-espèces pour évaluer l'interprétation des preuves de marqueurs végétaux ancrée dans la littérature, à partir d'articles biologiques en texte intégral. PlantMarkerBench est construit à l'aide d'un pipeline de curation modulaire intégrant la recherche documentaire à grande échelle, la recherche hybride, l'ancrage biologique adapté à l'espèce, l'extraction structurée de preuves et une révision humaine ciblée. Le référentiel couvre quatre espèces végétales — Arabidopsis, maïs, riz et tomate — et contient 5 550 instances de preuves au niveau de la phrase, annotées pour la validité preuve-marqueur, le type de preuve et la force de soutien. Nous définissons deux tâches de référence : déterminer si une phrase candidate fournit une preuve de marqueur valide pour un couple gène-type cellulaire, et classer la preuve dans les catégories expression, localisation, fonction, indirecte ou négative. Nous évaluons divers modèles de langage à poids ouverts et à code source fermé, sur différentes espèces et stratégies de prompt. Bien que les modèles de pointe obtiennent des performances relativement élevées sur les preuves d'expression directe, les performances chutent considérablement sur les preuves fonctionnelles, indirectes et à faible soutien, la confusion entre types de preuves apparaissant comme un mode de défaillance dominant. Les modèles à poids ouverts présentent en outre des taux de faux positifs élevés dans des contextes biologiques ambigus. PlantMarkerBench fournit un cadre d'évaluation reproductible et exigeant pour l'attribution de preuves biologiques ancrée dans la littérature, et soutient la recherche future sur l'extraction fiable d'informations scientifiques et la biologie végétale assistée par l'IA.

La mémoire est une composante essentielle de l'intelligence robotique, car les robots doivent s'appuyer sur les observations et actions passées pour accomplir des tâches à long horizon dans des environnements partiellement observables. Cependant, les référentiels de mémoire robotique existants manquent encore d'annotations multimodales pour la formation de la mémoire, offrent une couverture limitée des tâches et une complexité structurelle restreinte, et demeurent confinés à la simulation sans évaluation dans le monde réel. Nous comblons cette lacune avec RoboMemArena, un référentiel à grande échelle comprenant 26 tâches, avec des longueurs de trajectoire moyennes dépassant 1 000 pas par tâche et 68,9 % des sous-tâches dépendant de la mémoire. Le pipeline de génération utilise un modèle de vision-langage (VLM) pour concevoir et composer les sous-tâches, génère des trajectoires complètes via des fonctions atomiques, et fournit des annotations liées à la mémoire, notamment des instructions de sous-tâches et des annotations natives d'images clés, tandis que des tâches de mémoire appariées dans le monde réel permettent une évaluation physique. Nous concevons également PrediMem, un VLA à double système dans lequel un planificateur VLM de haut niveau gère une banque de mémoire avec des tampons récents et d'images clés, et utilise une tête de codage prédictif pour améliorer la sensibilité à la dynamique des tâches. Des expériences approfondies sur RoboMemArena montrent que PrediMem surpasse toutes les bases de référence et fournit des informations sur la gestion de la mémoire, l'architecture du modèle et les lois d'échelle pour les systèmes de mémoire complexes.

Alors que le mélange d'experts (MoE) permet d'augmenter la capacité du modèle sans accroître proportionnellement le calcul, son empreinte massive en paramètres totaux crée des goulots d'étranglement importants en termes de stockage et d'accès mémoire, ce qui entrave un déploiement efficace côté terminal nécessitant simultanément des performances élevées, un faible coût de calcul et une faible charge de stockage. Pour atteindre ces propriétés, nous présentons DECO, une architecture MoE éparse conçue pour égaler les performances des transformateurs denses sous des budgets de paramètres totaux et des jetons d'entraînement identiques. DECO utilise un routage flexible et différentiable basé sur ReLU, renforcé par une mise à l'échelle apprenable par expert, qui équilibre de manière adaptative les contributions des experts routés et partagés. De plus, nous introduisons NormSiLU, une fonction d'activation qui normalise les entrées avant les opérateurs SiLU, produisant une tendance plus stable du taux d'activation des experts routés et un niveau de parcimonie intrinsèque plus élevé. Nous identifions également un avantage empirique à utiliser des experts MLP non à portes avec un routage basé sur ReLU, ce qui suggère une possible simplification de l'architecture MoE. Les expériences montrent que DECO, n'activant que 20 % des experts, égale les performances des modèles denses et surpasse les références MoE établies. Notre noyau d'accélération spécialisé offre une accélération de 3,00 fois sur du matériel réel par rapport à l'inférence dense. Les codes et les points de contrôle seront publiés.

Nous présentons Shepherd, un modèle de programmation fonctionnelle qui formalise les opérations de méta-agent sur des agents cibles sous forme de fonctions, dont les opérations fondamentales sont mécanisées en Lean. Shepherd enregistre chaque interaction agent-environnement en tant qu'événement typé dans une trace d'exécution de type Git, permettant à tout état passé d'être dupliqué et rejoué. Le système duplique le processus agent et son système de fichiers 5 fois plus rapidement que Docker, avec un taux de réutilisation du cache de prompt supérieur à 95 % lors du rejeu. Nous démontrons le modèle à travers trois applications. Premièrement, lors d'une intervention en cours d'exécution, un superviseur en direct augmente le taux de réussite en codage en binôme de 28,8 % à 54,7 % sur CooperBench. Deuxièmement, en méta-optimisation contrefactuelle, l'exploration par branchement surpasse les bases de référence sur quatre benchmarks, avec un écart allant jusqu'à 11 points, tout en réduisant le temps réel écoulé jusqu'à 58 %. Troisièmement, lors de l'entraînement Tree-RL, la duplication des déploiements à des tours sélectionnés améliore la performance sur TerminalBench-2 de 34,2 % à 39,4 %. Ces résultats établissent Shepherd comme une infrastructure efficace pour la programmation de méta-agents. Nous publions le système en open source pour soutenir les recherches futures.

Les modèles de langage multimodaux de grande taille (MLLMs) rencontrent des difficultés avec la régression numérique sous des distributions cibles à longue traîne. Le fine-tuning supervisé au niveau des tokens (SFT) et les récompenses de régression ponctuelles biaisent l'apprentissage vers les régions à haute densité, entraînant un comportement de régression vers la moyenne et de mauvaises performances sur la traîne. Nous identifions le manque de supervision relationnelle inter-échantillons comme une limitation clé des paradigmes d'entraînement actuels des MLLMs. Pour y remédier, nous proposons un cadre d'apprentissage par renforcement sensible à la distribution basé sur l'Optimisation de Politique Relative par Groupes, qui introduit une supervision comparative au niveau du lot via une récompense fondée sur le Coefficient de Corrélation de Concordance afin d'aligner les distributions prédites et réelles en termes de corrélation, d'échelle et de moyenne. Ce cadre est prêt à l'emploi, ne nécessitant aucune modification architecturale. Des expériences sur une suite unifiée de benchmarks de régression à longue traîne montrent des améliorations constantes par rapport au SFT et aux méthodes de régression existantes pour MLLMs, avec des gains particulièrement marqués dans les régimes à moyenne et faible disponibilité d'exemples.

Les modèles de langage sans tokeniseur éliminent l'étape de tokenisation du pipeline de modélisation du langage en opérant directement sur les octets ; les variantes basées sur des patches agrègent en outre des séquences d'octets contigus en patches pour plus d'efficacité. Cependant, la taille moyenne des patches choisie lors de la conception du modèle régit un compromis serré : des patches plus grands réduisent la charge de calcul et l'empreinte du cache KV, mais dégradent la qualité de modélisation. Nous attribuons ce compromis au décalage de patch : jusqu'à ce qu'un patch soit entièrement observé, les prédictions d'octets à l'intérieur de celui-ci doivent s'appuyer sur une représentation obsolète du patch précédent pour préserver la causalité ; ce décalage s'accroît à mesure que les patches deviennent plus grands. Nous introduisons le Patchage par Bloc-notes (Scratchpad Patching, SP), qui insère des blocs-notes transitoires à l'intérieur de chaque patch pour agréger les octets déjà vus et rafraîchir le contexte au niveau du patch pour les prédictions ultérieures. SP déclenche les blocs-notes en utilisant l'entropie de prédiction du prochain octet, allouant sélectivement le calcul aux régions denses en information et permettant un ajustement a posteriori du calcul au moment de l'inférence. À travers des expériences sur le langage naturel et le code, SP améliore la qualité du modèle à la même taille de patch ; par exemple, même à 16 octets par patch, les modèles augmentés par SP égalent ou s'approchent étroitement de la référence au niveau des octets dans les évaluations en aval, tout en utilisant un cache KV 16 fois plus petit pour les patches et 3 à 4 fois moins de calcul d'inférence.

Le sarde, une langue romane comptant environ un million de locuteurs, est quasi absent du traitement automatique des langues moderne. Les services commerciaux ne le prennent pas en charge et les modèles de langue actuels ne le produisent pas de manière fiable. Nous présentons LLiMba, un modèle de 3 milliards de paramètres adapté au sarde à partir de Qwen2.5-3B-Instruct via un pré-entraînement continu (CPT) et un ajustement fin supervisé (SFT) sur un seul GPU grand public de 24 Go. Le corpus contient 11,5 millions de tokens de sarde couvrant le LSC, le logoudorien et le campidanien, augmentés de 2,4 millions de tokens de textes romans apparentés en tant que rejeu contre le flou des registres. Après le CPT, le modèle atteint une perplexité de 6,76 sur le sarde mis de côté et surpasse le modèle de base dans l'ensemble des six directions FLORES-200. Nous comparons cinq configurations SFT dans des conditions appariées : ajustement fin complet, LoRA r64, rsLoRA r128, rsLoRA r256 et DoRA r256. rsLoRA r256 l'emporte sur toutes les directions vers le sarde, atteignant 28,5 BLEU depuis l'anglais contre 17,3 après CPT et 21,0 avec un ajustement fin complet. L'ablation par rang place r128 entre LoRA r64 et rsLoRA r256 en termes de BLEU, mais révèle des modes d'échec invisibles à la métrique, notamment une contamination entre scripts qu'aucune autre variante ne produit. LoRA r64 retient moins de contenu factuel du SFT que les configurations de rang supérieur et produit des fabrications plus confiantes, bien que toutes les méthodes fabriquent du contenu absent de l'entraînement. DoRA r256 donne l'écart le plus faible entre entraînement et évaluation, mais la pire précision factuelle. Les résultats indiquent que la capacité de l'adaptateur importe plus que le choix parmi les variantes LoRA pour adapter une base pré-entraînée romane à une cible romane peu dotée, qu'une régularisation plus forte n'est pas uniformément bénéfique, et que les métriques de traduction ordonnent en douceur des configurations dont le comportement qualitatif diffère catégoriquement. Les comparaisons de perplexité entre scripts doivent tenir compte de la tokenisation par repli d'octet, qui réduit la métrique pour les scripts autres que latin.

Les modèles de langage par diffusion (DLM) sont récemment apparus comme une alternative prometteuse aux modèles autorégressifs, principalement en raison de leur capacité à permettre un décodage parallèle. Malgré cet avantage, la plupart des DLM existants reposent sur une longueur de génération fixe définie avant le décodage, ce qui limite leur flexibilité dans les applications réelles. Bien que quelques travaux récents tentent de prendre en charge la génération à longueur variable, ils souffrent généralement de limitations notables : certains nécessitent un réentraînement coûteux pour s'adapter à des sorties de longueur variable, tandis que d'autres dépendent uniquement de signaux de confiance locaux lors du décodage. Ces critères locaux ne parviennent pas à capturer la structure évolutive de la séquence, ce qui conduit souvent à une qualité de génération sous-optimale. Dans cet article, nous proposons un cadre de décodage structuré bayésien, sans entraînement, qui formule la génération à longueur flexible comme un problème d'inférence structurelle dynamique. Notre approche formalise la génération à longueur variable comme un problème d'inférence structurelle dynamique, en calculant conjointement la longueur d'expansion, les limites des blocs et le calendrier de décodage. À chaque étape d'expansion de fenêtre, la méthode intègre l'incertitude locale aux signaux structurels via un mécanisme unifié qui prend en charge la génération structurée dynamique, incluant à la fois l'expansion flexible des blocs et l'organisation des blocs, tout en maintenant la cohérence. Des expériences approfondies sur plusieurs benchmarks démontrent que notre approche améliore considérablement la qualité et la flexibilité de la génération par rapport aux références existantes à longueur fixe et variable. Ces résultats soulignent l'avantage du décodage structuré bayésien pour les modèles de langage par diffusion, offrant une solution à la fois rigoureuse et efficace pour la génération de texte structuré.

Les agents numériques basés sur LLM/VLM ont progressé rapidement grâce à des bacs à sable évolutifs pour le codage, la navigation web et l'utilisation d'ordinateurs, offrant des terrains d'entraînement interactifs riches. En revanche, les agents incarnés manquent encore d'environnements 3D abondants, diversifiés et générés automatiquement pour un apprentissage interactif. Les simulateurs incarnés existants reposent sur des scènes conçues manuellement ou des modèles procéduraux, tandis que les récents systèmes de génération 3D basés sur LLM produisent principalement des scènes statiques plutôt que des environnements déployables avec des tâches vérifiables et des interfaces d'apprentissage standard. Nous présentons SimWorld Studio, une plateforme open-source construite sur Unreal Engine 5 pour générer des environnements d'apprentissage incarné en évolution. Son cœur est SimCoder, un agent de codage augmenté d'outils/compétences qui écrit et exécute du code au niveau du moteur pour construire des mondes 3D physiquement fondés à partir d'instructions langagières/visuelles. SimCoder évolue de lui-même en utilisant le feedback de vérificateurs (par exemple, erreurs de compilation, vérifications physiques, critiques VLM) pour réviser les environnements et ajouter de manière autonome des outils et compétences réutilisables à sa bibliothèque. Les mondes générés sont exportés sous forme d'environnements de type Gym pour l'apprentissage des agents incarnés. SimWorld Studio permet en outre une co-évolution entre la génération d'environnements et l'apprentissage incarné : le feedback de performance de l'agent guide SimCoder pour générer des programmes adaptatifs proches de la frontière de capacité de l'apprenant, de sorte que les environnements deviennent de plus en plus difficiles à mesure que l'agent incarné s'améliore. Trois études de cas sur la navigation incarnée montrent que l'auto-évolution améliore la fiabilité de la génération, que les environnements générés améliorent considérablement les performances de l'agent incarné, lesquelles se généralisent à des benchmarks inconnus, et que la co-évolution produit un gain de taux de réussite de 18 points par rapport à un apprentissage en environnement fixe et de 40 points par rapport à un agent non entraîné.

Les architectures prédictives par embedding conjoint (JEPAs) fournissent un cadre simple pour apprendre des modèles du monde en prédisant des représentations latentes futures. Cependant, l'entraînement des JEPAs est soumis à un compromis biais-variance. Sans contraintes structurelles suffisantes, une variance représentationnelle excessive conduit le modèle à s'effondrer vers des solutions triviales. Le récent LeWorldModel (LeWM) montre que ce problème peut être atténué en contraignant simplement les embeddings latents par un a priori gaussien isotrope. Cependant, les représentations latentes résident naturellement sur des variétés de faible dimension dans un espace ambiant de haute dimension, et imposer un a priori gaussien isotrope directement dans cet espace ambiant introduit un biais trop fort. Dans ce travail, nous proposons ame, qui cherche un point de fonctionnement favorable sur la frontière biais-variance en appliquant des contraintes gaussiennes dans de multiples sous-espaces aléatoires plutôt que dans l'espace d'embedding original. Cette conception assouplit la contrainte globale tout en préservant son effet anti-effondrement, conduisant à un meilleur équilibre entre stabilité de l'entraînement et flexibilité de la représentation. Des expériences approfondies menées dans quatre environnements de contrôle continu montrent que ame surpasse systématiquement LeWM avec des marges très nettes. Notre méthode est simple mais efficace, et sert de baseline solide pour les futures recherches sur les modèles du monde basés sur JEPA.fdefinedeeemodeLe code est disponible à l'adresse https://github.com/intcomp/Sub-JEPA.

Les agents basés sur de grands modèles de langage opèrent de plus en plus via une couche de compétences intermédiaire qui fait le lien entre l'intention de l'utilisateur et l'exécution concrète des tâches. Cette couche est largement traitée comme une abstraction organisationnelle, mais nous soutenons qu'elle constitue également une frontière de privilège que les modèles actuels franchissent systématiquement de manière excessive. Nous présentons FORTIS, un banc d'essai qui évalue le sur-privilège dans les compétences des agents en deux étapes : d'une part, si le modèle sélectionne la compétence minimalement suffisante parmi une vaste bibliothèque de compétences se chevauchant, et d'autre part, s'il exécute cette compétence sans étendre son action à des outils ou des actions plus larges que ceux permis par la compétence. À travers dix modèles de pointe et trois domaines, nous constatons que le comportement sur-privilégié est la norme plutôt que l'exception. Les modèles cherchent systématiquement à utiliser des compétences et des outils dotés de privilèges plus élevés que ce que la tâche requiert, échouant dans les deux étapes à des taux qui restent élevés, même pour les modèles les plus performants disponibles. L'échec est particulièrement grave dans les conditions ordinaires d'interaction réelle avec l'utilisateur : spécification incomplète, cadrage de commodité et proximité des limites de compétence. Aucune de ces conditions ne nécessite une construction antagoniste. Les résultats indiquent que la couche de compétences, loin de contenir le comportement de l'agent, constitue elle-même une source principale d'escalade de privilèges dans les systèmes actuels.

Les générateurs biomoléculaires sont souvent adaptés avec une rétroaction par récompense pour améliorer leur utilité spécifique à une tâche, mais maximiser uniquement l'utilité peut concentrer la génération sur une famille restreinte de candidats. Maintenir la diversité est difficile car la diversité d'un échantillon est une propriété au niveau de l'ensemble. Nous présentons l'Optimisation Relative de Politique par Supergroupe (SGRPO), un cadre flexible de type GRPO qui construit directement les récompenses à partir de la diversité au niveau des ensembles. Pour chaque condition, SGRPO échantillonne un supergroupe d'ensembles candidats, compare leur diversité sous la même condition, et redistribue la récompense de diversité du groupe aux roulages individuels via des contributions de diversité par leave-one-out, avant de la combiner avec l'utilité au niveau du roulage. Cette conception découple SGRPO d'un générateur, d'une récompense d'utilité ou d'une métrique de diversité particuliers, et permet son instanciation avec différentes approches de type GRPO. Nous évaluons SGRPO sur la conception de petites molécules de novo, la conception de petites molécules basée sur une poche, et la conception de protéines de novo, en l'instanciant avec GRPO et Coupled-GRPO sur des générateurs autorégressifs et à diffusion discrète. Sur les balayages de décodage, SGRPO élargit la frontière de Pareto utilité-diversité et atteint les meilleures métriques au niveau de la frontière par rapport aux générateurs pré-entraînés, à GRPO et à GRPO assisté par mémoire, lorsque applicable. Nos analyses montrent en outre que les récompenses directes de diversité au niveau des ensembles restent efficaces avec de petits groupes et aident à préserver une couverture plus large de la distribution de génération pendant le post-entraînement. Le code est disponible à https://github.com/IDEA-XL/SGRPO.

Nous présentons une méthode adaptative aux données pour la mise au point efficace en paramètres des grands réseaux de neurones. Les méthodes standard d’adaptation de faible rang améliorent l’efficacité en restreignant la mise à jour de chaque couche à une forme de faible rang fixe, mais cette paramétrisation statique peut s’avérer trop rigide lorsque la correction appropriée dépend de l’entrée et du calcul évolutif en profondeur du réseau. Notre approche remplace un adaptateur purement local à une couche par une mémoire partagée interrogable constituée d’atomes de mise à jour de faible rang. Pour chaque bloc de couches, le modèle forme une requête à partir de l’état courant de faible rang et d’un résumé courant des blocs précédents, utilise cette requête pour récupérer une combinaison dépendante du contenu des composants de mise à jour partagés via l’attention, et applique l’opérateur routé résultant dans le goulot d’étranglement de faible rang. Ainsi, la méthode conserve l’efficacité et la passation à l’échelle de l’adaptation de faible rang tout en permettant à la mise à jour effective de varier selon les entrées et de partager des structures réutilisables entre les couches. L’architecture résultante offre un juste milieu fondé entre les mises à jour statiques de type LoRA et les mises à jour de paramètres entièrement générées : elle reste compacte et efficace en paramètres tout en permettant une adaptation dynamique et sensible au contexte. De plus, nous intégrons une régularisation par instructions en augmentant les logits de routage avec un a priori induit par le langage sur les atomes de mise à jour, ce qui biaise la sélection des transformations de faible rang vers des directions sémantiquement pertinentes sans générer des mises à jour de paramètres non contraintes. Les expériences sur des tâches de régression non linéaire bruitée et sur la mise au point de LLM suggèrent que cette formulation de mémoire de mise à jour interrogable peut améliorer la performance finale en test et la stabilité de l’entraînement par rapport à l’adaptation de faible rang standard, tout en utilisant un nombre comparable de paramètres entraînables.

La synthèse de nouvelles vues généralisable vise à générer des vues non observées à partir d'images d'entrée non calibrées, sans nécessiter d'optimisation par scène. Les approches récentes de type feed-forward basées sur le 3D Gaussian Splatting ont atteint une efficacité et une qualité de rendu prometteuses. Cependant, la plupart d'entre elles attribuent un nombre fixe de gaussiennes à chaque pixel ou voxel, ignorant la complexité spatialement variable des scènes réelles. Une telle allocation uniforme gaspille souvent les primitives gaussiennes dans les régions lisses, tout en offrant une capacité insuffisante pour les structures fines, la géométrie complexe et les détails haute fréquence. Ce constat nous motive à prédire des cardinalités de primitives dépendantes de la région plutôt que d'imposer un budget de primitives fixe partout, permettant ainsi une représentation de scène 3D plus expressive tout en restant compacte. Nous proposons donc SplatWeaver, un cadre de synthèse de nouvelles vues généralisable capable d'allouer dynamiquement des primitives gaussiennes sur différentes régions de manière feed-forward. Plus précisément, SplatWeaver introduit des experts de cardinalité gaussienne et un mécanisme de routage au niveau du pixel, où chaque expert se spécialise dans la production d'un nombre spécifique de primitives (de 0 à M), et le mécanisme de routage coordonne ces experts pour déterminer de manière adaptative le nombre de primitives gaussiennes à allouer à chaque emplacement spatial. De plus, SplatWeaver intègre un prior haute fréquence avec un module d'orientation associé et une régularisation du routage pour stabiliser la sélection des experts et promouvoir une allocation consciente de la complexité. En exploitant les indices structurels haute fréquence, le processus de routage est encouragé à attribuer davantage de primitives gaussiennes aux structures fines, à la géométrie complexe et aux régions texturées, tout en supprimant les primitives redondantes dans les zones lisses. Des expériences approfondies menées sur divers scénarios montrent que SplatWeaver surpasse systématiquement les méthodes de pointe, en produisant des rendus de nouvelles vues plus fidèles avec moins de primitives gaussiennes.

L'estimation dense du contact de la main nécessite à la fois une compréhension sémantique de haut niveau et un raisonnement géométrique fin de l'interaction humaine pour localiser précisément les zones de contact. Récemment, les modèles de langage multimodaux de grande taille (MLLMs) ont démontré de fortes capacités de compréhension sémantique visuelle, grâce à des connaissances visio-linguistiques acquises sur des données à grande échelle. Cependant, l'exploitation des MLLMs pour l'estimation dense du contact de la main reste peu explorée. L'application des MLLMs à cette tâche se heurte à deux défis majeurs. Premièrement, encoder une géométrie explicite de la main en 3D est difficile, car les MLLMs opèrent principalement sur des modalités visuelles et langagières. Deuxièmement, capturer un contact fin au niveau des sommets reste difficile, car les MLLMs ont tendance à se concentrer sur la sémantique de haut niveau plutôt que sur un raisonnement géométrique détaillé. Pour relever ces défis, nous proposons ContactPrompt, une approche sans entraînement et zero-shot pour l'estimation dense du contact de la main utilisant les MLLMs. Afin d'encoder efficacement la géométrie 3D de la main, nous introduisons une segmentation détaillée des parties de la main et une représentation par grille de sommets par partie, fournissant des informations géométriques structurées et localisées. Pour permettre une prédiction dense et précise du contact, nous développons un raisonnement structuré du contact en plusieurs étapes avec conditionnement par partie, comblant progressivement le fossé entre la sémantique globale et la géométrie fine. Ainsi, notre méthode exploite efficacement les capacités de raisonnement des MLLMs tout en permettant une estimation dense et précise du contact de la main. Étonnamment, l'approche proposée surpasse les méthodes supervisées antérieures entraînées sur de grands ensembles de données de contact dense, sans nécessiter aucun entraînement. Les codes seront publiés.

L'édition de connaissances multimodales (EKM) vise à corriger les connaissances internes des grands modèles vision-langage après leur déploiement, mais les schémas comportementaux des modèles post-édition restent peu explorés. Dans cet article, nous identifions un mode de défaillance systémique dans les modèles édités, appelé confusion d'identité d'entité (CIE) : les modèles édités présentent un comportement absurde où des requêtes textuelles concernant l'identité de l'entité d'origine renvoient de manière inattendue des informations sur la nouvelle entité. Pour étudier rigoureusement la CIE, nous construisons EC-Bench, un banc d'essai diagnostique qui sonde directement comment les liaisons image-entité évoluent avant et après l'édition. Notre analyse révèle que la CIE provient de l'incapacité des méthodes existantes à distinguer la liaison image-entité (I-E) et la connaissance relationnelle entité-entité (E-E) dans le modèle, ce qui amène les modèles à surajuster les associations E-E comme raccourci : l'image est toujours perçue comme l'entité d'origine, le nom de la nouvelle entité ne servant que d'étiquette d'identité fallacieuse. Nous explorons également des stratégies d'atténuation potentielles, montrant que contraindre les éditions à l'étape de traitement I-E du modèle encourage les éditions à agir plus fidèlement sur la liaison I-E, réduisant ainsi substantiellement la CIE. Sur la base de ces résultats, nous discutons des desiderata de principe pour une EKM fidèle et fournissons des orientations méthodologiques pour les recherches futures.

Cet article propose une nouvelle approche pour résoudre le défi selon lequel les modèles VLA pré-entraînés échouent souvent à améliorer efficacement les performances et à réduire les coûts d'adaptation lors du réglage fin supervisé standard (SFT). Certaines méthodes avancées de réglage fin avec objectifs d'entraînement auxiliaires peuvent améliorer les performances et réduire le nombre d'étapes de convergence. Cependant, elles entraînent généralement une surcharge computationnelle importante due aux pertes supplémentaires liées aux objectifs auxiliaires. Pour concilier à la fois les capacités améliorées de l'entraînement auxiliaire et la simplicité du SFT standard, nous découplons les deux objectifs du SFT avec objectifs auxiliaires dans l'espace des paramètres, à savoir l'amélioration des capacités générales et l'ajustement des distributions d'actions spécifiques à la tâche. Pour atteindre cet objectif, il suffit d'entraîner le modèle à converger sur un ensemble de tâches à petite échelle en utilisant deux stratégies d'entraînement distinctes, ce qui donne deux modèles affinés. La différence des paramètres entre ces deux modèles peut alors être interprétée comme des vecteurs de capacité fournis par les objectifs auxiliaires. Ces vecteurs sont ensuite fusionnés avec les paramètres pré-entraînés pour former un méta-modèle aux capacités renforcées. De plus, lorsque le SFT standard est augmenté d'une perte de régularisation orthogonale légère, le modèle fusionné atteint des performances comparables aux bases de référence affinées avec objectifs auxiliaires, tout en réduisant la surcharge computationnelle. Les expériences internes et externes démontrent que nos vecteurs de capacité (1) sont efficaces et polyvalents pour divers modèles, (2) peuvent généraliser à de nouveaux environnements et incarnations sans adaptation préalable.

Les méthodes récentes de détection de deepfakes démontrent une amélioration de la généralisation inter-ensembles de données, mais les mécanismes sous-jacents restent peu explorés. Nous introduisons l'hypothèse du mélange alpha (Alpha Blending Hypothesis), selon laquelle les détecteurs à base d'images les plus performants fonctionnent principalement comme des chercheurs de mélange alpha ; plutôt que d'apprendre des anomalies sémantiques ou des empreintes neuronales génératives spécifiques, ils localisent des artefacts de composition de bas niveau introduits lors de l'intégration de visages manipulés dans les images cibles. Nous validons expérimentalement cette hypothèse, démontrant que les détecteurs de deepfakes présentent une sensibilité élevée aux images dites auto-mélangées (SBI) et aux manipulations non génératives. Nous proposons la méthode BlenD qui exploite un ensemble de données à grande échelle et diversifié d'images faciales réelles uniquement, augmenté avec des SBI. Cette approche atteint la meilleure moyenne de généralisation inter-ensembles de données sur 15 ensembles de données compositionnelles de deepfakes publiés entre 2019 et 2025, sans utiliser de deepfakes générés explicitement lors de l'entraînement. De plus, nous montrons que les prédictions issues de chercheurs de mélange explicites et de modèles résilients aux raccourcis de mélange sont hautement complémentaires, obtenant une AUROC de pointe de 94,0 % dans une configuration d'ensemble. Le code des expériences et le modèle entraîné seront mis à disposition publiquement.

La fonction des protéines est souvent contrôlée par des ligands qui biaisent la direction des transitions d'état, tels que les agonistes et les antagonistes, plutôt que par la stabilisation d'une conformation unique. Cela est particulièrement important pour les récepteurs couplés aux protéines G (RCPG) cliniquement pertinents, où l'efficacité thérapeutique dépend de la directionnalité fonctionnelle. Les méthodes de conception basées sur la structure optimisent la liaison à des conformations statiques et ne peuvent pas représenter les effets directionnels non réversibles, ni distinguer systématiquement le comportement agoniste de celui antagoniste. Pour combler cette lacune, nous introduisons la Diffusion Discrète Dirigée par Transition pour la Conception de Liants Allostériques (TD3B), un cadre génératif basé sur les séquences qui conçoit des liants présentant un comportement agoniste ou antagoniste spécifié via un objectif de contrôle directionnel des transitions. TD3B combine un Oracle Directionnel sensible à la cible, une porte de liaison molle (soft binding-affinity gate), et un ajustement amorti d'un modèle de diffusion discrète pré-entraîné, permettant la génération ciblée d'agonistes et d'antagonistes découplée de l'affinité de liaison et inaccessible par des méthodes de guidage basées sur l'équilibre ou uniquement inférentielles. Le code et les points de contrôle sont disponibles à l'adresse https://huggingface.co/ChatterjeeLab/TD3B.

Lorsqu'un agent d'utilisation du téléphone évite un préjudice, cela témoigne-t-il de sa sécurité ou simplement de son incapacité à agir ? Les évaluations existantes ne permettent souvent pas de le déterminer. Un résultat néfaste peut être évité parce que l'agent a reconnu le risque et choisi l'action sûre, ou parce qu'il n'a pas réussi à comprendre l'écran ni à exécuter une quelconque action pertinente. Ces cas ont des causes différentes et appellent des correctifs distincts, pourtant les référentiels actuels les confondent souvent sous les critères de succès de la tâche, de refus ou de résultat final nuisible. Nous abordons ce problème avec PhoneSafety, un référentiel de 700 moments critiques pour la sécurité, issus d'interactions téléphoniques réelles sur plus de 130 applications. Chaque instance isole la décision suivante à un moment risqué et pose une question simple : le modèle prend-il l'action sûre, l'action dangereuse, ou échoue-t-il à faire quoi que ce soit d'utile ? Nous évaluons huit agents d'utilisation du téléphone représentatifs dans ce cadre. Nos résultats révèlent deux tendances principales. Premièrement, une meilleure capacité générale d'utilisation du téléphone n'implique pas de manière fiable des choix plus sûrs lors des moments risqués. Les modèles qui performent le mieux sur les tâches applicatives ordinaires ne sont pas toujours ceux qui se comportent de façon plus sûre lorsque la prochaine action compte. Deuxièmement, les échecs à faire quoi que ce soit d'utile se comportent davantage comme un signal de capacité que comme un signal de sécurité : ils se concentrent dans des environnements plus exigeants visuellement et opérationnellement, et restent stables lorsque le protocole d'évaluation change. D'un modèle à l'autre, les échecs se répartissent en deux schémas récurrents : des choix dangereux dans des situations où le modèle peut agir mais choisit mal, et une incapacité à agir sur des écrans plus exigeants visuellement et opérationnellement. En somme, un résultat inoffensif ne suffit pas à constituer une preuve de sécurité. Évaluer les agents d'utilisation du téléphone nécessite de distinguer le jugement dangereux de l'incapacité à agir.

Les taux d'apprentissage sont généralement considérés comme des hyperparamètres. Cet article isole un calcul local dans l'espace des croyances : lorsqu'une mise à jour est modélisée comme un pas projeté vers l'avant sur le simplexe de probabilité, l'admissibilité correspond à la contractivité dans la géométrie naturelle de Kullback-Leibler/Bregman. Selon ce modèle, la borne supérieure d'un pas admissible n'est pas un slogan d'ajustement mais une formule.

La pondération accrue des données de haute qualité lors du pré-entraînement des modèles linguistiques (LLM) améliore souvent les performances, mais dans des régimes de données limitées, surtout en cas de surentraînement, une pondération plus forte augmente les répétitions et peut dégrader les résultats. Cependant, les lois d'échelle classiques ne permettent pas d'extrapoler de manière fiable entre différentes recettes de mélange ou en présence de répétitions, rendant la sélection des recettes de données optimales pour la mise à l'échelle indéterminée. Pour résoudre ce problème, nous introduisons InfoLaw (Lois d'Échelle Informationnelles), un cadre d'échelle prenant en compte les données, qui prédit la perte à partir des tokens consommés, de la taille du modèle, des poids de mélange des données et des répétitions. L'idée clé est de modéliser le pré-entraînement comme une accumulation d'information, où la qualité contrôle la densité informationnelle et les répétitions induisent des rendements décroissants dépendants de l'échelle. Nous commençons par recueillir les performances du modèle après entraînement sur des jeux de données variant en taille, distribution de qualité et niveau de répétition. Ensuite, nous construisons un modèle informationnel permettant de prédire précisément ces performances. InfoLaw prédit les performances pour des recettes de données inédites et des exécutions à plus grande échelle (jusqu'à 7B, 425B tokens) avec une erreur absolue moyenne de 0,15 % et maximale de 0,96 % sur la perte, et extrapole de manière fiable à travers différents niveaux de surentraînement, permettant une sélection efficace des recettes de données pour divers budgets de calcul.