Articles du Jour

Nous présentons MindLab Toolkit (MinT), un système d’infrastructure géré pour le post-entraînement et le service en ligne par adaptation de faible rang (LoRA). MinT cible un scénario où de nombreuses politiques entraînées sont produites à partir d’un petit nombre de déploiements coûteux de modèles de base. Au lieu de matérialiser chaque politique sous la forme d’un point de contrôle complet fusionné, MinT maintient le modèle de base résident et déplace les révisions d’adaptateurs LoRA exportés à travers les étapes de déploiement, mise à jour, exportation, évaluation, service et retour arrière, en dissimulant l’entraînement distribué, le service, l’ordonnancement et le transfert de données derrière une interface de service. MinT met à l’échelle ce chemin selon trois axes. La montée en échelle (Scale Up) étend le RL LoRA aux architectures denses et MoE de pointe, y compris les chemins d’attention MLA et DSA, avec un entraînement et un service validés au-delà de 1T de paramètres totaux. La descente en échelle (Scale Down) ne déplace que l’adaptateur LoRA exporté, qui peut représenter moins de 1 % de la taille du modèle de base dans des configurations de rang 1 ; le transfert exclusif de l’adaptateur réduit le temps mesuré d’un facteur 18,3x sur un modèle dense de 4B et de 2,85x sur un MoE de 30B, tandis que le GRPO concurrent multi-politiques réduit le temps réel d’un facteur 1,77x et 1,45x sans augmenter la mémoire de pointe. L’extension vers l’extérieur (Scale Out) sépare l’adressabilité durable des politiques des espaces de travail CPU/GPU : un déploiement parallèle tensoriel prend en charge des catalogues adressables à l’échelle de 10^6 (balayages mesurés d’un seul moteur à travers 100K) et des vagues actives de milliers d’adaptateurs à l’échelle du cluster, le chargement à froid étant traité comme un travail de service planifié et les tenseurs LoRA MoE compactés améliorant le chargement en direct du moteur de 8,5 à 8,7x. MinT gère ainsi des catalogues de politiques LoRA à l’échelle du million tout en entraînant et en servant des révisions d’adaptateurs sélectionnées sur des modèles de base partagés de classe 1T.

Les modèles fondation tabulaires ont récemment établi l'état de l'art en apprentissage tabulaire supervisé, en exploitant le pré-entraînement pour apprendre des représentations généralisables de données structurées numériques et catégorielles. Cependant, ils ne prennent pas en charge nativement les modalités non structurées telles que le texte et l'image, et s'appuient sur des embeddings figés et pré-entraînés pour les traiter. Sur des bancs d'essai établis d'apprentissage tabulaire multimodal, nous montrons qu'ajuster les embeddings à la tâche améliore les performances. Les bancs d'essai existants, pourtant, se concentrent souvent sur la simple cooccurrence des modalités ; cela conduit à une variance élevée entre les jeux de données et masque les bénéfices d'un ajustement spécifique à la tâche. Pour combler cette lacune, nous introduisons MulTaBench, un banc d'essai de 40 jeux de données, répartis équitablement entre des tâches image-tabulaire et texte-tabulaire. Nous nous concentrons sur des tâches prédictives où les modalités fournissent un signal prédictif complémentaire, et où les embeddings génériques perdent des informations critiques, nécessitant des représentations conscientes de la cible, alignées sur la tâche. Nos résultats expérimentaux démontrent que les gains provenant de l'ajustement des représentations conscientes de la cible se généralisent à la fois aux modalités texte et image, à plusieurs apprenants tabulaires, échelles d'encodeur et dimensions d'embedding. MulTaBench constitue le plus grand effort d'évaluation comparative image-tabulaire à ce jour, couvrant des domaines à fort impact tels que la santé et le commerce électronique. Il est conçu pour permettre la recherche de nouvelles architectures intégrant une modélisation conjointe et des représentations conscientes de la cible, ouvrant la voie au développement de nouveaux modèles fondation tabulaires multimodaux.

La génération vidéo en quelques étapes a été considérablement améliorée par la distillation de cohérence. Cependant, les performances des modèles distillés par cohérence se dégradent souvent lorsque davantage d'étapes d'échantillonnage sont allouées au moment du test, limitant ainsi leur efficacité pour la diffusion vidéo à nombre d'étapes quelconque. Cette limitation provient du fait que la distillation de cohérence remplace la trajectoire originale de l'EDO de flux de probabilité par une trajectoire d'échantillonnage de cohérence, affaiblissant le comportement souhaitable de passage à l'échelle de l'échantillonnage par EDO lors du test. Pour remédier à cette limitation, nous introduisons AnyFlow, le premier cadre de distillation de diffusion vidéo à nombre d'étapes quelconque, basé sur des cartes de flot. Au lieu de distiller un modèle pour seulement quelques étapes d'échantillonnage fixes, AnyFlow optimise la trajectoire complète d'échantillonnage par EDO. À cette fin, nous déplaçons l'objectif de distillation de l'application de cohérence de point final (z_{t}rightarrow z_{0}) vers l'apprentissage de transition par carte de flot (z_{t}rightarrow z_{r}) sur des intervalles de temps arbitraires. Nous proposons également la simulation rétrograde par carte de flot, qui décompose un déroulement complet d'Euler en transitions de carte de flot raccourcies, permettant une distillation on-policy efficace qui réduit les erreurs au moment du test (c'est-à-dire l'erreur de discrétisation dans l'échantillonnage en quelques étapes et le biais d'exposition dans la génération causale). Des expériences approfondies sur des architectures bidirectionnelles et causales, à des échelles allant de 1,3 à 14 milliards de paramètres, démontrent qu'AnyFlow atteint des performances égales ou supérieures à celles des modèles basés sur la cohérence dans le régime à quelques étapes, tout en passant à l'échelle avec les budgets d'étapes d'échantillonnage.

La modélisation à long contexte devient une capacité centrale des grands modèles vision-langage (LVLM) modernes, permettant une gestion soutenue du contexte dans la compréhension de longs documents, l’analyse vidéo et l’utilisation d’outils multi-tours au sein de workflows agentiques. Pourtant, les recettes d’entraînement pratiques restent insuffisamment explorées, en particulier pour la conception et l’équilibrage des mélanges de données à long contexte. Dans ce travail, nous présentons une étude systématique du pré-entraînement continu à long contexte pour les LVLM, en étendant un modèle 7B de 32K à 128K de contexte avec des ablations approfondies sur les données de longs documents. Nous montrons d’abord que le VQA sur longs documents est nettement plus efficace que la transcription OCR. En nous appuyant sur cette observation, nos ablations révèlent en outre trois résultats clés : i) pour la distribution de la longueur des séquences, les données équilibrées surpassent les données ciblant une longueur spécifique (par exemple, 128K), suggérant que la capacité à long contexte nécessite une récupération généralisable d’informations clés à travers différentes longueurs et positions ; ii) la récupération reste le principal goulot d’étranglement, favorisant les mélanges axés sur la récupération avec des données de raisonnement modestes pour la diversité des tâches ; et iii) le VQA pur sur longs documents préserve largement les capacités à court contexte, suggérant que les données longues formatées en instructions réduisent le besoin de mélange avec des données courtes. Sur la base de ces résultats, nous présentons MMProLong, obtenu par pré-entraînement continu à long contexte à partir de Qwen2.5-VL-7B avec seulement un budget de 5B tokens. MMProLong améliore les scores de VQA sur longs documents de 7,1 % et maintient des performances solides à des contextes de 256K et 512K au-delà de sa fenêtre d’entraînement de 128K, sans entraînement supplémentaire. Il se généralise en outre à la récupération d’aiguilles multimodales sur pages web, à la compression vision-texte à long contexte et à la compréhension de longues vidéos sans supervision spécifique à la tâche. Dans l’ensemble, notre étude établit une recette LongPT pratique et une base empirique pour faire progresser les modèles vision-langage à long contexte.

Les agents vocaux, systèmes d'intelligence artificielle qui mènent des conversations parlées pour accomplir des tâches, sont de plus en plus déployés dans les applications d'entreprise. Cependant, aucun banc d'essai existant ne traite conjointement deux défis fondamentaux de l'évaluation : générer des conversations simulées réalistes et mesurer la qualité sur l'ensemble des modes de défaillance spécifiques à la voix. Nous présentons EVA-Bench, un cadre d'évaluation de bout en bout qui répond à ces deux défis. Du côté de la simulation, EVA-Bench orchestre des conversations audio de robot à robot sur des dialogues dynamiques à plusieurs tours, avec une validation automatique de la simulation qui détecte les erreurs du simulateur utilisateur et régénère de manière appropriée les conversations avant la notation. Du côté de la mesure, EVA-Bench introduit deux métriques composites : EVA-A (Accuracy), qui capture l'accomplissement des tâches, la fidélité et la fidélité audio au niveau du signal ; et EVA-X (Experience), qui capture la progression de la conversation, la concision parlée et le timing des tours de parole. Les deux métriques s'appliquent à différentes architectures d'agents, permettant une comparaison directe entre architectures. EVA-Bench comprend 213 scénarios dans trois domaines d'entreprise, une suite de perturbations contrôlées pour la robustesse aux accents et au bruit, ainsi que des mesures pass@1, pass@k, pass^k qui distinguent la performance maximale de la performance fiable. À travers 12 systèmes couvrant les trois architectures, nous constatons : (1) aucun système ne dépasse simultanément 0,5 sur à la fois EVA-A pass@1 et EVA-X pass@1 ; (2) les performances maximale et fiable divergent considérablement (écart médian pass@k - pass^k de 0,44 sur EVA-A) ; et (3) les perturbations d'accent et de bruit révèlent des écarts de robustesse substantiels, avec des effets variant selon les architectures, les systèmes et les métriques (moyenne allant jusqu'à 0,314). Nous publions le cadre complet, la suite d'évaluation et les données du banc d'essai sous une licence open-source.

Des agents d’IA négocient et effectuent des transactions en langage naturel avec des interlocuteurs inconnus : un robot acheteur face à un vendeur inconnu, ou un assistant d’approvisionnement négociant avec un fournisseur. Dans ce type d’interactions, le LLM, les invites, la logique de contrôle et les solutions de repli fondées sur des règles de l’interlocuteur sont masqués, tandis que chaque décision peut avoir des conséquences monétaires. Nous nous demandons si un agent peut prédire la prochaine décision d’un interlocuteur inconnu après seulement quelques interactions. Afin d’éviter les facteurs de confusion liés à la journalisation dans le monde réel, nous étudions ce problème dans des jeux de négociation et de marchandage contrôlés, en le formulant comme une prédiction text-tabulaire adaptative à la cible : chaque point de décision est une ligne d’un tableau combinant l’état structuré du jeu, l’historique des offres et le dialogue, tandis que les K parties précédentes du même agent cible (l’interlocuteur modélisé) sont fournies dans l’invite comme exemples d’adaptation étiquetés. Notre modèle repose sur un modèle de base tabulaire qui représente les lignes à l’aide de caractéristiques de l’état du jeu et de représentations textuelles issues d’un LLM, et ajoute le LLM en tant qu’Observateur comme représentation supplémentaire : un petit LLM figé lit l’état et le dialogue au moment de la décision ; sa réponse est écartée, et son état caché devient une caractéristique orientée décision, faisant du LLM un encodeur plutôt qu’un prédicteur direct en quelques exemples. Entraîné sur 13 agents LLM de pointe et testé sur 91 agents avec échafaudage non vus, le modèle complet surpasse les approches de référence que sont l’invite directe du LLM en tant que Prédicteur et les caractéristiques combinant texte et jeu. Au sein de ce modèle tabulaire, les caractéristiques de l’Observateur apportent une contribution supplémentaire par rapport aux autres schémas de caractéristiques : à K=16, elles améliorent l’AUC de prédiction des réponses d’environ 4 points dans les deux tâches et réduisent l’erreur de prédiction des offres de marchandage de 14 %. Ces résultats montrent que formuler la prédiction de l’interlocuteur comme une tâche text-tabulaire adaptative à la cible permet une adaptation efficace, et que les représentations cachées des LLM exposent des signaux pertinents pour la décision que l’invite directe ne fait pas émerger.

Nous présentons Qwen-Image-VAE-2.0, une suite d'autoencodeurs variationnels (VAE) à haute compression qui réalisent des avancées significatives tant en fidélité de reconstruction qu'en diffusabilité. Pour remédier aux goulots d'étranglement de reconstruction liés à la haute compression, nous adoptons une architecture améliorée comportant des connexions de saut globales (GSC) et des canaux latents élargis. De plus, nous passons à l'échelle l'entraînement sur des milliards d'images et intégrons un moteur de rendu synthétique pour améliorer les performances dans les scénarios riches en texte. Pour relever les défis de convergence de l'espace latent de haute dimension, nous mettons en œuvre une stratégie d'alignement sémantique améliorée afin de rendre l'espace latent hautement propice à la modélisation par diffusion. Afin d'optimiser l'efficacité computationnelle, nous tirons parti d'un backbone encodeur-décodeur asymétrique et sans attention pour minimiser la surcharge d'encodage. Nous présentons une évaluation complète de Qwen-Image-VAE-2.0 sur des benchmarks publics de reconstruction. Pour évaluer les performances dans les scénarios riches en texte, nous proposons OmniDoc-TokenBench, un nouveau benchmark comprenant une collection diversifiée de documents du monde réel associée à des métriques d'évaluation spécialisées basées sur l'OCR. Qwen-Image-VAE-2.0 atteint des performances de reconstruction de pointe, démontrant des capacités exceptionnelles tant dans les domaines généraux que dans les scénarios riches en texte avec un taux de compression élevé. De plus, des expériences en aval sur DiT révèlent que nos modèles possèdent une diffusabilité supérieure, accélérant significativement la convergence par rapport aux références existantes à haute compression. Cela établit Qwen-Image-VAE-2.0 comme un modèle de premier plan offrant une compression élevée, une reconstruction supérieure et une diffusabilité exceptionnelle.

Les modèles récents d'édition d'images ont réalisé des progrès remarquables en matière de suivi d'instructions, de compréhension multimodale et d'édition visuelle complexe. Cependant, les références existantes ne reflètent souvent pas fidèlement le jugement humain, en particulier pour les modèles de pointe, en raison de la difficulté limitée des tâches et de protocoles d'évaluation à granularité grossière. Parallèlement, les modèles de récompense deviennent de plus en plus importants pour l'optimisation de l'édition d'images basée sur l'apprentissage par renforcement (RL), mais les références actuelles de modèles de récompense reposent encore sur des cadres d'évaluation irréalistes qui s'écartent des scénarios RL pratiques. Ces limitations entravent une évaluation fiable à la fois des modèles d'édition d'images et des modèles de récompense. Pour relever ces défis, nous présentons Edit-Compass et EditReward-Compass, une suite d'évaluation unifiée pour l'édition d'images et la modélisation de récompense. Edit-Compass contient 2 388 instances soigneusement annotées couvrant six catégories de tâches de difficulté progressive, incluant des capacités telles que le raisonnement sur les connaissances du monde, le raisonnement visuel et l'édition multi-images. Au-delà d'une large couverture des tâches, Edit-Compass adopte un cadre d'évaluation multidimensionnelle fine basé sur un raisonnement structuré et des grilles de notation soigneusement conçues. Parallèlement, EditReward-Compass contient 2 251 paires de préférence qui simulent des scénarios réalistes de modélisation de récompense lors de l'optimisation par RL.

Le suivi 3D dense à partir d'une vidéo monoculaire est fondamental pour la compréhension de scènes dynamiques. Alors que les récents modèles 3D fondamentaux fournissent une géométrie fiable par image, la récupération du mouvement des objets dans cette géométrie reste difficile et bénéficie de fortes contraintes de mouvement apprises à partir de vidéos réelles. Les trajectographes 3D existants suivent soit des paradigmes itératifs entraînés à partir de zéro sur des données synthétiques, soit affinent des modèles de reconstruction 3D appris à partir d'images multi-vues statiques, les deux manquant de contraintes de mouvement issues du monde réel. Les transformateurs de diffusion vidéo pré-entraînés (video DiTs) offrent de riches contraintes spatio-temporelles à partir de vidéos à l'échelle d'Internet, ce qui en fait une base prometteuse pour le suivi 3D. Cependant, leur formulation ancrée sur l'image, qui génère le contenu de chaque image, est fondamentalement incompatible avec le suivi 3D dense ancré sur la référence, qui doit suivre les mêmes points physiques à partir d'une image de référence à travers le temps. Nous présentons TrackCraft3R, la première méthode à réutiliser un video DiT comme trajectographe 3D dense feed-forward. Étant donné une vidéo monoculaire et sa carte de points de reconstruction ancrée sur l'image, TrackCraft3R prédit une carte de points de suivi ancrée sur la référence qui suit chaque pixel de la première image à travers le temps en un seul passage avant, ainsi que sa visibilité. Nous y parvenons grâce à deux conceptions : (i) une représentation à double latent qui utilise des latents de géométrie par image et des latents de trajectoire ancrés sur la référence comme requêtes denses, et (ii) un alignement temporel RoPE, qui spécifie l'horodatage cible de chaque latent de trajectoire. Ensemble, ces conceptions convertissent le paradigme génératif par image des video DiTs en une formulation de suivi ancrée sur la référence avec un fine-tuning LoRA. TrackCraft3R atteint des performances de pointe sur les benchmarks standards de suivi 3D dense et parcimonieux, tout en étant 1,3 fois plus rapide et en utilisant 4,6 fois moins de mémoire de pointe que la méthode antérieure la plus performante. Nous démontrons en outre sa robustesse face aux grands mouvements et aux longues vidéos.

L'apprentissage en contexte (ICL) adapte les grands modèles de langage (LLMs) à de nouvelles tâches en se basant sur des démonstrations dans le prompt sans mise à jour des paramètres. Avec les modèles à contexte long, l'ICL à nombreux exemples peut utiliser des dizaines à des centaines d'exemples et atteindre des performances comparables au fine-tuning, mais la compréhension actuelle de son comportement d'échelle provient principalement de tâches non liées au raisonnement. Nous étudions l'apprentissage en contexte avec chaîne de pensée à nombreux exemples (CoT-ICL) pour le raisonnement et montrons que les règles standard des nombreux exemples ne se transfèrent pas. À travers des LLMs non orientés raisonnement et orientés raisonnement, et à travers des tâches non liées au raisonnement et de raisonnement, nous observons : (i) un effet d'échelle dépendant du contexte, où l'augmentation du nombre de démonstrations CoT est instable pour les LLMs non orientés raisonnement et bénéficie principalement aux LLMs orientés raisonnement ; (ii) la récupération basée sur la similarité aide sur les tâches non liées au raisonnement mais échoue sur le raisonnement, car la similarité sémantique prédit mal la compatibilité procédurale (c'est-à-dire CoT) ; et (iii) un effet d'échelle de l'ordre, où la variance des performances augmente avec davantage de démonstrations CoT. Nous interprétons ces comportements en considérant le CoT-ICL à nombreux exemples comme un apprentissage en contexte en phase de test plutôt qu'un appariement de motifs à grande échelle, et suggérons deux principes : (i) les démonstrations doivent être faciles à comprendre pour le modèle cible, et (ii) elles doivent être ordonnées pour soutenir une progression conceptuelle fluide. Guidés par ce principe, nous proposons la Sélection Curvilinéaire de Démonstrations (CDS), une méthode d'ordonnancement simple qui permet un gain allant jusqu'à 5,42 points de pourcentage en géométrie avec 64 démonstrations. Dans l'ensemble, nos résultats refaçonnent la fenêtre de contexte long, passant d'un réservoir de récupération à un curriculum structuré pour l'apprentissage en contexte en phase de test.

Les politiques Vision-Langage-Action (VLA) sont généralement entraînées à partir de trajectoires denses de démonstrations robotiques, souvent collectées par téléopération, en échantillonnant chaque image enregistrée comme si elle fournissait une supervision aussi utile. Nous soutenons que cette convention crée un déséquilibre temporel de supervision : de longs segments à faible variation dominent le flux d’entraînement, tandis que les transitions critiques pour la manipulation – telles que l’alignement, le contact, la préhension et le relâchement – n’apparaissent que de manière éparse. Nous introduisons FrameSkip, un cadre de sélection d’images au niveau des données qui note les images de trajectoire en utilisant la variation d’action, la cohérence visuo-action, les a priori de progression de tâche et la conservation des transitions de la pince, puis remappe les échantillons d’entraînement vers les images à haute importance selon un taux de rétention cible. FrameSkip n’opérant que dans le chargeur de données, il laisse inchangés l’architecture VLA, la tête d’action, l’objectif d’entraînement et la procédure d’inférence. Sur RoboCasa-GR1, SimplerEnv et LIBERO, FrameSkip améliore le compromis succès-rétention par rapport à l’entraînement sur toutes les images et à des variantes plus simples de sélection d’images, atteignant un taux de succès macro-moyen de 76,15 % sur les trois benchmarks, contre 66,50 % pour l’entraînement sur toutes les images, tout en utilisant une vue de trajectoire compressée qui conserve 20 % des images uniques dans le paramétrage principal.

Une évolution plausible de la scène dépend de la manœuvre considérée, tandis qu'une bonne manœuvre dépend de la manière dont la scène peut évoluer. Les modèles de monde et d'action (WAM) existants négligent largement cette réciprocité, traitant la prédiction du monde et la génération d'actions soit comme des branches parallèles isolées, soit comme des pipelines rigides de type « prédire puis planifier ». Nous formalisons cette perspective sous le nom de modèles interactifs monde-action (WAIM), et l'instancions dans la conduite autonome avec DAWN (Denoising Actions and World iNteractive model), une base générative latente simple mais puissante. DAWN opère dans un espace latent sémantique compact et couple un prédicteur du monde avec un débruitage d'action conditionné par le monde : l'hypothèse prédite du monde conditionne le débruitage de l'action, tandis que l'hypothèse d'action débruitée est renvoyée pour mettre à jour la prédiction du monde, de sorte que les deux sont affinées de manière récursive lors de l'inférence. Plutôt que d'éliminer entièrement l'évolution du monde au moment du test ou de dérouler l'intégralité du futur dans l'espace pixel, DAWN effectue un court déroulement latent explicite suffisant pour soutenir la génération de trajectoires à long horizon dans des scènes interactives complexes. Les expériences montrent que DAWN atteint de bonnes performances de planification et des résultats favorables en matière de sécurité sur plusieurs références de conduite autonome. Plus largement, nos résultats suggèrent que la génération interactive monde-action est une voie fondatrice vers des modèles du monde véritablement actionnables.

La génération par flot dans des espaces de haute dimension est difficile car la prédiction de vélocité nécessite de modéliser un bruit de haute dimension, même lorsque les données présentent une forte structure de faible rang. Nous présentons la modélisation de flot asymétrique (AsymFlow), une paramétrisation de vélocité asymétrique en rang qui restreint la prédiction du bruit à un sous-espace de faible rang tout en conservant une prédiction des données en pleine dimension. À partir de cette prédiction asymétrique, AsymFlow récupère analytiquement la vélocité en pleine dimension sans modifier l'architecture du réseau ni les procédures d'entraînement ou d'échantillonnage. Sur ImageNet 256×256, AsymFlow atteint un FID de pointe de 1,57, surpassant largement les modèles de diffusion de pixels antérieurs de type DiT/JiT. AsymFlow offre également la toute première voie pour affiner des modèles de flot latents pré-entraînés en modèles d'espace pixel : l'alignement du sous-espace pixel de faible rang sur l'espace latent donne une initialisation transparente qui préserve la sémantique et la structure de haut niveau du modèle latent, de sorte que l'affinage améliore principalement les inadéquations de bas niveau plutôt que de réapprendre la génération de pixels. Nous montrons que le modèle AsymFlow pixel affiné à partir de FLUX.2 klein 9B établit un nouvel état de l'art pour la génération texte-image dans l'espace pixel, surpassant sa base latente sur HPSv3, DPG-Bench et GenEval tout en montrant qualitativement un réalisme visuel considérablement amélioré.

L'apprentissage par renforcement agentique (RL) pour les grands modèles de langage (LLMs) dépend de manière cruciale de la capacité d'exploration de la politique de base, car les signaux d'apprentissage n'émergent qu'à l'intérieur de sa région de compétence. Pour les tâches où la politique de base ne peut pas atteindre les états de récompense, un entraînement supplémentaire ou un guidage externe est nécessaire pour retrouver des signaux d'apprentissage efficaces. Plutôt que de recourir à un ajustement fin supervisé (SFT) itératif et coûteux, nous exploitons les abondantes données d'action générées dans les interactions humaines quotidiennes. Nous proposons ActGuide-RL, qui injecte les données d'action sous forme de guidage de référence de type plan, permettant à la politique agentique de surmonter les barrières d'accessibilité aux états de récompense. Les déploiements guidés et non guidés sont ensuite optimisés conjointement via un entraînement à politique mixte, internalisant les gains d'exploration dans la politique non guidée. Motivés par une analyse théorique et empirique du compromis bénéfice-risque, nous adoptons un principe d'intervention minimale qui invoque le guidage uniquement comme un repli adaptatif, correspondant à la difficulté de la tâche tout en minimisant le risque hors politique. Sur les bancs d'essai d'agents de recherche, ActGuide-RL améliore considérablement par rapport à un RL zéro (+10,7 points de pourcentage sur GAIA et +19 points de pourcentage sur XBench avec Qwen3-4B), et obtient des performances comparables au pipeline SFT+RL sans aucun démarrage à froid. Cela suggère un nouveau paradigme pour le RL agentique qui réduit la dépendance aux données SFT lourdes en utilisant plutôt un guidage d'action évolutif.

La récupération de mémoire dans les systèmes d'agents basés sur de grands modèles de langage (LLM) est souvent traitée comme un problème de recherche statique, reposant sur une recherche vectorielle plate ou des graphes relationnels binaires fixes. Cependant, les structures de graphes fixes ne peuvent pas capturer la force variable, la confiance et la pertinence dépendante de la requête des relations entre les événements. Dans cet article, nous proposons HAGE, un cadre de mémoire multi-relationnelle pondérée qui reconceptualise la récupération comme un parcours séquentiel conditionné par la requête sur un graphe de mémoire relationnelle unifié. La mémoire est organisée en vues de graphes spécifiques à chaque relation sur des nœuds de mémoire partagés, où chaque arête est associée à un vecteur de caractéristiques relationnelles entraînables encodant plusieurs signaux relationnels. Étant donné une requête, un classifieur basé sur un LLM identifie l'intention relationnelle, et un réseau de routage module dynamiquement les dimensions correspondantes du plongement d'arête. Les scores de parcours sont calculés via une combinaison apprise de similarité sémantique et de ces représentations d'arêtes conditionnées par la requête. Cela permet au parcours de mémoire de prioriser les chemins relationnels à haute utilité tout en supprimant doucement les connexions bruyantes ou faiblement pertinentes. Au-delà du parcours adaptatif, HAGE introduit en outre un cadre d'apprentissage basé sur l'apprentissage par renforcement qui optimise conjointement le comportement de routage et les représentations d'arêtes à l'aide de tâches en aval. Enfin, les résultats empiriques démontrent une précision améliorée du raisonnement à long terme et un compromis précision-efficacité favorable par rapport aux systèmes de mémoire d'agents de pointe. Notre code est disponible à l'adresse https://github.com/FredJiang0324/HAGE_MVPReview.

La génération augmentée par récupération (RAG) est devenue une approche standard pour le question-réponse intensif en connaissances, mais les systèmes existants restent fragiles face aux questions à sauts multiples, où la résolution de la tâche nécessite d’enchaîner plusieurs étapes de récupération et de raisonnement. Les principaux défis sont que les méthodes actuelles représentent le raisonnement sous forme de langage naturel libre, où les états intermédiaires sont implicites, les requêtes de récupération peuvent dériver des entités visées, et les erreurs sont détectées par le même modèle qui les produit, rendant l’auto-réflexion un signal peu fiable et non fondé. Nous observons que le question-réponse à sauts multiples est une forme typique de calcul pas à pas, et que ce processus structuré s’aligne étroitement avec la manière dont les modèles de langage spécialisés dans le code sont entraînés à fonctionner. Motivés par cela, nous introduisons \pyrag, un cadre qui reformule le RAG à sauts multiples comme une synthèse et exécution de programmes. Au lieu de trajectoires de raisonnement en langage libre, \pyrag représente le processus de raisonnement comme un programme Python exécutable utilisant des outils de récupération et de QA, expose les états intermédiaires comme des variables, fournit un retour déterministe via l’exécution, et produit une trace inspectable de l’ensemble du processus de raisonnement. Cette formulation permet en outre une auto-réparation fondée sur le compilateur et une récupération adaptative pilotée par l’exécution, sans aucun entraînement supplémentaire. Des expériences sur cinq bancs d’essai de QA (PopQA, HotpotQA, 2WikiMultihopQA, MuSiQue et Bamboogle) montrent que \pyrag surpasse systématiquement les bases solides sous des réglages sans entraînement et avec apprentissage par renforcement, avec des gains particulièrement importants sur les ensembles de données compositionnelles à sauts multiples. Notre code, nos données et nos modèles sont disponibles publiquement à l’adresse https://github.com/GasolSun36/PyRAG.

La génération de présentations dépasse aujourd'hui la simple création de diapositives statiques pour évoluer vers une génération de vidéos de présentation de bout en bout, ancrée dans la recherche, intégrant des médias multimodaux et une diffusion interactive. Nous présentons PresentAgent-2, un cadre agentif permettant de générer des vidéos de présentation à partir de requêtes utilisateur. Face à une requête ouverte et à un mode de présentation sélectionné, PresentAgent-2 commence par résumer la requête en un sujet ciblé, puis effectue une recherche approfondie sur des sources adaptées aux présentations afin de collecter des ressources multimodales (textes, images, GIFs et vidéos pertinents). Il construit ensuite les diapositives, génère des scripts spécifiques au mode, et compose les diapositives, l'audio et les médias dynamiques en une vidéo de présentation complète. PresentAgent-2 prend en charge trois modes de présentation indépendants au sein d'un cadre unifié : la Présentation Unique, qui génère une vidéo de présentation narrée par un seul intervenant ; la Discussion, qui crée une présentation à plusieurs intervenants avec des rôles structurés (poser des questions directrices, expliquer des concepts, clarifier des détails et résumer les points clés) ; et l'Interaction, qui répond de manière autonome aux questions du public en s'appuyant sur les diapositives générées, les scripts, les preuves extraites et le contexte de la présentation. Pour évaluer ces capacités, nous construisons un référentiel multimodal de présentations couvrant les scénarios de présentation unique, de discussion et d'interaction, avec des critères d'évaluation spécifiques à chaque tâche : qualité du contenu, pertinence des médias, utilisation des médias dynamiques, naturel des dialogues et ancrage des interactions. Dans l'ensemble, PresentAgent-2 étend la génération de présentations de la création de diapositives dépendantes de documents à la génération de vidéos de présentation guidées par des requêtes et fondées sur la recherche, intégrant médias multimodaux, dialogue et interaction. Code : https://github.com/AIGeeksGroup/PresentAgent-2. Site web : https://aigeeksgroup.github.io/PresentAgent-2.

Nous présentons Orthrus, un cadre dual-architecture simple et efficace qui unifie la fidélité de génération exacte des grands modèles de langage (LLM) autorégressifs avec la génération parallèle à haute vitesse des modèles de diffusion. La nature séquentielle du décodage autorégressif standard constitue un goulet d'étranglement fondamental pour l'inférence à haut débit. Bien que les modèles de langage par diffusion tentent de franchir cette barrière via une génération parallèle, ils souffrent d'une dégradation significative des performances, de coûts d'entraînement élevés et d'un manque de garanties rigoureuses de convergence. Orthrus résout cette dichotomie de manière native. Conçu pour s'intégrer de manière transparente dans les Transformers existants, le cadre augmente un LLM figé avec un module léger et entraînable pour créer une vue de diffusion parallèle aux côtés de la vue autorégressive standard. Dans ce système unifié, les deux vues accèdent au même cache de clés-valeurs (KV) haute fidélité ; la tête autorégressive effectue le préremplissage de contexte pour construire des représentations KV précises, tandis que la tête de diffusion effectue la génération parallèle. En employant un mécanisme de consensus exact entre les deux vues, Orthrus garantit une inférence sans perte, offrant jusqu'à un gain de vitesse de 7,8x avec seulement un surcoût de cache mémoire O(1) et des ajouts minimaux de paramètres.

Les ensembles de données de préférence existants pour les modèles texte-image stockent généralement uniquement les images gagnantes/perdantes finales. Cette représentation est insuffisante pour les modèles de flux rectifié (RF), dont la génération est naturellement indexée par un échantillon de bruit a priori spécifique et suit une trajectoire de débruitage quasi rectiligne. En revanche, les alignements antérieurs de type DPO pour les modèles de diffusion estiment généralement les trajectoires en utilisant un processus de bruitage direct indépendant, qui peut être mal adapté aux véritables dynamiques inverses et introduit une variance inutile. Nous proposons l'Optimisation de Préférence Sensible au Bruit A Priori (PNAPO), un cadre d'alignement hors politique spécialisé pour le flux rectifié. PNAPO augmente les données de préférence en conservant les bruits a priori appariés utilisés pour générer chaque image gagnante/perdante, transformant le triplet standard (invite, gagnant, perdant) en un sextuplet. En tirant parti de la propriété de ligne droite du RF, nous estimons les états intermédiaires via une interpolation bruit-image, ce qui contraint l'espace d'estimation de la trajectoire et produit un objectif de substitution plus serré pour l'optimisation des préférences. De plus, nous introduisons une stratégie de régularisation dynamique qui adapte la régularisation DPO en fonction (i) de l'écart de récompense entre le gagnant et le perdant et (ii) de la progression de l'entraînement, améliorant ainsi la stabilité et l'efficacité des échantillons. Les expériences sur les architectures T2I RF de pointe montrent que PNAPO améliore systématiquement les métriques de préférence tout en réduisant considérablement le calcul d'entraînement.

Les unités de soins intensifs (USI) génèrent des flux d'informations cliniques longs, denses et évolutifs, où les médecins doivent réévaluer à plusieurs reprises l'état des patients sous contrainte de temps, soulignant un besoin évident d'un système décisionnel fiable basé sur l'intelligence artificielle. Les bancs d'essai existants pour les USI considèrent généralement les actions cliniques historiques comme une vérité terrain. Cependant, ces actions sont réalisées avec des informations incomplètes et un contexte temporel limité de l'état sous-jacent du patient, et peuvent donc être sous-optimales, ce qui rend difficile l'évaluation des véritables capacités de raisonnement des systèmes d'IA. Nous présentons RealICU, un banc d'essai annoté rétrospectivement pour évaluer les grands modèles de langage (LLM) dans des conditions réalistes d'USI, où les étiquettes sont créées après que des médecins seniors ont examiné l'intégralité de la trajectoire du patient. Nous formulons quatre tâches motivées par les médecins : évaluer l'état du patient, les problèmes aigus, les actions recommandées et les actions "drapeau rouge" qui risquent d'entraîner des résultats dangereux. Nous partitionnons chaque trajectoire par fenêtres de 30 minutes et publions deux ensembles de données : RealICU-Gold avec 930 annotations de fenêtres provenant de 94 patients MIMIC-IV, et RealICU-Scale avec 11 862 fenêtres étendues via Oracle, un étiqueteur LLM rétrospectif validé par des médecins. Les LLM existants, y compris ceux à mémoire augmentée, obtiennent de mauvais résultats sur RealICU, exposant deux modes d'échec : un compromis rappel-sécurité pour les recommandations cliniques, et un biais d'ancrage aux premières interprétations du patient. Nous introduisons en outre ICU-Evo pour étudier les agents à mémoire structurée, qui améliore le raisonnement à long terme mais n'élimine pas complètement les échecs de sécurité. Ensemble, RealICU fournit un banc d'essai cliniquement fondé pour mesurer et améliorer le soutien décisionnel séquentiel de l'IA dans les soins à haut risque. Page du projet : https://chengzhi-leo.github.io/RealICU-Bench/

L'évolutivité de la manipulation robotique est fondamentalement limitée par la rareté des données d'interaction physique alignées sur les tâches. Bien que les modèles de vision-langage (VLM) et les modèles de génération vidéo (VGM) soient prometteurs pour la synthèse autonome de données, ils souffrent respectivement d'un désalignement sémantique-spatial et d'hallucinations physiques. Pour combler cet écart, nous présentons RoboEvolve, un nouveau cadre qui couple un planificateur VLM et un simulateur VGM dans une boucle de co-évolution mutuellement renforçante. Fonctionnant uniquement à partir d'images sources non étiquetées, RoboEvolve exploite un mécanisme à double phase inspiré de la cognition : (i) l'exploration diurne favorise la découverte de comportements ancrés physiquement via une récompense multi-granulaire contrôlée sémantiquement, et (ii) la consolidation nocturne exploite les échecs « quasi-réussis » pour stabiliser l'optimisation de la politique. Guidé par un programme progressif autonome, le système s'étend naturellement des actions atomiques simples aux tâches complexes. Des expériences approfondies démontrent que RoboEvolve (I) atteint une efficacité supérieure, élevant les planificateurs de base de 30 points absolus et amplifiant le succès du simulateur de 48 % en moyenne ; (II) présente une efficacité des données extrême, surpassant les références entièrement supervisées avec seulement 500 sources non étiquetées — une réduction de 50 fois ; et (III) démontre un apprentissage continu robuste sans oubli catastrophique.

Les rétrospectives de compétition sont utiles lorsqu'elles expliquent ce qu’un classement mesurait, comment l’évaluation cachée a modifié les conclusions et quels motifs de conception ont été récompensés. Nous revisitons le défi CODS 2025, une compétition Codabench respectueuse de la vie privée sur l’orchestration multi-agents industrielle construite sur . Nous combinons les feuilles de classement finales, un journal serveur de 300 soumissions, 149 inscriptions d’équipes, les exportations des meilleures soumissions, le rapport des organisateurs gagnants, l’article système compagnon et les arbres sources vérifiés du volet planification. Cinq résultats se dégagent. Premièrement, le classement public de planification sature à 72,73 %, et des consignes plus riches n’améliorent pas ce pic. Deuxièmement, l’évaluation cachée change la donne : les scores publics et privés corrèlent modérément en planification (r = 0,69) mais négativement en exécution (r = −0,13), plusieurs systèmes d’exécution publics à 45,45 % atteignant 63,64 % sur l’ensemble caché. Troisièmement, le terme est numériquement presque inerte dans le composite officiel — combiné sur une échelle de 0 à 1 avec des pourcentages de 0 à 100, il contribue au maximum 0,05 point par volet, et un rééchelonnement inverserait les deux premières équipes. Quatrièmement, la compétition est opérationnellement basée sur les comptes mais substantiellement basée sur les équipes : 149 équipes inscrites se réduisent à 24 avec des scores publics non nuls et 11 complètement classées, tandis que 52,3 % des inscriptions dédupliquées listent plusieurs noms d’utilisateurs. Cinquièmement, les méthodes d’exécution réussies améliorent surtout les garde-fous — sélection de réponses, nettoyage des contaminations, repli et contrôle du contexte — plutôt que des architectures d’agents novatrices. Ces résultats identifient les comportements que l’évaluation a récompensés et motivent l’utilisation de composites tenant compte de l’échelle, de diagnostics de niveau de compétence et de publication d’artefacts versionnés.

Les agents LM à long horizon apprennent à partir d'interactions multi-tours, où une seule erreur précoce peut modifier la distribution des états suivants et faire dérailler toute la trajectoire. Les méthodes existantes présentent des lacunes complémentaires : le fine-tuning supervisé fournit un dense guidage de l'enseignant mais souffre d'un décalage de covariables dû à son entraînement sur des trajectoires hors politique de l'enseignant ; tandis que l'apprentissage par renforcement avec récompenses vérifiables évite ce décalage hors politique en apprenant à partir de rouleaux sur politique, mais avec un retour d'information uniquement parcimonieux sur les résultats. Nous abordons ce dilemme en revisitant l'Agrégation de jeux de données (DAgger) pour les agents LM multi-tours : l'algorithme collecte des trajectoires via une interpolation au niveau du tour entre les politiques de l'étudiant et de l'enseignant, puis l'étudiant est entraîné sur ces trajectoires à l'aide des étiquettes supervisées fournies par l'enseignant. En interagissant directement avec les environnements, nous exposons le modèle à des états réalistes susceptibles d'être rencontrés lors du déploiement, atténuant ainsi efficacement le décalage de covariables. De plus, puisque l'étudiant apprend en imitant le comportement de l'enseignant, il reçoit un retour riche durant l'apprentissage. Pour démontrer que DAgger bénéficie du meilleur des deux mondes, nous avons testé l'algorithme pour entraîner un agent en génie logiciel avec des modèles étudiants à l'échelle 4B et 8B. Sur SWE-bench Verified, notre entraînement de style DAgger améliore la baseline post-entraînement la plus forte de +3,9 points à 4B et de +3,6 points à 8B. L'agent 4B résultant atteint 27,3 %, surpassant des systèmes d'agents SWE 8B représentatifs publiés, tandis que l'agent 8B atteint 29,8 %, dépassant SWE-Gym-32B et se situant à moins de 5 points d'agents plus puissants à l'échelle 32B. Conjointement avec des gains constants sur la partition retenue de SWE-Gym, ces résultats suggèrent l'efficacité de DAgger pour les agents LM modernes à long horizon.

Les grands modèles de raisonnement, tels qu'OpenAI o1 et DeepSeek-R1, tendent à devenir de plus en plus verbeux à mesure que leurs capacités de raisonnement s'améliorent. Ces trajectoires de Chaîne de Pensée (CoT) gonflées excèdent souvent ce que les problèmes sous-jacents exigent, gaspillant ainsi des ressources de calcul, de latence et de budget de contexte. Bien que l'introduction de récompenses basées sur l'efficacité de la longueur lors de l'apprentissage par renforcement offre un remède naturel, les méthodes existantes peinent à relever deux défis fondamentaux : l'équilibre optimal entre exactitude et efficacité est non stationnaire tout au long de l'entraînement, et les budgets de raisonnement intrinsèques varient considérablement selon les problèmes. Se fier à des poids de récompense statiques et à des contraintes globales de longueur impose inévitablement un compromis entre une précision dégradée et une compression non réalisée. Pour surmonter ces limitations, nous proposons LEAD (Raisonnement Adaptatif et Dynamique Économe en Longueur), une méthode qui remplace les heuristiques statiques par des mécanismes d'auto-adaptation en ligne. LEAD calibre dynamiquement le compromis exactitude-efficacité à chaque étape en utilisant une Instabilité à Échelle Potentielle, orientant la capacité d'optimisation vers le signal d'apprentissage le plus informatif. De plus, il estime en ligne une longueur cible adaptative par problème basée sur les rollouts corrects du modèle lui-même, appliquant une récompense symétrique d'efficacité qui pénalise à la fois la sur-réflexion et la sur-compression. Évalué sur cinq benchmarks de raisonnement mathématique, LEAD atteint la précision et le Score de Précision-Efficacité les plus élevés parmi les méthodes de raisonnement efficient entraînées par RL, tout en produisant des sorties nettement plus courtes que le modèle de base.

La fusion de modèles combine des experts de tâches en un seul modèle et évite l'entraînement conjoint, le réentraînement ou le déploiement de nombreux modèles experts, mais le modèle fusionné sous-performe souvent encore les experts de tâches. Nous étudions cet écart de performance à travers la dérive des caractéristiques, c'est-à-dire la différence entre les caractéristiques produites par le modèle fusionné et celles produites par l'expert sur la même entrée. Notre théorie décompose cette dérive en propagation amont et décalage local, suit la manière dont elle se propage et se combine à travers les couches ultérieures dans l'ordre avant, et relie la dérive finale des caractéristiques à la dérive de sortie. Cette vision motive FeatCal, qui utilise un petit ensemble de calibration pour calibrer les poids du modèle fusionné couche par couche dans l'ordre avant, réduisant ainsi la dérive des caractéristiques tout en restant proche des poids fusionnés et en préservant les avantages de la fusion de modèles. FeatCal utilise une solution de forme fermée efficace pour mettre à jour les poids du modèle, sans descente de gradient, optimisation itérative ni modules supplémentaires. Sur les principaux référentiels CLIP et GLUE, FeatCal surpasse Surgery et ProbSurgery, les bases de référence de calibration post-fusion les plus proches : 85,5 % contre 77,0 %/78,8 % sur CLIP-ViT-B/32 Task Arithmetic (TA) et 85,2 % contre 83,7 %/82,2 % sur FLAN-T5-base GLUE. Sur CLIP-ViT-B/32, 8 exemples par tâche atteignent 82,9 %, et 256 exemples par tâche prennent 53 secondes, soit environ 4 fois plus vite que les deux bases de référence, démontrant une meilleure efficacité d'échantillonnage et un coût de calibration plus faible.

Les agents LLM interactifs actuels reposent sur une planification pas à pas conditionnée par des objectifs, où la compréhension de l’environnement est acquise de manière réactive pendant l’exécution plutôt qu’établie au préalable. Cette inversion temporelle conduit à une Perception Environnementale Différée : les agents doivent inférer les contraintes environnementales par essais et erreurs, ce qui génère un Goulot d’Étranglement Épistémique les piégeant dans des cycles d’échec inefficaces. Inspiré par la perception des affordances humaines et la théorie des cartes cognitives, nous proposons le Paradigme Map-then-Act (MAP), un cadre plug-and-play qui déplace la compréhension de l’environnement avant l’exécution. MAP comporte trois étapes : (1) Exploration globale, acquisition de connaissances préalables générales sur l’environnement ; (2) Cartographie spécifique à la tâche, construction d’une carte cognitive structurée ; et (3) Exécution augmentée par la connaissance, résolution de tâches ancrées sur cette carte. Les expériences montrent des gains constants sur divers benchmarks et modèles de LLM. Sur ARC-AGI-3, MAP permet aux modèles de pointe de dépasser une performance quasi nulle de base dans 22 des 25 environnements de jeu. Nous introduisons également MAP-2K, un ensemble de données de trajectoires de type map-then-act, et montrons que l’entraînement sur cet ensemble surpasse les traces d’exécution d’experts, suggérant que comprendre les environnements est plus fondamental que les imiter.

La plupart des grands modèles de langage (LLMs) existants sont coûteux à adapter après leur déploiement, en particulier lorsqu'une tâche requiert des informations nouvellement produites ou des connaissances de niche spécialisées. Des travaux récents ont montré qu'en manipulant et en optimisant leur contexte, les LLMs peuvent être adaptés à des tâches en aval sans mise à jour de leurs poids. Cependant, la plupart des méthodes existantes restent en boucle fermée, ne reposant que sur la connaissance intrinsèque du modèle. Dans cet article, nous équipons ces optimiseurs de contexte d'outils de recherche Wikipedia et de navigateur pour une recherche active d'informations. Nous montrons que l'ajout naïf de ces outils à un pipeline standard d'optimisation séquentielle du contexte peut en réalité dégrader la performance par rapport aux approches de référence. Toutefois, lorsqu'elle est associée à une procédure d'entraînement basée sur la recherche qui maintient et élagage plusieurs contextes candidats, la recherche active d'informations apporte des gains constants et substantiels. Nous démontrons ces améliorations dans divers domaines, notamment la traduction à faibles ressources (Flores+), les scénarios de santé (HealthBench) et les tâches à forte composante de raisonnement (LiveCodeBench et Humanity's Last Exam). De plus, notre méthode s'avère économe en données, robuste face à différents hyperparamètres, et capable de générer des contextes textuels efficaces qui se généralisent bien à travers différents modèles.

L'authentification continue dans les environnements numériques à enjeux élevés nécessite des jeux de données comportant des signaux comportementaux fins sous des demandes cognitives et motrices réalistes. Cependant, les références actuelles sont souvent limitées par une échelle réduite, une détection unimodale ou l’absence de contexte environnemental synchronisé. Pour combler cette lacune, cet article présente BEACON (Behavioral Engine for Authentication & Continuous Monitoring), un ensemble de données multimodal à grande échelle qui capture divers niveaux de compétence dans le gameplay compétitif de Valorant. BEACON contient environ 430 Go de données de modalités synchronisées (461 Go au total sur disque, y compris les captures auxiliaires de configuration de Valorant) provenant de 79 sessions réparties sur 28 joueurs distincts, estimées à 102,51 heures de jeu actif, incluant des dynamiques de souris à haute fréquence, des événements de frappe, des captures de paquets réseau, des enregistrements d’écran, des métadonnées matérielles et un contexte de configuration en jeu. BEACON exploite les compétences motrices de haute précision et la charge cognitive élevée inhérentes aux jeux de tir tactiques, ce qui en fait un test de résistance rigoureux pour la robustesse de la biométrie comportementale. L’ensemble de données permet d’étudier l’authentification continue, le profilage comportemental, la dérive de l’utilisateur et l’apprentissage de représentations multimodales dans un cadre esportif haute fidélité. Les auteurs publient l’ensemble de données et le code sur Hugging Face et GitHub afin de créer une référence reproductible pour évaluer les modèles de sécurité et d’empreinte comportementale de nouvelle génération.

La génération augmentée par récupération (RAG) traite généralement la récupération et la génération comme des systèmes distincts. Nous nous demandons si un encodeur-décodeur basé sur l’attention peut plutôt récupérer directement à partir de ses propres représentations internes. Nous présentons INTRA (INTrinsic Retrieval via Attention), un cadre où les requêtes d’attention du décodeur notent des segments de preuve pré-encodés, qui sont ensuite directement réutilisés comme contexte pour la génération. Par construction, INTRA unifie récupération et génération, éliminant l’inadéquation entre récupérateur et générateur typique des pipelines RAG. Cette conception amortit également l’encodage du contexte en réutilisant les états d’encodeur précalculés entre les requêtes. Sur des références de question-réponse, INTRA surpasse les pipelines de récupération fortement optimisés, tant en termes de rappel des preuves que de qualité de réponse de bout en bout. Nos résultats démontrent que les modèles basés sur l’attention possèdent déjà un mécanisme de récupération qui peut être sollicité, plutôt qu’ajouté comme module externe.

Les modèles de langage multimodaux (MLLMs) sont désormais couramment déployés pour la compréhension, la génération et la curation visuelles. Une fraction substantielle de ces applications nécessite un jugement esthétique explicite. La plupart des solutions existantes réduisent ce jugement à la prédiction d’un score scalaire pour une image unique. Nous nous demandons d’abord si de tels scores reflètent fidèlement les préférences comparatives : dans une étude contrôlée impliquant huit annotateurs experts, les classements dérivés des scores s’alignent mal avec les comparaisons directes des mêmes annotateurs, tandis que le classement direct produit un accord inter-annotateurs nettement plus élevé sur les étiquettes de meilleure et de pire image. Motivés par ce constat, nous introduisons le Visual Aesthetic Benchmark (VAB), qui conçoit l’évaluation esthétique comme une sélection comparative sur des ensembles candidats dont le sujet est apparié. VAB contient 400 tâches et 1 195 images couvrant les beaux-arts, la photographie et l’illustration, avec des étiquettes issues du consensus de 10 juges experts indépendants par tâche. En évaluant 20 MLLMs de pointe et six modèles de récompense de qualité visuelle dédiés, nous constatons que le système le plus performant identifie correctement à la fois la meilleure et la pire image dans seulement 26,5 % des tâches, bien en deçà des 68,9 % atteints par les experts humains. Le réglage fin d’un modèle de 35 milliards de paramètres sur 2 000 exemples experts rapproche sa précision de celle d’un modèle à poids ouverts de 397 milliards de paramètres, suggérant que le signal comparatif présent dans VAB est transférable. Ensemble, ces résultats révèlent un écart clair et mesurable entre les modèles multimodaux actuels et le jugement esthétique expert, et VAB fournit le premier banc d’essai basé sur des ensembles et ancré dans l’expertise humaine sur lequel cet écart peut être suivi et comblé.

L'évaluation des agents de génie logiciel (SWE) est dominée par un signal binaire : la réussite ou non du patch final aux tests. Cette vision uniquement axée sur le résultat traite une solution fondée sur des principes et un processus chaotique d'essais et d'erreurs comme équivalents. Nous montrons que cette équivalence est empiriquement fausse. Nous évaluons 2 614 trajectoires OpenHands issues de huit backends de modèles sur 60 tâches SWE-bench Validées. Parmi celles-ci, 47 disposent d'un nombre suffisant de trajectoires réussies pour construire des références de processus au niveau de la tâche, donnant un sous-ensemble d'évaluation de 1 815 trajectoires. Parmi les trajectoires réussies dans ce sous-ensemble, 10,7 % présentent un comportement que nous appelons « Réussite Chanceuse » (Lucky Pass) : cycles de régression, tentatives répétées aveugles, absence de vérification, ou exploration, implémentation et vérification temporellement désordonnées. Nous présentons AgentLens, un cadre pour l'évaluation au niveau du processus des trajectoires des agents SWE, et nous publions AgentLens-Bench, un ensemble de données de 1 815 trajectoires annotées avec des scores de qualité, des signaux de gaspillage, des points de divergence et 47 références de type « Prefix Tree Acceptor » (PTA) au niveau de la tâche. AgentLens construit des références PTA en fusionnant plusieurs solutions réussies pour une même tâche, et utilise un étiqueteur d'intention contextuel pour assigner les actions à Exploration, Implémentation, Vérification ou Orchestration en fonction de l'historique de la trajectoire plutôt que de la seule identité de l'outil. Sur AgentLens-Bench, le score de qualité sépare les trajectoires réussies en trois catégories : Lucky (chanceuses), Solid (solides) et Ideal (idéales), et décompose en outre les Réussites Chanceuses en cinq mécanismes récurrents. Parmi les huit backends de modèles, les taux de « Lucky » vont de 0,5 % à 23,2 %, et certains modèles se déplacent jusqu'à cinq positions dans le classement lorsqu'ils sont classés par score de qualité plutôt que par taux de réussite. Nous publions le dépôt de projet anonymisé, comprenant l'ensemble de données AgentLens-Bench et le SDK AgentLens, à l'adresse https://github.com/microsoft/code-agent-state-trajectories/.

L'inférence des LLM est encore principalement évaluée comme un problème de modèle ou de logiciel : précision, latence, débit et utilisation du matériel. Cette approche est incomplète. À l'échelle du déploiement, la sortie pertinente est un token conditionné par la qualité, produit sous des contraintes conjointes de calcul effectif, de puissance délivrée dans le centre de données, de capacité de refroidissement, de PUE et de taux d'utilisation. Nous soutenons que la communauté du machine learning devrait considérer l'inférence comme une production de tokens à partir d'énergie. Nous formalisons ce point de vue avec une Fonction de Production de Tokens dimensionnellement cohérente, dans laquelle le taux de production de tokens est borné à la fois par des plafonds de calcul par token et d'énergie par token. Les prix API affichés varient de plus d'un ordre de grandeur selon les fournisseurs, mais nous n'utilisons la dispersion des prix que comme motivation directionnelle, et non comme preuve causale du coût marginal. La question physique centrale est plutôt la suivante : sous des cibles fixes de qualité et de service, quand la contrainte limitante passe-t-elle du pic de calcul théorique à la puissance délivrée, au refroidissement et à l'efficacité opérationnelle ? Dans ce cadre, les optimisations système — compression du cache KV latent, attention sparse ou fortement compressée, quantification, routage et raisonnement adaptatif à la difficulté — ne sont pas de simples astuces d'ingénierie locales. Ce sont des leviers de conversion énergie-token, car elles réduisent les FLOPs/token, les joules/token, le trafic mémoire ou les pertes d'utilisation sous des (q^{*}, s^{*}) fixes. Nous appelons donc les articles et benchmarks sur l'inférence à rapporter les joules/token, la contrainte limitante active, la puissance délivrée ajustée du PUE et la production de tokens ajustée du taux d'utilisation, en plus de la précision et de la latence.

Le réglage fin de modèles ASR multilingues comme Whisper pour des langues peu dotées améliore souvent la parole lue, mais dégrade les performances sur l'audio spontané, un phénomène que nous appelons le biais de studio. Pour diagnostiquer ce décalage, nous présentons Vividh-ASR, un benchmark stratifié par complexité pour l'hindi et le malayalam, couvrant quatre niveaux : studio, diffusion, spontané et bruit synthétique. Grâce à une étude contrôlée du moment du taux d'apprentissage et de l'ordre curriculaire, nous constatons que des mises à jour précoces des paramètres à grande échelle améliorent le WER global de 12 points absolus, tandis qu'un ordre curriculaire du difficile au facile apporte des gains supplémentaires pour la parole spontanée. Ces résultats motivent le réglage fin multi-étapes inversé (R-MFT), une recette d'entraînement qui permet à un modèle Whisper de 244M de paramètres, efficace en paramètres, d'égaler ou de surpasser des homologues de 769M paramètres réglés de manière conventionnelle. L'analyse représentationnelle via CKA et SVD révèle que les stratégies efficaces concentrent l'adaptation dans le décodeur, préservant la géométrie acoustique de l'encodeur pré-entraîné. Nous publions le benchmark et les modèles.

Pour aborder les tâches de raisonnement à long contexte sans la complexité quadratique des mécanismes d'attention standards, des approches basées sur la mémoire d'agent ont émergé, qui maintiennent généralement une mémoire mise à jour dynamiquement lors du traitement linéaire de segments de documents. Pour atténuer la perte potentielle de preuves latentes dans ce paradigme de mémorisation en cours de lecture, des travaux récents ont intégré des modules de récupération qui permettent aux agents de rappeler des informations précédemment écartées lors de l'écrasement de mémoire. Cependant, le rappel basé sur la récupération souffre à la fois d'une perte de preuves lors de la formation de la mémoire et d'interférences induites par des requêtes invalides. Pour surmonter ces limitations, nous proposons MemReread. Basé sur la lecture en flux continu, MemReread contourne la récupération intermédiaire. Il déclenche la décomposition des questions et la relecture lorsque la mémoire finale est insuffisante, permettant ainsi la récupération de faits indirects qui ont été prématurément écartés. Cette conception prend en charge le raisonnement non linéaire tout en préservant le flux logique inhérent à la compréhension du document. Pour améliorer encore la praticité, nous introduisons un cadre d'apprentissage par renforcement qui améliore la capacité d'extrapolation de longueur tout en déterminant dynamiquement le nombre de passes de relecture en fonction de la complexité de la tâche, contrôlant ainsi de manière flexible la surcharge de calcul. Des expériences approfondies montrent que MemReread surpasse systématiquement les cadres de référence sur les tâches de raisonnement à long contexte, tout en maintenant une complexité temporelle linéaire par rapport à la longueur du contexte.

La distillation sur politique (OPD) est largement utilisée pour le post-entraînement des LLM. Lorsqu'elle est poussée avec un coefficient d'extrapolation de récompense λ > 1, l'étudiant peut dépasser l'enseignant dans le domaine, mais au-delà d'un seuil λ*, la même étape viole le contrat de sortie sur les tâches à sortie structurée. Dans une réduction de Bernoulli à position unique, nous dérivons un seuil de sécurité de clip relatif à la base, sous forme fermée, λ*(p,b,c) déterminé par trois grandeurs mesurables : la probabilité modale de l'enseignant, la masse de démarrage à chaud et la force du clip d'échantillonnage par importance. Au-dessus de λ*, le point fixe extrapolé sort de la zone de sécurité du clip, transformant l'entraînement d'un format préservé à un format effondré. Nous étendons la règle aux tâches JSON listwise calibrées à K classes où une seule classe d'équivalence contraignante domine le contrat de sortie et où le SFT conserve une marge d'analyse syntaxique. Sur Amazon Fashion, trois tests pré-enregistrés (un intervalle de falaise à grille fine, un test d'extension de budget et une prédiction croisée à petit clip) se situent dans leurs fenêtres de prédiction verrouillées, la valeur à petit clip correspondant à la prédiction en forme fermée en dessous de la résolution de grille. En opérant juste en dessous de λ*, ListOPD amène un étudiant Qwen3 de 1,7B à une parité dans le domaine avec une baseline SFT de 8B, avec un cinquième des paramètres. Le gain provient principalement du respect du format : le NDCG@1 sur les sorties analysées reste stable en fonction de λ, tandis que la validité de l'analyse change brusquement à la frontière prédite. Le diagnostic de falaise est indépendant de la rubrique, tandis que l'affirmation de parité utilise une rubrique évaluée par Gemini et hérite de l'exposition de cet évaluateur.

L'adaptation paramétrique efficace des modèles de vision pré-entraînés est couramment réalisée via des sondes linéaires, des prompts, des mises à jour de faible rang ou des modules résiduels légers. Bien qu'efficaces, ces méthodes traitent généralement l'adaptation comme une perturbation euclidienne discrète des représentations gelées, sans modéliser explicitement la géométrie du déplacement de caractéristiques induit par la tâche. Nous proposons MC-RFM, un cadre d'appariement de flux riemannien à courbure mixte pour l'adaptation few-shot de backbones visuels gelés. L'idée clé est de représenter les caractéristiques adaptées sur une variété produit combinant un facteur hyperbolique, qui capture la structure sémantique sensible à la hiérarchie, et un facteur euclidien, qui préserve la variation visuelle localement discriminante. L'adaptation est formulée comme un transport continu conditionné par la tâche depuis les caractéristiques gelées vers les prototypes de l'ensemble de support, entraîné avec un objectif d'appariement de flux et couplé à un classifieur hybride prototype-linéaire. La méthode est légère, indépendante du backbone, et fonctionne entièrement sur des caractéristiques gelées mises en cache. Sur sept benchmarks de reconnaissance visuelle, cinq backbones gelés et des régimes 1/4/16-shot, MC-RFM est la méthode la plus performante dans la majorité des configurations évaluées, avec les gains les plus importants sur les backbones Transformer et les ensembles de données à granularité fine. Les ablations montrent que la tête à courbure mixte, le conditionnement par tâche, le réglage adaptatif de branches, le rétrécissement des prototypes et la supervision discriminative contribuent chacun à la performance. Ces résultats suggèrent que l'adaptation few-shot bénéficie non seulement de la décision de quels paramètres mettre à jour, mais aussi de la modélisation de la manière dont les représentations devraient se déplacer à travers une géométrie adaptée à la structure de la tâche en aval.

L'adaptation des modèles pré-entraînés implique généralement un compromis entre le coût élevé d'apprentissage de la rétropropagation et la lourde surcharge d'inférence des méthodes d'apprentissage basées sur la mémoire ou en contexte. Nous proposons FAAST, une méthode d'adaptation associative uniquement forward qui compile de manière analytique les exemples étiquetés en poids rapides en un seul passage. En éliminant la dépendance à la mémoire ou au contexte, FAAST assure une inférence en temps constant et dissocie l'adaptation de la tâche de la représentation pré-entraînée. Sur des bancs d'essai de classification d'images et de modélisation du langage, FAAST égale ou dépasse l'adaptation par rétropropagation tout en réduisant le temps d'adaptation de plus de 90 %, et se montre compétitive par rapport à l'adaptation basée sur la mémoire ou le contexte tout en économisant jusqu'à 95 % de l'utilisation mémoire. Ces résultats démontrent que FAAST est une solution hautement efficace et scalable pour l'adaptation supervisée à une tâche, en particulier pour les modèles à ressources limitées. Nous publions le code et les modèles à l'adresse https://github.com/baoguangsheng/faast.

La plupart des systèmes de dialogue médical existants fonctionnent selon un paradigme de questions-réponses en un seul tour ou reposent sur des ensembles de données basés sur des modèles, ce qui limite le réalisme conversationnel et l'applicabilité multilingue. Nous présentons IndicMedDialog, un ensemble de données de dialogues médicaux multi-tours parallèles couvrant l'anglais et neuf langues indiennes : assamais, bengali, gujarati, hindi, marathi, pendjabi, tamoul, télougou et ourdou. Cet ensemble de données étend MDDial avec des consultations synthétiques générées par LLM, traduites à l'aide de TranslateGemma, vérifiées par des locuteurs natifs et affinées via un pipeline de post-traitement sensible aux écritures pour corriger les erreurs phonétiques, lexicales et d'espacement des caractères. En nous appuyant sur cet ensemble de données, nous affinons IndicMedLM via une adaptation efficace en paramètres d'un petit modèle de langage quantifié, en intégrant un pré-contexte patient optionnel pour personnaliser l'élicitation des symptômes en plusieurs tours. Nous évaluons par rapport à des références multilingues zéro-shot, effectuons une analyse systématique des erreurs dans dix langues et validons la plausibilité clinique par une évaluation d'experts médicaux.

Nous présentons PersonalAI 2.0 (PAI-2), un nouveau cadre conçu pour améliorer les systèmes basés sur les grands modèles de langage (LLM) grâce à l'intégration de graphes de connaissances (KG) externes. L'approche proposée pallie les limitations clés des méthodes existantes de Génération Augmentée par Recherche dans des Graphes (GraphRAG) en intégrant un pipeline dynamique de traitement de requêtes en plusieurs étapes. Le point central de la conception de PAI-2 réside dans sa capacité à effectuer une recherche itérative et adaptative d'informations, guidée par des entités extraites, des sommets de graphe appariés et des requêtes-indices générées. L'évaluation menée sur six benchmarks (Natural Questions, TriviaQA, HotpotQA, 2WikiMultihopQA, MuSiQue et DiaASQ) démontre une amélioration de l'exactitude factuelle des réponses générées par rapport aux méthodes analogues (LightRAG, RAPTOR et HippoRAG 2). PAI-2 obtient un gain moyen de 4 % selon l'évaluation LLM-en-tant-que-juge sur quatre benchmarks, reflétant son efficacité à réduire le taux d'hallucinations et à accroître la précision. Nous montrons que l'utilisation d'algorithmes de parcours de graphe (par exemple BeamSearch, WaterCircles) donne des résultats supérieurs à ceux d'un extracteur plat standard, avec un gain moyen de 6 %, tandis que le mécanisme d'amélioration du plan de recherche activé procure un gain de 18 % par rapport à un état désactivé selon l'évaluation LLM-en-tant-que-juge sur six ensembles de données. De plus, une étude d'ablation révèle que PAI-2 atteint le résultat SOTA sur le benchmark MINE-1, avec un score de rétention d'information de 89 %, en utilisant des LLM des niveaux 7 à 14B de paramètres. Collectivement, ces résultats soulignent le potentiel de PAI-2 à servir de modèle fondateur pour les applications d'IA personnalisées de nouvelle génération, nécessitant des capacités de représentation et de raisonnement des connaissances évolutives et contextuelles.

Les grands modèles de langage sont de plus en plus utilisés dans la rédaction scientifique, mais ils peuvent fabriquer des références en forme de citations qui paraissent plausibles tout en échouant à la vérification bibliographique. Les détecteurs existants réduisent souvent la vérification à des décisions binaires trouvé/non trouvé et reposent sur un analyseur syntaxique fragile ou une recherche incomplète, offrant peu d’informations au niveau des champs disciplinaires aux auditeurs. Nous reformulons la détection des hallucinations de citations comme une adjudication au niveau du champ, alignée sur une taxonomie, et introduisons une taxonomie à 12 codes couvrant les citations réelles, potentielles et hallucinées. Sur la base de cette taxonomie, nous construisons CiteTracer, un détecteur multi-agents en cascade qui extrait les citations structurées à partir de PDF et BibTeX, récupère les preuves via une recherche en cache, l’extraction d’URL, des connecteurs académiques et une recherche web, applique une correspondance déterministe par champ, et oriente les cas ambigus vers des juges spécialistes de chaque classe. Nous publions un benchmark de 2 450 citations synthétiques construites à partir de semences réelles avec des mutations contrôlées par LLM, associé à 957 citations fabriquées réelles extraites d’ICLR 2026 et de soumissions rejetées sur dossier d’une conférence anonyme. CiteTracer atteint une précision de 97,1% sur le benchmark synthétique, avec des scores F1 par classe de 97,0, 95,8 et 98,5 pour les citations réelles, potentielles et hallucinées respectivement, et détecte 97,1% des fabrications sur l’ensemble réel sans s’abstenir. Code : https://github.com/aaFrostnova/CiteTracer.

Les pipelines de recherche traditionnels optimisent l'utilité à travers des étapes de récupération de candidats et de reclassement, où le reclassement opère sur un ensemble de candidats prédéfini. Les grands modèles de langage (LLM) élargissent cette approche en un processus génératif : à partir d'un pool de candidats, un LLM peut générer un sous-ensemble et l'ordonner en un seul passage autorégressif. Cependant, cette flexibilité introduit un nouveau défi d'optimisation : le modèle doit explorer un espace de sortie combinatoire tout en ne recevant un retour d'utilité qu'après la génération complète de la liste classée. Étant donné que ce retour est défini sur la séquence terminée, il ne permet pas de distinguer si un mauvais résultat provient d'un échec à générer un sous-ensemble pertinent ou d'un échec à classer correctement ce sous-ensemble. Ce fossé d'attribution du crédit rend l'optimisation de bout en bout instable et inefficace en termes d'échantillons. Les systèmes existants traitent souvent ce problème en séparant la génération de candidats du reclassement. Cependant, un tel découplage reste mal aligné avec l'utilité en aval, car le reclassement est limité par l'ensemble de candidats qu'il reçoit. Pour combler ce fossé, nous proposons un cadre unifié qui effectue les deux opérations en un seul déroulé autorégressif et les optimise de bout en bout via une optimisation factorisée de politique relative au groupe (F-GRPO). Notre cadre factorise la politique en génération de candidats et reclassement tout en partageant une seule architecture de LLM, et les entraîne conjointement avec une récompense de couverture invariante à l'ordre et une récompense d'utilité sensible à la position. Pour résoudre le problème d'attribution du crédit spécifique à chaque phase, nous utilisons des avantages relatifs au groupe distincts pour la génération et le reclassement au sein d'un objectif au niveau de la séquence en deux phases. Sur les benchmarks de recommandation séquentielle et de réponse à questions multi-sauts, F-GRPO améliore les performances des premiers rangs par rapport à GRPO et aux références découplées, surpasse les alternatives supervisées, et reste compétitif avec de puissants reclasseurs zero-shot, sans aucun changement architectural au moment de l'inférence.

Étant donné un modèle généraliste, apprendre une représentation spécialisée pertinente pour une tâche est fondamental pour les applications aval. L'identifiabilité, c'est-à-dire la garantie asymptotique de retrouver la représentation réelle, est cruciale car elle fixe la limite ultime de tout modèle, même avec des données et un calcul infinis. Nous étudions ce problème dans un cadre complètement non paramétrique, sans recourir à des interventions, des formes paramétriques ou des contraintes structurelles. Nous prouvons d'abord que la structure entre les pas de temps et les tâches est identifiable de manière totalement non supervisée, même lorsque les séquences manquent de dépendance temporelle stricte et peuvent présenter des déconnexions, et que les affectations de tâches peuvent suivre des structures arbitrairement complexes et entrelacées. Nous prouvons ensuite que, au sein de chaque pas de temps, la représentation latente pertinente pour la tâche peut être désentrelacée de la partie non pertinente sous une simple régularisation de parcimonie, sans aucune information supplémentaire ni contrainte paramétrique. Ensemble, ces résultats établissent un fondement hiérarchique : la structure des tâches est identifiable à travers les pas de temps, et les représentations latentes pertinentes pour la tâche sont identifiables au sein de chaque pas. À notre connaissance, chaque résultat fournit une première garantie générale d'identifiabilité non paramétrique, et ensemble, ils marquent une étape vers le passage prouvable de modèles généralistes à des modèles spécialisés.

Les opérateurs neuronaux apprennent à mapper les conditions initiales vers la solution terminale des équations aux dérivées partielles (EDP), fournissant ainsi un substitut pour le mappage complet de l'opérateur. Cela permet une prédiction rapide pour différentes configurations d'entrée. Bien que les architectures récentes d'opérateurs neuronaux aient démontré des performances solides sur diverses tâches d'EDP, leur comportement sous des changements de distribution structurés reste insuffisamment compris. Pour étudier cela, nous examinons l'apprentissage d'opérateurs dans un cadre de propagation d'ondes régi par une équation d'onde unidimensionnelle à coefficient variable, en utilisant deux architectures représentatives : l'Opérateur Neuronal de Fourier (FNO) et le Réseau d'Opérateurs Profonds (DeepONet). Pour examiner leur généralisation sous des changements de distribution, nous considérons des contextes structurés hors distribution (OOD) qui font varier indépendamment la fréquence d'entrée et la régularité du coefficient. Les résultats montrent que sous des changements de régularité, les deux modèles maintiennent des performances stables, le FNO obtenant une erreur plus faible. En revanche, sous des changements de fréquence, le FNO présente une forte augmentation d'erreur pour des entrées haute fréquence non vues, tandis que DeepONet montre une dégradation plus modérée malgré une erreur globale plus élevée. Notre analyse révèle que ces différences proviennent de la manière dont chaque architecture représente et répond aux variations de la structure fréquentielle. Ensemble, ces résultats mettent en évidence un écart fondamental entre les performances solides dans la distribution et la généralisation sous des changements de distribution dans l'apprentissage d'opérateurs, soulignant le rôle du biais de représentation architecturale dans le développement d'opérateurs neuronaux plus fiables pour les simulations d'EDP basées sur la physique au-delà de la distribution d'entraînement.

L'amélioration des images en faible luminosité est difficile en raison des dégradations complexes, incluant un bruit amplifié, des artefacts et une distorsion des couleurs. Alors que les méthodes d'apprentissage profond basées sur Retinex ont obtenu des résultats prometteurs, elles reposent principalement sur une information RGB mono-modale. Nous proposons M2Retinexformer (Multi-Modal Retinexformer), une nouvelle architecture qui étend Retinexformer en intégrant des indices de profondeur, des a priori de luminance et des caractéristiques sémantiques dans un pipeline de raffinement progressif. La profondeur fournit un contexte géométrique invariant aux variations d'éclairage, tandis que la luminance et les caractéristiques sémantiques offrent un guidage explicite sur la distribution de la luminosité et la compréhension de la scène. Les modalités sont extraites à plusieurs échelles et fusionnées par attention croisée, avec un mécanisme de pondération adaptative qui équilibre dynamiquement l'auto-attention guidée par l'illumination et l'attention croisée en fonction de la fiabilité des indices auxiliaires. Les évaluations sur les benchmarks LOL, SID, SMID et SDSD montrent des améliorations globales par rapport à Retinexformer et aux méthodes récentes de pointe. Le code et les poids pré-entraînés sont disponibles à l'adresse https://github.com/YoussefAboelwafa/M2Retinexformer.

La segmentation est une tâche fondamentale de la vision qui sous-tend de nombreuses applications en aval. Les récents modèles de segmentation à base de prompts, tels que le Segment Anything Model 3 (SAM3), étendent la segmentation de la prédiction de masques indépendamment des catégories jusqu'à un guidage conceptuel conditionné par des prompts textuels de haut niveau. Cependant, les benchmarks existants évaluent principalement la précision des masques ou la présence d'objets, sans déterminer clairement si ces modèles ancrent fidèlement le concept sollicité ou s'appuient plutôt sur des indices visuellement saillants mais sémantiquement trompeurs. Nous présentons CAFE : Counterfactual Attribute Factuality Evaluation, un nouveau benchmark pour évaluer la segmentation fidèle au concept dans les modèles de segmentation à base de prompts. Notre CAFE repose sur une manipulation contrefactuelle au niveau des attributs : la région cible et le masque de vérité terrain sont conservés, tandis que des attributs tels que l'apparence de surface, le contexte ou la composition matérielle sont modifiés afin d'introduire des indices sémantiques trompeurs. Le benchmark contient 2 146 échantillons de test appariés, chacun comprenant une image cible, un masque de vérité terrain, un prompt positif et un prompt négatif trompeur. Ces échantillons couvrent trois catégories contrefactuelles : le Mimétisme Superficiel (SM), le Conflit de Contexte (CC) et le Conflit Ontologique (OC). Nous évaluons différents types et tailles de modèles sur notre CAFE. Les expériences révèlent un écart systématique entre la qualité de la localisation et la discrimination conceptuelle : les modèles génèrent souvent des masques précis même pour des prompts trompeurs, ce qui suggère qu'une forte prédiction de masques n'implique pas nécessairement un ancrage sémantique fidèle. Notre CAFE fournit un benchmark contrôlé pour diagnostiquer si les modèles de segmentation à base de prompts effectuent un ancrage fidèle au concept plutôt qu'une récupération de masques guidée par des raccourcis.

Avec l'évolution rapide des modèles fondamentaux, les agents de type grand modèle de langage (LLM) ont démontré des capacités d'utilisation d'outils de plus en plus puissantes. Cependant, cette compétence introduit des risques de sécurité significatifs, car des acteurs malveillants peuvent manipuler les agents pour exécuter des outils générant du contenu nuisible. Bien que les mécanismes défensifs existants soient efficaces, ils souffrent fréquemment du problème de sur-refus, où un renforcement de la rigueur de sécurité compromet l'utilité de l'agent pour les tâches bénignes. Pour atténuer ce compromis, nous proposons SafeHarbor, un nouveau cadre conçu pour établir des limites de décision précises pour les agents LLM. Contrairement aux directives statiques, SafeHarbor extrait des règles de défense contextuelles via une génération adversarial renforcée. Nous concevons un système de mémoire hiérarchique locale pour l'injection dynamique de règles, offrant une solution sans apprentissage, efficace et prête à l'emploi. De plus, nous introduisons un mécanisme d'auto-évolution basé sur l'entropie de l'information qui optimise en continu la structure de la mémoire par division et fusion dynamiques de nœuds. Des expériences approfondies montrent que SafeHarbor atteint des performances de pointe à la fois sur des tâches bénignes ambiguës et des attaques malveillantes explicites, atteignant notamment un pic d'utilité bénigne de 63,6 % sur GPT-4o tout en maintenant un taux de refus robuste supérieur à 93 % face aux requêtes nuisibles. Le code source est accessible publiquement à l'adresse https://github.com/ljj-cyber/SafeHarbor.

L'évaluation d'un agent nécessite d'examiner des comportements complexes multi-étapes impliquant l'utilisation d'outils et un raisonnement intermédiaire, ce qui la rend coûteuse et exigeante en expertise. Une question naturelle se pose : les assistants de codage de pointe peuvent-ils automatiser ce processus d'évaluation de manière fiable ? Notre étude montre que le simple fait d'inviter (prompter) des assistants de codage ne suffit pas pour cette tâche. Sans connaissances en évaluation spécifiques au domaine, les assistants de codage de pointe n'atteignent qu'un taux de succès d'exécution de 30 % et produisent des évaluations sur-conçues avec une moyenne de 12 métriques ou plus par agent, ce qui indique que de fortes capacités de codage ne se traduisent pas automatiquement par une évaluation fiable des agents. Nous présentons EvalAgent, un assistant IA qui automatise le pipeline complet d'évaluation des agents, de bout en bout. EvalAgent encode l'expertise en évaluation sous forme de compétences d'évaluation (instructions procédurales, code réutilisable et modèles, ainsi que documentation d'API récupérée dynamiquement) qui se composent en un pipeline basé sur les traces produisant des artefacts d'évaluation complets, incluant métriques, code exécutable et rapports. Pour évaluer systématiquement les évaluations générées, nous introduisons un cadre de méta-évaluation associé à AgentEvalBench, un référentiel comprenant 20 agents, chacun étant jumelé à des exigences d'évaluation et à des scénarios de test. Nous proposons également la métrique Eval@1 pour mesurer si le code d'évaluation généré s'exécute et produit des résultats significatifs dès la première exécution. Nos expériences montrent qu'EvalAgent produit des évaluations ciblées, améliorant Eval@1 de 17,5 % à 65 %, et atteignant une préférence de 79,5 % des experts humains par rapport aux approches de référence. Des études d'ablation supplémentaires montrent que les compétences d'évaluation sont cruciales pour traiter les évaluations complexes : leur suppression entraîne une chute significative d'Eval@1, de 65 % à 30 %.

Nous présentons ShapeCodeBench, un banc de test synthétique pour la reconstruction perception-à-programme : à partir d'une image matricielle rendue, un modèle doit émettre un programme d'exécution dessinable qu'un évaluateur déterministe re-rend et compare avec la cible. Le DSL v1 comporte quatre primitives sur un canevas blanc de 512 × 512, mais chaque instance est générée à partir d'un générateur de nombres aléatoires ensemencé, ce qui permet de créer de nouveaux ensembles de retenue pour réduire la contamination par instances identiques. Nous publions une partition figée eval_v1 contenant 150 échantillons répartis en niveaux facile, moyen et difficile, évalués selon la correspondance exacte, la précision pixel à pixel, l'IoU du premier plan, le succès d'analyse syntaxique et le succès d'exécution. Nous évaluons un plancher de programme vide, une heuristique classique de vision par ordinateur, Claude Opus 4.7 en effort élevé et maximal, et GPT-5.5 en effort de raisonnement moyen et extra_élevé. L'heuristique est compétitive sur les scènes faciles, mais s'effondre lorsque les chevauchements fusionnent les composants ; la configuration multimodale la plus puissante préserve une grande partie de la structure du premier plan, mais échoue encore à la correspondance exacte en raison de petites erreurs de paramètres. La meilleure correspondance exacte globale reste faible, donc ShapeCodeBench est loin d'être saturé. Le code du banc de test, l'ensemble de données figé, les artefacts d'exécution et les sources de l'article sont publiés pour soutenir la réplication et l'extension indépendantes.

Le mélange d'experts est devenu le mécanisme principal pour rendre les grands modèles de langage (LLMs) efficaces sur le plan computationnel. Cependant, dans les environnements distribués, la communication des plongements de jetons entre experts constitue un goulot d'étranglement significatif. Nous présentons la nouvelle architecture de Fédération d'experts (FoE). FoE restructure le bloc MoE d'une couche de transformateur en plusieurs clusters MoE. Chaque cluster est responsable d'une seule des têtes KV et le parallélisme entre experts est appliqué entre ces experts. Entre les clusters, une somme synchronise les résidus post-attention, qui pilotent ensuite le routage et la distribution pour le bloc MoE suivant. Dans un environnement mono-nœud, FoE élimine complètement la communication tous-à-tous car tous les experts d'un groupe sont contenus sur le même GPU. Dans les environnements multi-nœuds, FoE confine la communication tous-à-tous au réseau intra-nœud, réduisant ainsi considérablement la surcharge de communication. Une implémentation de FoE montre que sur LongBench, FoE améliore significativement le débit d'inférence et la latence dans les environnements mono-nœud et multi-nœuds, réduisant la latence de passage avant de bout en bout jusqu'à 5,2x, le TTFT de 3,62x et le TBT de 1,95x. Ceci tout en atteignant une qualité de génération comparable à celle d'un modèle de mélange d'experts de même taille et configuration d'entraînement.

Nous présentons WriteSAE, le premier autoencodeur parcimonieux qui décompose et édite l'écriture du cache matriciel des modèles de langage récurrents hybrides et à espace d'état, là où les SAEs résiduels ne peuvent pas atteindre. Les SAEs existants lisent les flux résiduels, mais Gated DeltaNet, Mamba-2 et RWKV-7 écrivent dans un cache de dimension d_k × d_v via des mises à jour de rang 1 k_t v_t^⊤ qu'aucun atome vectoriel ne peut remplacer. WriteSAE factorise chaque atome du décodeur dans la forme d'écriture native, expose une forme fermée pour le décalage de logit par token, et s'entraîne sous norme de Frobenius appariée, de sorte que les atomes échangent un emplacement de cache à la fois. La substitution d'atomes surpasse l'ablation par norme appariée sur 92,4 % des n = 4 851 déclenchements sur Qwen3.5-0.8B L9 H4, le test de population à 87 atomes se maintient à 89,8 %, la forme fermée prédit les effets mesurés avec R² = 0,98, et Mamba-2-370M substitue à 88,1 % sur 2 500 déclenchements. Des installations soutenues sur trois positions augmentent le midrank target-in-continuation d'un facteur 3, passant de 33,3 % à 100 % sous décodage glouton, ce qui constitue la première installation comportementale sur le site d'écriture matriciel-récurrent.

Les workflows LLM structurés, dans lesquels des sous-agents LLM spécialisés exécutent selon un graphe prédéfini, sont devenus une abstraction puissante pour résoudre des tâches complexes. Optimiser de tels workflows, c'est-à-dire sélectionner des configurations pour chaque sous-agent afin d'équilibrer précision et latence, est difficile en raison de l'espace de conception combinatoire sur les choix de modèles, les budgets de raisonnement et les structures de workflow. Les méthodes existantes sensibles au coût traitent largement l'optimisation des workflows comme un problème de routage, sélectionnant une configuration au moment de l'inférence pour chaque requête selon l'objectif précision-latence utilisé lors de l'entraînement. Nous soutenons que les workflows LLM structurés peuvent également être optimisés d'un point de vue compilation : avant le déploiement, le système peut explorer globalement l'espace de conception du workflow et construire un ensemble réutilisable de configurations au niveau du workflow couvrant divers compromis précision-latence. En s'inspirant des compilateurs de machine learning, nous présentons FlowCompile, un compilateur de workflows LLM structurés qui effectue une exploration de l'espace de conception au moment de la compilation pour identifier un ensemble de compromis de haute qualité et réutilisable. FlowCompile décompose un workflow en sous-agents, profile chaque sous-agent sous diverses configurations, et compose ces mesures via un proxy structurel pour estimer la précision et la latence au niveau du workflow. Il identifie ensuite diverses configurations de haute qualité en un seul passage au moment de la compilation, sans réentraînement ni adaptation en ligne. Des expériences sur divers workflows et des benchmarks difficiles montrent que FlowCompile surpasse systématiquement les configurations de workflow optimisées heuristiquement et les références basées sur le routage, offrant jusqu'à 6,4 fois d'accélération. L'ensemble de configurations compilées sert en outre d'artefact d'optimisation réutilisable, permettant un déploiement flexible sous des préférences d'exécution variables et prenant en charge la sélection ou le routage en aval.

L'augmentation tabulaire générative est attrayante dans les domaines où les données sont rares, mais l'accent prédominant sur la fidélité distributionnelle ne se traduit pas de manière fiable par de meilleurs modèles en aval. Nous formalisons un écart fidélité-utilité : les objectifs génératifs courants privilégient la plausibilité distributionnelle, alors que l'augmentation ne réussit que lorsque les échantillons injectés réduisent la perte d'évaluation sur données exclues de l'apprenant actuel. Cet écart motive l'apprentissage non seulement de la manière de générer, mais aussi de quoi générer et quand injecter au fur et à mesure que l'entraînement progresse. Nous proposons TAP (Tabular Augmentation Policy), qui couple l'inpainting par diffusion avec une politique légère conditionnée par l'apprenant pour orienter la génération vers des régions à haute utilité et contrôler l'injection sécurisée via un portillonnage explicite et un engagement fenêtré conservateur. En situation de grave pénurie de données, TAP surpasse systématiquement les références génératives puissantes sur sept jeux de données réels, améliorant la précision de classification jusqu'à 15,6 points de pourcentage et réduisant l'erreur quadratique moyenne de régression jusqu'à 32 %.

Les récentes avancées en matière de scaling temporel agentique (agentic test-time scaling) permettent aux modèles de recueillir des retours d'information environnementaux avant d'adopter des actions finales. Une limitation clé des méthodes existantes réside dans leur recours typique à des stratégies d'exploration non différenciées, sans capacité à discerner de manière adaptative quand l'exploration est réellement nécessaire. Dans cet article, nous proposons un cadre d'apprentissage par renforcement sensible à l'exploration, qui permet aux agents LLM d'explorer de manière adaptative uniquement lorsque l'incertitude est élevée. Notre méthode introduit une fonction de récompense fine via l'inférence variationnelle, qui évalue explicitement les actions exploratoires en estimant leur potentiel à améliorer la prise de décision future, ainsi qu'un mécanisme de groupement sensible à l'exploration qui sépare les actions exploratoires des actions d'accomplissement de tâche lors de l'optimisation. En ciblant les lacunes informationnelles, cette conception permet aux agents d'explorer de manière sélective et de passer à l'exécution dès que le contexte de la tâche est clair. Empiriquement, nous démontrons que notre approche obtient des améliorations constantes sur une série de benchmarks agents complexes basés sur du texte et des interfaces graphiques (GUI). Le code est disponible à l'adresse https://github.com/HansenHua/EAPO-ICML26 et les modèles sont disponibles à l'adresse https://huggingface.co/hansenhua/EAPO-ICML26.