Articles du Jour

L'audio est une modalité intrinsèquement interactive, pourtant les grands modèles audio-langagiers (LALMs) actuels sont hors ligne, et les modèles audio en streaming ne gèrent chacun qu'une seule tâche, comme la reconnaissance automatique de la parole (ASR) en continu ou les conversations vocales. Il est temps de les unifier en un seul LALM en ligne : un modèle qui, via une boucle toujours active de perception-décision-réponse, écoute le son, l'environnement et les instructions en temps réel et réagit à la volée. Nous formalisons ce régime sous le nom de modèle d'interaction audio, et le concrétisons avec Audio-Interaction, un modèle de streaming unifié qui conserve l'exécution de tâches hors ligne tout en ajoutant le suivi d'instructions audio générales en ligne, du dialogue aux conversations vocales complètes, en décidant quand répondre à partir de la sémantique du flux. Pour y parvenir, nous proposons SoundFlow, un cadre qui instancie la boucle perception-décision-réponse de bout en bout, des données à l'entraînement au déploiement, grâce à une construction de données native au streaming, un entraînement tenant compte de la compréhension, et une inférence asynchrone à faible latence pour une interaction en temps réel stable. Nous construisons également StreamAudio-2M, un corpus de streaming de 2,6 millions d'éléments couvrant 7 capacités fondamentales et 28 sous-tâches, et Proactive-Sound-Bench pour évaluer l'intervention audio proactive. Sur 8 benchmarks, Audio-Interaction conserve des performances compétitives sur les tâches audio courantes tout en débloquant des capacités inaccessibles aux LALMs hors ligne, notamment l'ASR en temps réel, le suivi d'instructions audio en streaming et l'aide proactive.

Nous présentons Cosmos 3, une famille de modèles du monde omnimodaux conçus pour traiter et générer conjointement des séquences de langage, d'images, de vidéos, de sons et d'actions au sein d'une architecture unifiée de type mixture-of-transformers. En prenant en charge des configurations d'entrée-sortie très flexibles, Cosmos 3 unifie de manière transparente les modalités essentielles pour l'IA physique — intégrant de fait les modèles vision-langage, les générateurs de vidéo, les simulateurs du monde et les modèles monde-action en un seul cadre. Notre évaluation montre que Cosmos 3 établit un nouvel état de l'art sur un ensemble diversifié de tâches de compréhension et de génération, démontrant que les modèles du monde omnimodaux constituent des architectures généralistes et passant à l'échelle pour les agents incarnés. Nos modèles Cosmos 3 post-entraînés ont été classés comme les meilleurs modèles open-source de texte-à-image et d'image-à-vidéo par Artificial Analysis, et comme le meilleur modèle de politique par RoboArena au moment de la rédaction du rapport technique. Pour accélérer la recherche ouverte et le déploiement dans l'IA physique, nous mettons à disposition notre code, nos points de contrôle de modèle, nos ensembles de données synthétiques organisés et notre benchmark d'évaluation sous la licence OpenMDW-1.1 de la Linux Foundation (https://openmdw.ai/license/1-1/), à l'adresse https://github.com/nvidia/cosmos et https://huggingface.co/collections/nvidia/cosmos3. Le site web du projet est disponible à l'adresse https://research.nvidia.com/labs/cosmos-lab/cosmos3.

Les agents de recherche approfondie accomplissent des tâches via de longues trajectoires de recherche, d'utilisation d'outils, d'inspection de preuves et de synthèse de réponses. L'évaluation basée sur les réponses finales indique si un agent réussit, mais pas quelles parties de la trajectoire rendent la réponse peu fiable. Nous étudions la localisation des erreurs au niveau des segments pour les agents de recherche approfondie. Nous collectons 2 790 trajectoires réelles provenant de deux cadres d'agents, trois modèles de base et trois benchmarks, convertissons les journaux bruts en segments sémantiques, et annotons les segments d'erreur nuisibles via une révision experte assistée par LLM. À partir de ces annotations, nous construisons TELBench, un benchmark de 1 000 instances pour identifier les segments d'erreur parmi l'exploration normale, les recherches échouées, les hypothèses provisoires et le bruit inoffensif. Nous proposons également DRIFT, un cadre d'audit centré sur les affirmations qui suit les affirmations de l'agent, vérifie leur soutien dans les preuves de la trajectoire, et marque les segments où des affirmations non étayées ou contradictoires affectent le chemin de réponse. Des expériences menées sur des familles de modèles et des cadres d'audit montrent que DRIFT améliore la localisation des erreurs au niveau des segments et la précision de la première erreur jusqu'à 30 points de pourcentage. Notre travail offre une vue au niveau du processus de la fiabilité dans les agents de recherche approfondie.

L'apprentissage par renforcement basé sur des grilles d'évaluation (rubric-based RL) utilise un LLM en tant que juge (LaaJ) pour noter les sorties du modèle selon des rubriques servant de récompenses. Cependant, les modèles de politique peuvent exploiter des biais latents dans le juge, entraînant un piratage de récompense et des résultats d'apprentissage inefficaces ou dangereux. Dans les contextes réels d'apprentissage par renforcement basé sur des grilles, ces comportements de piratage sont souvent subtils et entremêlés avec de multiples biais du juge, ce qui les rend difficiles à analyser, détecter et atténuer. Dans cet article, nous présentons CHERRL, un environnement de piratage contrôlable pour l'apprentissage par renforcement basé sur des grilles. En injectant des biais connus dans le LaaJ, CHERRL permet une reproduction stable du piratage de récompense, une observation explicite de la divergence des récompenses et une identification précise du début du piratage. Cela fournit un banc d'essai expérimental propre pour étudier les mécanismes et les atténuations du piratage de récompense dans l'apprentissage par renforcement basé sur des grilles. Pour démontrer son utilité, nous analysons différents biais du juge du point de vue de la découvrabilité et de l'exploitabilité, et explorons un système basé sur des agents pour détecter automatiquement le début du piratage de récompense à partir des journaux d'apprentissage. Le code et l'environnement sont disponibles publiquement sur https://github.com/THUAIS-Lab/CHERRL.

La distillation en quelques étapes est devenue une stratégie efficace pour accélérer les modèles génératifs visuels avancés, mais les travaux antérieurs se sont largement concentrés sur les objectifs de distillation. Dans ce travail, nous revisitons la distillation en quelques étapes d'un point de vue complémentaire, en nous concentrant sur la recette d'entraînement qui détermine de manière cruciale la performance du modèle élève. En utilisant Qwen-Image-2.0 comme cas représentatif, nous étudions systématiquement trois facteurs dans la distillation unifiée de génération texte-image et d'édition d'image guidée par instructions : la composition des données, le guidage par le professeur et le mélange des tâches. Notre analyse empirique révèle plusieurs comportements non évidents, qui motivent le développement de Qwen-Image-Flash. Dans l'ensemble, nos résultats suggèrent qu'une distillation efficace en quelques étapes nécessite non seulement des objectifs soigneusement conçus, mais aussi une organisation fondée sur des principes de l'ensemble du pipeline d'entraînement.

Les agents multimodaux en robotique, réalité augmentée et conduite autonome doivent raisonner sur des lieux et des agencements à partir de flux égocentriques continus, en exploitant souvent des indices situés hors du champ visuel actuel. Les benchmarks existants évaluent soit hors ligne sur des vidéos complètes, soit ciblent des événements plutôt que la structure spatiale. Nous présentons OVO-S-Bench, un benchmark entièrement annoté par des humains pour l'intelligence spatiale en flux, comprenant 1 680 questions portant sur 348 vidéos sources. L'annotation mobilise 12 annotateurs formés, chacun servant également de relecteur en aveugle, pour environ 804 heures-personnes d'assurance qualité en plusieurs tours. Chaque question comporte un horodatage de requête et un intervalle de preuve ; lors de l'évaluation, le modèle ne voit que le préfixe précédant la requête. Les questions couvrent quatre niveaux d'abstraction croissante : perception égocentrique instantanée, suivi du contexte spatiotemporel, simulation et raisonnement spatial, et cartographie allocentrique. Sur 38 MLLM propriétaires et open-source, le Gemini-3.1-Pro accuse un retard de 27 points par rapport aux experts humains, 59,2 contre 86,6, la cartographie allocentrique constituant le principal goulet d'étranglement. Il est notable que les MLLM spécialisés pour le flux et l'espace performent moins bien que leurs propres architectures de base. Nous constatons en outre que le raisonnement en chaîne de pensée amplifie les erreurs spatiales lorsqu'il n'est pas ancré dans le flux. En exposant ces limitations, OVO-S-Bench établit un banc d'essai exigeant pour les MLLM spatiaux en flux de nouvelle génération.

Les modèles de raisonnement à grande échelle (LRM) ont réalisé des progrès remarquables grâce à l'apprentissage par renforcement avec récompenses vérifiables (RLVR) sur les chaînes de pensée (CoT). Cependant, étant donné que les longues CoT contiennent naturellement des essais et erreurs et que les approches RLVR dominantes sélectionnent les trajectoires CoT correctes en termes de résultat pour la mémorisation, les explorations redondantes dans les longues CoT sont inévitablement renforcées, ce qui entraîne des problèmes de sur-réflexion chez les LRM. Les tentatives précédentes pour résoudre ce problème accordent principalement un avantage plus important aux trajectoires plus courtes, mais leurs signaux d'apprentissage sont toujours basés sur les résultats et ne peuvent pas réduire la mémorisation des explorations redondantes dans les longues CoT. Par conséquent, nous proposons ThoughtFold, un cadre qui exploite l'apprentissage par préférence à grain fin pour atténuer les explorations redondantes en vue d'un raisonnement efficace. ThoughtFold emploie une stratégie introspective pour identifier la redondance au sein de chaque trajectoire correcte, ce qui produit un spectre de sous-trajectoires candidates. En exploitant ce spectre, nous introduisons un objectif d'optimisation de préférence masquée qui pénalise explicitement les explorations redondantes et encourage le modèle à relier directement les segments de raisonnement essentiels, repliant efficacement ses chaînes de raisonnement en un chemin plus concis. Des expériences approfondies montrent que ThoughtFold améliore considérablement l'efficacité. Il réduit l'utilisation de jetons de DeepSeek-R1-Distill-Qwen-7B d'environ 56 % tout en maintenant une précision de pointe.

À mesure que les modèles multimodaux progressent vers la compréhension de vidéos longues, la mémoire émerge comme une capacité critique. Malgré des efforts considérables pour développer des ensembles de données et des benchmarks vidéo, les travaux existants se concentrent principalement sur la perception et le raisonnement, sans évaluer systématiquement la mémoire : ce que les modèles retiennent, la fidélité avec laquelle l'information est préservée et la robustesse de la mémoire face aux interférences. Pour combler cette lacune, nous présentons M^3Eval, le premier cadre d'évaluation et benchmark complet conçu pour sonder différentes dimensions de la mémoire dans les modèles multimodaux. Ancré dans la psychologie cognitive, notre conception repose sur des tâches soigneusement construites qui isolent les aspects clés de la mémoire. En exploitant M^3Eval, nous menons des expériences approfondies sur des modèles multimodaux représentatifs, révélant des faiblesses cohérentes et des comportements distinctifs. Nous constatons que les modèles peinent à maintenir des représentations désentrelacées lors du traitement de flux vidéo parallèles, présentent des schémas d'interférence qui diffèrent considérablement de ceux observés dans la mémoire humaine, ancrent les sources de mémoire de manière plus fiable dans le domaine spatial que temporel, et montrent une mémoire symbolique limitée. Collectivement, notre benchmark constitue une ressource précieuse pour les recherches futures, tandis que nos résultats soulignent la mémoire comme une capacité fondamentale mais encore sous-explorée, et offrent des pistes pour concevoir des mécanismes de mémoire plus efficaces dans les modèles multimodaux. Notre code et notre ensemble de données sont disponibles à l'adresse https://pku-value-lab.github.io/m3eval-homepage.

Les systèmes de raisonnement multi-agents adoptent un paradigme « générer puis transférer » qui contraint la latence de bout en bout à évoluer linéairement avec la profondeur du pipeline. Nous présentons StreamMA, un système de raisonnement multi-agents qui diffuse chaque étape de raisonnement vers les agents en aval dès qu'elle est générée, mettant en pipeline les agents adjacents et réduisant ainsi la latence. De manière surprenante, cette mise en pipeline améliore également l'efficacité : parce que la qualité du raisonnement multi-étapes n'est pas uniforme et que les premières étapes sont plus fiables que les suivantes, travailler avec ces premières étapes fiables au lieu de la chaîne complète empêche les étapes tardives sujettes aux erreurs d'induire en erreur les agents en aval. Nous formalisons ces deux avantages grâce à la première analyse conjointe sous forme fermée des protocoles en continu, en série et simple, en déduisant l'ordre d'efficacité, la borne supérieure d'accélération et le rapport de coût. Sur huit benchmarks de raisonnement couvrant les mathématiques, les sciences et le code, deux LLM de pointe (Claude Opus 4.6 et GPT-5.4), et trois topologies (Chaîne, Arbre, Graphe), StreamMA surpasse les deux lignes de base (moy. +7,3 pp, max +22,4 pp sur HMMT 2026 ; Claude Opus 4.6-high). Au-delà de ces contributions, nous découvrons une « loi d'échelle au niveau des étapes » : augmenter le nombre d'étapes par agent améliore systématiquement à la fois l'efficacité et l'efficience, une nouvelle dimension d'échelle orthogonale et composable avec l'échelle du nombre d'agents.

Nous présentons Echo-Infinity, un cadre autorégressif (AR) pour la génération vidéo infinie en temps réel, qui utilise une mémoire évolutive apprenable pour filtrer, abstraire et compresser dynamiquement tout historique de longueur arbitraire à coût constant. Les méthodes existantes gèrent principalement la mémoire avec des planifications de cache KV prédéfinies, une compression heuristique à rapport fixe ou une adaptation RoPE en inférence. Ces conceptions perdent inévitablement des informations historiques et amplifient les erreurs cumulées en raison de leur fenêtre de cache limitée et de leur ignorance du bruit de génération autorégressif. Inspiré par la consolidation de la mémoire humaine, Echo-Infinity remplace la gestion manuelle de la mémoire par des requêtes de mémoire apprenables (Memory Queries), mises à jour par l'attention et un mécanisme de portes lorsque les trames passées sont évincées de la fenêtre locale. Les requêtes sont optimisées de bout en bout avec les transformateurs de diffusion vidéo (DiTs), formant une mémoire évolutive qui prend en charge des rapports de compression arbitraires avec un calcul constant indépendant de la durée de la vidéo. Elles agissent également comme un a priori génératif généralisable, améliorant la qualité même lorsque seul l'état initial optimisé est utilisé. Nous introduisons en outre la Recette RoPE relative unifiée (Unified Relative RoPE Recipe), qui ancre les trames de départ à l'identifiant 0 et laisse l'identifiant de la trame la plus récente croître au maximum jusqu'à l'identifiant RoPE temporel maximal prédéfini des DiTs tout au long de l'entraînement et de l'inférence, libérant ainsi le modèle de la contrainte de RoPE finie et comblant le fossé d'extrapolation RoPE entre l'entraînement et le test. Dans la génération vidéo longue et courte, Echo-Infinity atteint des performances de pointe et, à notre connaissance, démontre pour la première fois des déploiements en temps réel de 24 heures (>1,3 million de trames), suggérant une voie pratique vers la génération vidéo infinie.

Les agents LLM évoluent rapidement, passant d’assistants de codage à des systèmes d’ingénierie logicielle autonomes. Cependant, les méthodologies d’évaluation existantes restent largement centrées sur des références statiques, isolées et à horizon court, qui ne parviennent pas à capturer la complexité dynamique des flux de travail réels en production. En conséquence, la performance sur ces références peut mal refléter la capacité pratique dans des environnements d’exécution réalistes impliquant de longues chaînes d’exécution, des interactions avec les outils, la gestion des dépendances et des boucles de rétroaction itératives. Nous présentons donc RAMP, une infrastructure ancrée dans la production pour évaluer les agents d’ingénierie logicielle à long horizon. Construit sur la plateforme intégrée YatCC, RAMP fournit une architecture d’évaluation unifiée en environnement d’exécution grâce à des interfaces d’orchestration et d’exécution standardisées. RAMP introduit des charges de travail réalistes de construction de compilateurs avec des dépendances en série et des interactions complexes de chaînes d’outils, ainsi qu’un mécanisme de récupération par étapes pour analyser le comportement d’exécution en cas d’échec partiel du flux de travail. Le cadre intègre en outre des métriques multidimensionnelles orientées vers l’utilité, qui évaluent conjointement la qualité des résultats et l’efficacité des processus. Nous menons des évaluations en environnement d’exécution sur 15 modèles grand public et observons une dégradation substantielle des capacités, qui reste largement invisible dans les références isolées conventionnelles. Les taux d’achèvement des tâches s’effondrent progressivement au fil des flux de travail en série, passant de 100 % au stade initial à seulement 20 % au stade final, tandis qu’aucun des modèles évalués ne termine avec succès l’ensemble du pipeline. L’analyse en environnement d’exécution révèle une propagation systématique des échecs et des inefficacités significatives en termes de ressources, les coûts de calcul variant jusqu’à trois ordres de grandeur entre des modèles comparables. Ces résultats suggèrent que RAMP fait progresser l’évaluation des modèles agentiques vers une évaluation continue, observable en environnement d’exécution et ancrée dans la production.

L'auto-distillation sur politique, où un modèle de langage se conditionne sur un contexte privilégié pour superviser ses propres générations, est une source prometteuse de supervision dense pour l'apprentissage par renforcement à récompenses éparses. En réalité, elle peut être instanciée comme une perte auxiliaire de divergence de Kullback-Leibler inverse étudiant-enseignant sur l'ensemble du vocabulaire. Nous proposons donc SDPG, un cadre d'apprentissage par gradient de politique auto-distillé qui combine les avantages de vérificateur relatifs au groupe avec un écart type normalisé, une auto-distillation sur politique exacte sur l'ensemble du vocabulaire, ainsi qu'une régularisation KL par rapport à la politique de référence. Empiriquement, SDPG améliore la stabilité et les performances par rapport à RLVR et aux méthodes de base d'auto-distillation. Le code est disponible à l'adresse https://github.com/lauyikfung/SDPG.

La mémoire est une capacité indispensable pour les agents LLM à long horizon, leur permettant de conserver et d'exploiter les informations accumulées lors d’interactions prolongées. Les approches existantes d’agents à mémoire sont généralement entraînées de bout en bout par apprentissage par renforcement sur des tâches aval. Cependant, la collecte de problèmes annotés de haute qualité pour des scénarios à forte sollicitation mémoire est coûteuse, et les données d’entraînement qui en résultent manquent souvent de diversité suffisante pour couvrir les comportements mémoire généraux. Dans ce travail, nous proposons MemTrain, un cadre d’entraînement auto-supervisé pour améliorer de manière générale la capacité de mémoire contextuelle des agents LLM, en vue d’un post-entraînement aval plus efficace. MemTrain introduit deux tâches proxies couplées sur des corpus Wikipédia non étiquetés : (1) un objectif de reconstruction masquée de bout en bout, qui exige du modèle qu’il reconstitue des entités masquées après plusieurs tours de mise à jour mémoire, encourageant ainsi le maintien de la mémoire du point de vue du résultat final ; et (2) un objectif de rappel mémoire intermédiaire, qui exige du modèle qu’il reconstitue des informations historiques masquées à l’aide des états mémoire intermédiaires, encourageant une compression fidèle et une complétude mémoire tout au long du processus d’interaction. Les deux objectifs sont optimisés conjointement à l’aide de GRPO. Des expériences approfondies sur des références de QA sur textes longs et de QA par recherche démontrent que MemTrain améliore systématiquement les performances de raisonnement mémoire intensif aval sur différents modèles, avec des gains pouvant atteindre 17,67 points par rapport à un post-entraînement direct spécifique à la tâche.

L'appariement à grande ligne de base (WBM) nécessite l'intégration de la compréhension géométrique, des changements de point de vue, de la perception à grain fin et du raisonnement sur les occlusions, ce qui en fait un banc d'essai exigeant pour le raisonnement spatial dans les modèles de langage de grande taille multimodaux (MLLMs) déployés dans des environnements physiques. Cependant, les MLLMs actuels manquent de cadres systématiques d'évaluation et d'entraînement pour ces capacités. Nous présentons ReasonMatch-Bench, un benchmark stratifié par déplacement du point de vue et granularité d'appariement dans des scénarios intérieurs, extérieurs et centrés sur les objets, et montrons que les MLLMs actuels peinent encore avec les correspondances à grande ligne de base à grain fin : sur un sous-ensemble difficile de 90 échantillons, les annotateurs humains atteignent un F1 de 84,0, tandis que la meilleure baseline existante obtient 37,2. Pour combler cet écart, nous construisons un pipeline de génération de données évolutif qui extrait automatiquement des paires de vues à grande ligne de base à partir de corpus vidéo-3D à grande échelle, y compris des vidéos RVB-D et des reconstructions SfM, produisant une supervision diversifiée et vérifiable. Nous proposons en outre l'apprentissage par renforcement par correspondance dynamique (DCRL), qui combine une progression du point de vue au niveau de l'image et un curriculum de correspondances au niveau des points pour améliorer l'entraînement WBM via des récompenses vérifiables sans supervision explicite de chaîne de pensée (CoT). Des expériences approfondies montrent que DCRL améliore considérablement ReasonMatch-Bench et se transpose à des benchmarks spatiaux connexes, tout en maintenant les performances de compréhension visuelle générale avec des gains modestes sur plusieurs benchmarks.

Les connaissances procédurales abondantes sur le Web offrent un potentiel considérable pour aider les agents à résoudre des tâches à long horizon. Cependant, ces connaissances sont souvent multimodales, hétérogènes, bruitées et supposent implicitement des exécutants humains, ce qui les rend difficiles à utiliser directement comme les compétences requises par les agents. Pour combler l’écart entre les guides orientés humains et les compétences exécutables par les agents, nous formalisons ce problème sous le nom d’apprentissage guide-à-compétence : convertir des guides du monde réel en compétences exécutables et les améliorer continuellement à partir des trajectoires observables par l’agent. Pour évaluer la capacité des agents existants sur cette tâche, nous introduisons MMG2Skill-Bench, le premier banc d’essai conçu pour ce problème. Nous proposons également MMG2Skill, un cadre en boucle fermée qui compile les guides en compétences modifiables, conditionne un agent à modèle vision-langage (VLM) fixe sur ces compétences lors de l’exécution, et révise les compétences à partir d’un retour d’information de cause racine au niveau des trajectoires, sans utiliser les scores du banc d’essai. Dans le contrôle d’interface graphique, le jeu vidéo ouvert et le jeu de cartes stratégique avec six architectures VLM, MMG2Skill surpasse systématiquement les agents de référence de base dans chaque paramètre modèle-domaine, avec des gains moyens macro de +12,8 à +25,3 points de pourcentage selon les architectures. Les études d’ablation montrent que solliciter directement les agents avec des guides bruts peut dégrader les performances, tandis que la construction structurée de compétences et la révision guidée par les trajectoires sont toutes deux nécessaires aux améliorations observées. Dans les tâches dont le succès est inférable, l’arrêt précoce basé sur un analyseur évite en outre les régressions de performance en phase tardive et économise 25 % à 53 % des tentatives lorsque le signal de succès est correctement calibré.

Les cartes au niveau de la voie constituent une infrastructure essentielle pour la conduite autonome et la navigation à l'échelle de la voie. Pourtant, la construction et la maintenance de réseaux de voies standardisés pour des centaines de villes restent extrêmement exigeantes en main-d'œuvre. Les récentes méthodes de cartographie vectorisée de bout en bout permettent de prédire la géométrie et la topologie des voies directement à partir des données des capteurs, mais elles traitent généralement les spécifications de cartographie et les règles de circulation comme une supervision implicite dépendante des jeux de données. De plus, dans les scènes complexes (par exemple, marquages usés ou manquants, et occultations), les configurations correctes des voies sont souvent sous-déterminées par la seule preuve visuelle, ce qui fait des violations des spécifications une source majeure de post-édition humaine. Nous proposons MapAgent, une architecture agentique de qualité industrielle qui enrichit une architecture de vectorisation pour la production de cartes de voies conformes aux spécifications. Plutôt que de simplement ajouter une boucle agent à la prédiction de cartes, MapAgent associe la perception de l'architecture de base à une vérification explicite des spécifications, un raisonnement tenant compte des contraintes et une édition déterministe de la carte dans le cadre d'une boucle Juge-Planificateur-Travailleur pilotée par la vérification et bornée. Un juge vision-langage diagnostique les erreurs en inspectant conjointement les preuves visuelles et les vecteurs provisoires, tandis qu'un planificateur utilisant des outils génère des corrections minimales avec une re-validation post-édition. Pour rester scalable à l'échelle de la production urbaine, MapAgent n'est déclenché que sélectivement sur les tuiles présentant une faible confiance de l'architecture de base, ajoutant une surcharge modérée tout en préservant le débit. Les expériences sur des jeux de données réelles montrent des gains constants par rapport à des références de production solides, en particulier dans les scénarios complexes et à longue traîne. De plus, MapAgent a été intégré dans Baidu Maps, soutenant la génération de cartes au niveau de la voie pour plus de 360 villes à l'échelle nationale et portant le taux d'automatisation global de la production à plus de 95 %, démontrant ainsi la praticité et l'efficacité de MapAgent pour la génération de cartes de voies à grande échelle.

La distillation on-policy (OPD) dans les grands modèles de langage évolue d'une supervision KL complète sur les trajectoires vers des paradigmes d'apprentissage plus sélectifs. Les méthodes récentes d'OPD se concentrent de plus en plus sur la sélection des trajectoires à apprendre, des tokens les plus informatifs et des signaux de supervision les plus fiables. Motivés par cette tendance, nous repensons la granularité d'optimisation de l'OPD et proposons \fireicon\ FiRe-OPD (Filter, then Reweight), qui ajuste conjointement les signaux de supervision aux niveaux des trajectoires et des tokens. En détail, FiRe-OPD filtre d'abord les trajectoires pour éliminer les échantillons de rollout de faible qualité, puis applique un rééquilibrage doux au sein des trajectoires retenues afin de mettre en avant les tokens informatifs. Comparé à une sélection dure de tokens, FiRe-OPD exploite un mécanisme de pondération douce pour atténuer efficacement la perte d'information et améliorer la stabilité de l'optimisation, permettant ainsi une optimisation OPD plus fine. Nous validons l'efficacité de FiRe-OPD dans des contextes de fort-à-faible, de professeur unique et de professeurs multiples, et démontrons sa supériorité par rapport aux méthodes OPD récentes au niveau des tokens (par exemple, +6,25 sur AIME 2024 dans le cadre fort-à-faible, +18,81 sur Miner dans le cadre multi-professeurs). Notre code est disponible à l'adresse https://github.com/YuYingLi0/FiRe-OPD.

Nous présentons AAD-1, un cadre de distillation adverse asymétrique pour la génération autorégressive d’images en vidéos en une étape. Les méthodes de pointe actuelles utilisent la distillation adverse mais souffrent d’effondrement du mouvement et d’instabilité d’entraînement, conduisant à des vidéos statiques. AAD-1 répond à ces défis grâce à deux conceptions clés dans l’architecture et la stratégie d’entraînement. Notre principal apport architectural consiste à briser la symétrie entre le générateur et le discriminateur. Alors que le générateur reste causal afin de préserver la capacité d’échantillonnage autorégressif, le discriminateur examine bidirectionnellement l’ensemble du contexte spatiotemporel et produit un score unique de réalisme holistique pour la séquence vidéo entière. Cette conception asymétrique permet au discriminateur de détecter efficacement les défaillances temporelles globales et les dérives à longue portée qui provoquent l’effondrement du mouvement dans la génération autorégressive. Pour stabiliser l’entraînement, nous introduisons une stratégie par phases qui commence par une correspondance de distribution pour amorcer un générateur stable en une étape, offrant une phase d’échauffement qui rapproche la distribution de l’étudiant de celle de l’enseignant avant le début de la distillation adverse. Des expériences approfondies sur VBench montrent qu’AAD-1 atteint des performances de pointe dans la génération vidéo autorégressive en une étape.

Les méthodes de splatting gaussien 3D feed-forward reconstruisent une scène à partir d’images posées ou non posées en un seul passage direct, mais les approches actuelles prédisent un gaussien par pixel d’entrée, liant ainsi le budget de représentation à la résolution de la caméra plutôt qu’à la complexité de la scène. Un mur plat et un objet richement texturé produisent donc autant de gaussiens, malgré des besoins géométriques très différents. Nous proposons ZipSplat, un modèle feed-forward basé sur des tokens qui dissocie le placement des gaussiens de la grille de pixels. Un backbone multi-vue extrait des tokens visuels denses, et un clustering k-means les compresse en un ensemble compact de tokens de scène. Des mécanismes d’attention croisée et d’auto-attention affinent ces tokens, et un MLP léger décode chacun d’eux en un groupe de gaussiens aux positions 3D non contraintes. Le clustering étant appliqué lors de l’inférence, un seul modèle entraîné couvre la courbe qualité-efficacité sans nécessiter de réentraînement. ZipSplat fonctionne sans poses réelles ni paramètres intrinsèques, tout en établissant un nouvel état de l’art sur DL3DV et RealEstate10K avec environ 6 fois moins de gaussiens que les méthodes alignées sur les pixels, surpassant la meilleure baseline sans pose de 2,1 dB et 1,2 dB de PSNR respectivement. Il se généralise en outre en zero-shot à Mip-NeRF360 et ScanNet++, surpassant toutes les baselines comparables. Notre page projet se trouve à l’adresse {https://veichta.com/zipsplat}.

Les données de pré-entraînement de haute qualité constituent un ingrédient central des modèles de langage modernes, mais les ressources en langue allemande restent bien moins développées que leurs équivalentes anglaises : elles sont souvent plus petites, moins soigneusement organisées, faiblement documentées et rarement validées par des expériences d'entraînement contrôlées. Nous présentons KletterMix, un corpus allemand de haute qualité pour le pré-entraînement et le recuit de modèles de langage, conçu comme un artefact de données réutilisable pour la communauté du traitement automatique des langues et de la modélisation. KletterMix est construit en traduisant un corpus de pré-entraînement anglais de pointe en allemand, tout en préservant les limites des documents, les métadonnées, la structure des sources et la diversité thématique. Cette construction produit un corpus allemand possédant l'échelle et la diversité d'un ensemble de données de pré-entraînement moderne, tout en permettant une comparaison directe avec sa source anglaise. Nous documentons l'ensemble de données par le biais d'un large éventail d'analyses au niveau du corpus, notamment la qualité de la traduction, les distributions de longueur des documents, la couverture thématique, la composition des sources et les métadonnées géographiques. À l'aide de COMETKiwi, nous montrons que les documents traduits atteignent une qualité élevée dans des domaines divers, ce qui suggère qu'une traduction minutieuse peut préserver une grande partie de la richesse sémantique et stylistique du corpus d'origine. Au-delà de la construction de l'ensemble de données, nous évaluons KletterMix en tant que données d'entraînement. Grâce à des ablations contrôlées de pré-entraînement et de recuit par rapport à des corpus allemands établis, nous montrons que les modèles entraînés sur KletterMix obtiennent des améliorations mesurables dans les évaluations en aval en langue allemande. Ces résultats démontrent que des données traduites soigneusement organisées peuvent considérablement renforcer l'écosystème de données de pré-entraînement en allemand.

Les progrès scientifiques et techniques sont fondamentalement un processus itératif à long horizon : proposer des modifications, mener des expériences, mesurer les résultats et affiner continuellement les artefacts. Pourtant, les référentiels existants destinés aux modèles frontières évaluent principalement soit des réponses uniques, soit des trajectoires d'agents à court horizon, sans parvenir à capturer les défis d'une amélioration itérative soutenue sur des horizons temporels étendus. Pour combler cette lacune, nous présentons AutoLab, un nouveau référentiel pour l'optimisation en boucle fermée à très long horizon. AutoLab comprend 36 tâches réalistes, sélectionnées par des experts, couvrant quatre domaines variés : l'optimisation de systèmes, les casse-têtes et défis, le développement de modèles, et l'optimisation de noyaux CUDA. Chaque tâche débute avec une base de référence correcte mais délibérément sous-optimale et met les agents au défi de l'améliorer dans un budget de temps strict (temps réel). L'évaluation de 17 modèles de pointe révèle que le prédicteur dominant de succès n'est pas la qualité de la première tentative d'un agent, mais sa persistance à évaluer, éditer et intégrer de manière répétée les retours empiriques. Bien que claude-opus-4.6 démontre de fortes capacités d'optimisation à long horizon, la plupart des modèles frontières, y compris plusieurs modèles propriétaires, soit s'arrêtent prématurément, soit épuisent leurs budgets avec des progrès minimes. Ces résultats soulignent l'importance de la conscience temporelle et de l'itération persistante dans les agents autonomes. Nous publions en open source l'intégralité du référentiel, du cadre d'évaluation et des artefacts de tâches, afin d'accélérer la recherche vers des agents véritablement capables d'action à long horizon.

Les benchmarks existants pour les artefacts web générés par MLLM évaluent l'interaction à partir d'indices locaux et négligent les états et transitions induits par les exigences qui déterminent le fonctionnement d'une page. Nous présentons WebRISE, qui compile les exigences des tâches en graphes de contrats d'interaction (ICG) composés d'états observables, de transitions d'intention utilisateur et d'assertions DOM/visuelles, pour une exécution navigateur indépendante de l'implémentation. WebRISE couvre 442 tâches réparties sur cinq modalités d'entrée (texte, Markdown, croquis, image, vidéo), avec 5 495 transitions et 5 271 vérifications d'exigences qui séparent les fonctions énoncées par l'utilisateur des contraintes implicites au niveau du produit. Sur 14 MLLM, même le modèle le plus performant n'atteint que 65,6 % de validité des transitions et 66,3 % de couverture des exigences, et la qualité visuelle n'est pas un indicateur du comportement (Qwen3.6-35B-A3B sur Markdown : V=80,8 mais T=15,5). La vidéo fournit le signal d'interaction le plus fort (+10,6 points de pourcentage de couverture implicite par rapport au texte), tandis que les contraintes implicites persistent ; l'injection de défauts montre que le score basé sur les ICG détecte les erreurs d'état à un rythme 2 à 16 fois supérieur à celui d'une évaluation de type point de contrôle.

La vérification structurée d'audit financier est difficile pour les agents basés sur des modèles de langage, car la justesse dépend de preuves structurées et non uniquement du texte. Un modèle doit relier les faits rapportés aux concepts de taxonomie, parcourir des relations de calcul ou dimensionnelles, et recalculer les valeurs attendues avant d'appliquer une règle d'audit. Nous proposons AuditFlow, un cadre multi-agents ancré dans un graphe qui sépare la recherche adaptative de la vérification déterministe. AuditFlow construit un environnement symbolique à partir d'un graphe de taxonomie US-GAAP statique et d'un graphe de dépôt XBRL dynamique, et l'expose via des outils typés pour la récupération de faits, le parcours de taxonomie, la vérification numérique et l'évaluation de règles. Deux auditeurs juniors examinent chaque cas sous les angles réglementaire et probant, tandis qu'un auditeur senior résout les désaccords et peut demander des investigations supplémentaires. Les rapports finaux sont fusionnés par agrégation probante pour produire un verdict d'audit, une valeur attendue, une chaîne de preuves et un score de fiabilité. Sur un échantillon FinMR dérivé de FinAuditing, AuditFlow atteint une précision d'audit conjointe de 82,09 % avec GPT-5.5, surpassant la référence la plus forte de 14,93 points. La suppression des vérifications déterministes fait chuter la précision à 17,91 %, montrant que l'environnement symbolique effectue l'étape de vérification que le modèle ne peut pas remplacer de manière fiable.

La mise à l'échelle de la loco-manipulation humanoïde nécessite des démonstrations compatibles avec le robot, couvrant divers objets, mouvements du corps entier et géométries de scène, mais la téléopération et la capture de mouvement sont difficiles à généraliser car chaque collecte dépend de configurations physiques, d'acteurs instrumentés et de l'exploitation du robot. Nous présentons GRAIL, un pipeline de génération numérique qui reste entièrement virtuel jusqu'au déploiement : il compose des actifs 3D, des scènes prêtes pour la simulation et des connaissances a priori issues de modèles fondamentaux vidéo (VFM) afin de synthétiser des interactions sans reconstruire d'environnements physiques ni téléopérer le robot. Plutôt que de reconstruire des vidéos sauvages non contraintes, GRAIL part de configurations 3D entièrement spécifiées dans lesquelles la géométrie des objets, les paramètres de caméra, l'échelle métrique, la profondeur de l'environnement et un personnage proportionné au robot sont connus avant la génération vidéo et réutilisés lors de la reconstruction. Cette configuration privilégiée conditionne mieux la reconstruction 4D, permettant un suivi d'objets basé sur modèle, une estimation du mouvement humain et une optimisation tenant compte de l'interaction pour reconstruire des trajectoires métriques 4D d'interaction homme-objet (HOI) avec une ambiguïté de profondeur et un décalage morphologique réduits. Nous réaffectons les mouvements reconstruits à un robot humanoïde et entraînons des trackers complémentaires généralistes : un adaptateur latent sensible aux objets pour la manipulation et un tracker sensible à la scène pour le franchissement de terrain. GRAIL produit plus de 20 000 séquences couvrant la saisie, la manipulation d'objets, l'assise et le franchissement de terrain. En n'utilisant que des données générées par GRAIL, nous entraînons des politiques visuelles égocentriques via un pipeline sim-vers-réel et les déployons sur un humanoïde Unitree G1, atteignant 84 % de succès en conditions réelles pour la saisie d'objets variés et 90 % de succès pour la montée d'escaliers.

Les agents d'utilisation d'ordinateur étendent les modèles de langage depuis la génération de texte jusqu'à une interaction soutenue avec des fichiers, des terminaux, des navigateurs et des outils externes. Cette transition crée des risques de sécurité difficiles à détecter à partir d'invites isolées ou de réponses finales, car les dommages n'émergent souvent qu'à travers des traces d'exécution multi-étapes dont les actions individuelles apparaissent localement bénignes. Nous introduisons BraveGuard, un cadre de défense auto-évolutif pour l'entraînement de modèles de garde à partir de signaux de menace issus du monde ouvert et de trajectoires réalistes d'agents. BraveGuard exploite des sources de recherche récentes pour identifier les risques émergents et les schémas d'attaque, les instancie sous forme de tâches d'utilisation d'ordinateur exécutables, collecte les déploiements d'agents et dérive une supervision au niveau des trajectoires pour l'entraînement des modèles de garde. À mesure que de nouvelles menaces et des échecs de validation apparaissent, le pipeline peut être répété, produisant une boucle de défense adaptative plutôt qu'un processus d'entraînement statique et piloté par des références. Nous instancions BraveGuard en entraînant plusieurs architectures de garde, y compris les variantes Qwen3-Guard et Llama-Guard, et évaluons les gardes résultantes sur des références de sécurité des agents au niveau des trajectoires. BraveGuard améliore systématiquement la détection de sécurité sur les trajectoires d'utilisation d'ordinateur. Sur AgentHazard, il améliore considérablement la précision de détection par rapport aux modèles de garde prêts à l'emploi, avec une précision passant de 38,79 % à 82,38 % dans le cadre du réglage moyen du modèle de garde. Ces résultats montrent qu'une supervision de garde ancrée dans la découverte de menaces en monde ouvert et l'exécution réaliste d'agents peut améliorer la surveillance de la sécurité au-delà des taxonomies fixes et des données synthétiques au niveau des invites. BraveGuard offre une voie évolutive vers des défenses adaptatives pour les agents d'utilisation d'ordinateur confrontés à des risques évolutifs dans le monde réel.

Les progrès rapides des grands modèles de langage de pointe ont conduit à une saturation généralisée des benchmarks, limitant la capacité des jeux de données existants à différencier les capacités des modèles ou à fournir un signal d’entraînement utile. Par exemple, sur LiveCodeBench, les modèles de pointe atteignent plus de 99 % de Pass@1 sur les divisions faciles et dépassent 90 % de Pass@1 en moyenne sur tous les niveaux de difficulté. La construction de nouveaux jeux de données exigeants nécessite généralement un effort humain considérable, créant un goulot d’étranglement pour le progrès. Nous présentons BenchEvolver, un cadre évolutif centré sur les solutions qui transforme automatiquement des problèmes de codage existants en variantes plus difficiles. Plutôt que de générer des problèmes à partir de zéro, BenchEvolver fait évoluer des solutions de référence par des transformations structurées et déduit les énoncés et tests correspondants à partir des solutions évoluées. Cette conception ancre la génération dans une sémantique exécutable, permettant une construction évolutive de tâches de haute qualité, diverses et difficiles, avec une vérifiabilité correcte. En appliquant BenchEvolver à LiveCodeBench et SciCode, nous obtenons des tâches évoluées nettement plus difficiles tout en conservant leur validité, l’exactitude de la référence et leur diversité. Nous élaborons en outre LiveCodeBench-Plus, un benchmark de 91 problèmes combinant des tâches évoluées et les tâches originales difficiles de LCB-v6, où le Pass@1 des modèles de pointe varie de 27,5 % à 62,6 %, rétablissant une discrimination claire entre les modèles de codage performants. Il est important de noter que les tâches évoluées restent difficiles même pour le modèle qui les génère, permettant ainsi une auto-amélioration. Nous montrons également que l’apprentissage par renforcement (RL) sur les tâches évoluées de LCB améliore les performances de codage sur des ensembles non vus : pour gpt-oss-20b, l’entraînement sur les données de départ et évoluées obtient des gains de +8,7 et +8,3 en Pass@1 sur LCB v6 Hard et LCB-Pro Easy, dépassant respectivement de 70,7 % et 34,8 % les gains obtenus avec les seules données de départ. Nos résultats montrent que BenchEvolver peut convertir des benchmarks saturés en suites d’évaluation de niveau avancé et en signaux d’entraînement réutilisables.

Comment une population d'agents peut-elle s'auto-orchestrer et s'auto-adapter pour former une intelligence collective plus forte sans contrôle centralisé ? Inspirés par la théorie économique de la coordination décentralisée sur les marchés de Friedrich Hayek, nous étudions cette question à travers une économie d'agents où ceux-ci rivalisent via des enchères pour le droit d'agir, échangent des paiements et accumulent de la richesse à partir de récompenses environnementales. Ces signaux économiques simples induisent une affectation décentralisée du crédit, dirigeant la planification sans orchestration globale ni protocoles de communication explicites. La population évolue par sélection économique : les agents efficaces accumulent de la richesse et subissent des mutations par exploitation, tandis que les inefficaces font faillite et sont remplacés par exploration. Nous montrons que, initialisée avec des agents faibles, l'économie produit des stratégies émergentes de raisonnement multi-étapes et surpasse des références monolithiques plus fortes dans cinq tâches agentiques, incluant le raisonnement mathématique, la recherche financière, la recherche scientifique, la conception d'accélérateurs et l'optimisation de systèmes distribués. Nous apportons également des éclairages théoriques sur la manière dont la dynamique économique façonne les comportements des agents, reliant les incitations locales à la performance globale à long terme. Nos résultats suggèrent une nouvelle voie vers l'intelligence multi-agents : plutôt que d'ingénier la coordination, nous pouvons concevoir des structures d'incitation décentralisées sous lesquelles elle émerge automatiquement.

Comprendre comment une structure interne organisée émerge au cours de l'entraînement des réseaux de neurones est essentiel à l'étude de l'apprentissage profond. Nous examinons ce phénomène à travers la tâche de composition de groupes, où un réseau de neurones à deux couches est entraîné à prédire \( g_1 \star g_2 \) pour des éléments d'un groupe fini \( G \). En relevant le flot gradient projeté dans le domaine de Fourier, nous montrons que la dynamique d'entraînement est régie par une ascension de gradient riemannienne sur une fonctionnelle d'énergie issue de la théorie des représentations. Nous prouvons que, sous initialisation aléatoire, ce flot conduit chaque neurone à converger presque sûrement vers une représentation irréductible unique, tandis que les coefficients de Fourier inter-couches atteignent un alignement rotationnel de rang un. Ce cadre offre une description, fondée sur la théorie des représentations, de l'apprentissage des caractéristiques et caractérise un nouveau phénomène de compression de bas rang pour les représentations de groupes à valeurs matricielles. De plus, pour les groupes abéliens, nous fournissons une description complète au niveau de la population : une initialisation aléatoire favorise une diversification uniforme entre les représentations non triviales et induit des phases uniformes selon la mesure de Haar, approchant conjointement l'indicateur via un mécanisme de vote majoritaire. Nous démontrons en outre que l'alignement des phases et la compétition entre représentations émergent avec des taux de convergence exponentiels.

La fusion de modèles dans l'espace des poids est généralement formulée comme une opération algébrique sur les points de contrôle, mais à l'échelle des LLM, la ressource limitante est souvent l'ensemble des poids d'experts qui doivent être lus. Nous présentons MergePipe, une couche d'exécution tenant compte du budget qui reformule la fusion des LLM comme un problème d'ensemble d'accès aux experts : étant donné un opérateur de fusion et une famille de points de contrôle dans un système de coordonnées de poids partagé, choisir quels blocs delta d'experts accéder sous un budget d'E/S explicite. MergePipe indexe les blocs de paramètres, construit des plans d'accès déterministes et exécute la fusion budgétisée induite avec des manifestes reproductibles. Le plan est budgétairement correct par construction et retrouve la fusion par lecture complète au budget maximal ; pour les opérateurs additifs à coefficients fixes, l'erreur de mise à jour omise est bornée par la norme des deltas omis. Sur des charges de travail de fusion de Qwen et Llama, MergePipe réduit les E/S de lecture d'experts jusqu'à un ordre de grandeur et atteint des accélérations allant jusqu'à 11 fois. Des balayages de budget représentatifs montrent une déviation des paramètres de l'ordre de 10^{-3} par rapport aux fusions par lecture complète et aucune dégradation monotone sur les benchmarks en aval.

L’attribution des données d’entraînement (TDA) vise à relier les prédictions d’un modèle à ses données d’entraînement. La méthode de référence pour la TDA repose sur des interventions causales, consistant à observer comment un modèle change lorsque des données sont ajoutées ou retirées, mais le réentraînement répété est difficile sur le plan computationnel pour les grands modèles de langage (LLMs). Par conséquent, la plupart des approches approximisent cet effet dans l’espace des paramètres à l’aide de gradients. Cependant, suivre les gradients à travers des milliards de paramètres est non seulement excessivement coûteux, mais repose également sur des approximations locales. Dans ce travail, nous proposons un changement de perspective : au lieu d’estimer les changements de paramètres, nous modélisons l’effet fonctionnel des données d’entraînement dans l’espace des activations. Nous introduisons STRIDE (Steering-based Training Data Influence Decomposition), un cadre qui formule la TDA comme un problème de reconstruction parcimonieuse dans l’esprit du compressive sensing. STRIDE apprend des « opérateurs de guidage » légers qui imitent le changement de comportement induit par l’entraînement sur des sous-ensembles de données. En mesurant comment ces opérateurs perturbent les prédictions de test, nous récupérons les influences individuelles des exemples d’entraînement via une décomposition linéaire parcimonieuse. STRIDE atteint l’état de l’art pour l’attribution du pré-entraînement des LLMs tout en étant un ordre de grandeur (13 fois) plus rapide que les travaux précédents. Nous validons également son utilité pratique à travers des applications en aval, notamment la sélection de données, la contamination de données et l’analyse qualitative.

Le raisonnement déontique consiste à répondre à des questions en appliquant des règles et politiques explicites à des faits propres à chaque cas, par exemple en calculant une obligation fiscale en vertu d'un texte de loi ou en déterminant l'issue d'un recours en matière d'immigration. Un défi technique majeur pour le raisonnement déontique basé sur les LLM est que l'ensemble des règles pertinentes peut être long et faire l'objet de renvois croisés, de sorte que les modèles peuvent encore échouer à localiser les règles nécessaires à une étape de raisonnement particulière. Nous introduisons le raisonnement déontique agentique (DAR), une configuration de raisonnement agentique dans laquelle le modèle interagit avec les textes de loi à la demande. Nous évaluons le DAR sous plusieurs harnais sur des sous-ensembles difficiles de DeonticBench. Dans ces configurations, nous constatons que les harnais agentiques peuvent repousser les limites des tâches de raisonnement déontique, mais les améliorations ne sont pas uniformes : les modèles plus faibles se dégradent souvent sur les tâches numériques tout en consommant beaucoup plus de jetons.

Les grands modèles de langage (GMLs) sont de plus en plus proposés comme agents cliniques, mais des benchmarks statiques à un seul tour ne peuvent pas capturer la manière dont un modèle prodigue des soins de manière dynamique tout au long d'une consultation : recueillir des informations, planifier un traitement et adapter la prise en charge longitudinale en fonction des états successifs du patient. La formation médicale aborde depuis longtemps un défi analogue grâce aux patients standardisés (PS) : des acteurs entraînés qui incarnent de manière cohérente des cas cliniques, permettant une pratique réaliste et une évaluation objective et scénarisée. Nous présentons ici MedSP1000, un benchmark interactif dérivé des PS pour l'évaluation des agents cliniques, comprenant 1 638 cas PS avec 24 602 grilles d'évaluation au niveau de la trajectoire validées par des pairs. MedSP1000 convertit des cas pédagogiques PS évalués par les pairs en scénarios exécutables avec des scripts de cas PS définis, des contextes d'environnement clinique et une grille d'évaluation structurée validée par des humains. Dans chaque cycle d'évaluation par simulation, un agent clinique interagit en boucle fermée avec un agent patient et un contrôleur d'environnement, et son comportement est noté tout au long de la consultation selon des critères experts spécifiés dans les documents originaux. En appliquant MedSP1000 à une gamme de GMLs généralistes et spécialisés en médecine, nous constatons que les performances sur des benchmarks statiques ne se traduisent pas de manière fiable à de tels scénarios pédagogiques. Le modèle le plus performant, GPT-5.5, n'achève que 60,4 % des items de la grille d'évaluation définie par les experts, tandis que le modèle médical spécialisé le plus fort atteint 40,0 % ; augmenter le temps de calcul lors du test ne produit aucun gain mesurable. Ces résultats suggèrent que les GMLs actuels, y compris les systèmes agentiques optimisés pour la médecine, ne sont pas encore suffisamment fiables pour être intégrés en toute sécurité dans la pratique clinique réelle. Plus largement, MedSP1000 montre comment une évaluation de type processus, à la manière des PS, peut révéler des modes de défaillance cliniquement pertinents que les benchmarks à un seul tour ne détectent pas.

Les systèmes de traduction vocale couvrent de plus en plus la traduction parole-texte (S2TT), la traduction parole-parole (S2ST), la traduction hors ligne et la génération en flux, produisant des sorties qui diffèrent en termes de modalité, de réalisation vocale et de comportement temporel. Les pratiques d'évaluation existantes évaluent des aspects importants tels que la qualité de la traduction, la qualité vocale et la qualité temporelle, mais ces aspects sont souvent évalués selon des protocoles distincts, ce qui rend difficile une comparaison complète des systèmes hétérogènes. Pour combler cette lacune, nous présentons OpenSTBench, un cadre d'évaluation multidimensionnel unifié qui organise les sorties hétérogènes de traduction vocale dans un format d'évaluation partagé. OpenSTBench prend en charge les systèmes S2TT et S2ST en modes hors ligne et en flux, et évalue conjointement la qualité de la traduction, la qualité vocale, la préservation du locuteur, la fidélité émotionnelle et paralinguistique, la cohérence temporelle et la latence. Grâce à des expériences sur des systèmes représentatifs de traduction vocale, nous montrons que des systèmes ayant une forte qualité de traduction peuvent néanmoins différer considérablement en termes de qualité vocale et de qualité temporelle. OpenSTBench fournit un protocole reproductible pour analyser ces différences inter-dimensionnelles et faciliter la comparaison orientée application des systèmes de traduction vocale. Le code et les ensembles de données sont disponibles à l'adresse https://github.com/sjtuayj/OpenSTBench.

L'entraînement et la mise à l'échelle des grands modèles de langage exigent des ressources de calcul considérables, ce qui motive à la fois le développement d'architectures sous-quadratiques efficaces et de méthodes de réglage des hyperparamètres fondées sur des principes. Alors que la Paramétrisation de Mise à Jour Maximale (μP) a permis un transfert d'hyperparamètres en zero-shot pour les Transformers standards, son extension aux modèles linéaires, en particulier ceux dotés de transitions d'état structurées et d'architectures complexes, reste largement inexplorée. En propageant rigoureusement les estimations de taille de coordonnées à travers le passage avant, les mécanismes de portes et les dynamiques d'état récurrentes, nous dérivons les règles de mise à l'échelle du Réseau Delta à Portes (Gated Delta Network). Des expériences de pré-entraînement sur modèle de langage confirment que nos configurations permettent un transfert stable du taux d'apprentissage entre différentes largeurs de modèle sous AdamW et SGD, tandis que la paramétrisation standard ne parvient pas à effectuer ce transfert, validant ainsi la justesse et l'utilité pratique de notre analyse.

Nous présentons Stable-Layers, un cadre d'apprentissage par renforcement qui élimine le besoin de supervision appariée en affinant un modèle de décomposition de couches pré-entraîné à l'aide uniquement des retours d'un modèle vision-langage (VLM). En partant de Qwen-Image-Layered, nous appliquons Flow-GRPO avec adaptation LoRA, en échantillonnant plusieurs décompositions candidates par image, en les notant avec un VLM, et en optimisant la politique à partir des avantages relatifs au groupe. Le défi principal réside dans la conception d'un signal de récompense fiable : les VLM notant les échantillons de manière isolée ont tendance à compresser leurs jugements dans une bande étroite, laissant à GRPO peu de variance intra-groupe pour apprendre. Nous relevons ce défi avec un pipeline d'évaluation en deux étapes qui associe une notation structurée par échantillon selon cinq critères centrés sur l'édition à une étape de calibration basée sur une grille où le VLM renote tous les candidats côte à côte. Stable-Layers produit des décompositions avec une meilleure séparation des couches, moins de couches vides ou riches en artefacts, et une erreur de reconstruction par couche plus faible sur le jeu de données Crello par rapport au modèle de base.

Alors que les modèles multimodaux actuels sont compétents pour l'édition visuelle ouverte, l'exécution d'éditions précises à réponse unique reste un obstacle important. Pour étudier ce défi, nous présentons PaintBench, un benchmark évolutif dynamiquement ciblant 20 opérations fondamentales d'édition visuelle précise réparties en quatre catégories : transformation géométrique, manipulation structurelle, changement de couleur et raisonnement symbolique. La génération procédurale avec une complexité configurable permet une suite d'évaluation effectivement infinie et résistante à la contamination, tandis que l'évaluation déterministe au niveau du pixel élimine la dépendance à des modèles juges sujets aux biais. Sur 11 modèles d'édition d'images, nous constatons une performance globale faible, le leader industriel actuel le plus performant n'atteignant que 17,1 % (mIoU). La décomposition des tâches révèle des types d'opérations particulièrement difficiles (transformation géométrique, la plupart des manipulations structurelles, changement de couleur basé sur des formules) ainsi que des spécialisations spécifiques aux modèles. Les diagnostics fins du benchmark montrent en outre des dégradations de performance induites par des variations de scène dans le nombre d'objets, la complexité de l'arrière-plan, la palette de couleurs et la taille de la région d'édition. Pour tester la généralisation des scores PaintBench à la performance sur des tâches appliquées, nous créons une évaluation procédurale et déterministe pour l'édition de visualisation de données (TinyGrafixBench) et trouvons une forte corrélation linéaire avec les scores PaintBench (R² = 0,91, p < 0,001). Dans l'ensemble, PaintBench fournit une base rigoureuse pour mesurer et stimuler les progrès en édition visuelle multimodale précise.

Les agents de modèle de langage de grande taille (LLM) évoluent d’assistants question-réponse vers des acteurs logiciels de longue durée : ils conservent un état entre les appels de modèle, forquent des sous-tâches, attendent des événements externes, sollicitent une autorisation humaine, génèrent des outils, et produisent des effets de bord qui doivent être repris et audités. Cet article présente Agent libOS, un substrat d’exécution inspiré d’un système d’exploitation bibliothèque pour agents LLM. Agent libOS s’exécute au-dessus d’un système d’exploitation hôte conventionnel ; il n’implémente pas de pilotes matériels, d’isolation en mode noyau ni de système d’exploitation compatible POSIX. Il traite plutôt un agent comme un AgentProcess : un sujet d’exécution ordonnançable doté d’une identité de processus, d’une filiation parent-enfant, d’un état du cycle de vie, d’une table d’outils dérivée d’une AgentImage, d’une mémoire objet typée (Object Memory), de capacités explicites, de files d’attente humaines, de points de contrôle, d’événements et d’enregistrements d’audit. Sa règle de conception centrale est que les outils sont des wrappers de type libc ; les primitives d’exécution constituent la frontière d’autorité. L’accès au système de fichiers, l’accès aux objets, les mises en veille, l’approbation humaine, l’enregistrement d’outils JIT et les effets de bord externes sont vérifiés aux limites des primitives sous des capacités et des politiques explicites. Nous décrivons la conception, le modèle de menace, le prototype Python et l’évaluation orientée sécurité. Le prototype actuel implémente un ordonnancement asynchrone, une mémoire objet locale à l’espace de noms, une approbation humaine intégrée au runtime, des autorisations uniques par octroi, des répertoires de travail par processus, des primitives shell et d’enregistrement d’images, des outils JIT Deno/TypeScript via un courtier d’appels système libOS, des outils de pont système de fichiers/objet, un substrat injectable de fournisseur de ressources, des démonstrations déterministes, des scripts de fumée sur modèle réel, et 123 tests de régression à l’heure où nous écrivons. Plutôt que d’améliorer la précision du planificateur, Agent libOS démontre un substrat d’exécution dans lequel des agents LLM de longue durée peuvent être ordonnancés, autorisés, repris et audités sans traiter le répartition des outils comme la frontière de confiance.

Les humains peuvent percevoir sans effort les agencements spatiaux, former des représentations cognitives, raisonner sur les relations spatiales et traduire ces raisonnements en actions dans des environnements 3D quotidiens. Bien que les récents modèles vision-langage (MVL) aient montré des performances prometteuses dans les tâches de perception spatiale et de raisonnement conditionnées par l’observation, il reste incertain s’ils peuvent construire une compréhension spatiale cohérente, agir en conséquence et affiner leurs actions via un retour d’information multi-tours. Pour étudier ce problème, nous présentons SpatialAct, un benchmark ancré dans un simulateur conçu pour sonder le raisonnement spatial conditionné par l’action dans des scènes 3D. Partant du cadre le plus exigeant, le raffinement interactif multi-tours, nous élaborons également sa version décomposée, la détection et correction d’erreur en une seule étape, ainsi que cinq tâches fondamentales d’aptitude spatiale pour diagnostiquer les causes sous-jacentes des échecs des modèles. Les expériences révèlent un fossé clair entre le raisonnement et l’action : les MVL actuels peuvent bien performer sur des tâches isolées de raisonnement spatial, mais peinent à maintenir des croyances spatiales cohérentes et à produire des actions fiables lors d’un retour multi-tours, sous-performant ainsi largement les humains. Ces résultats suggèrent que les agents MVL actuels manquent encore d’un suivi robuste de l’état spatial face aux changements environnementaux induits par l’action, même lorsque le contrôle de bas niveau est abstrait.

Les LLM peuvent sembler prudents dans les tâches de prise de décision risquée, mais des sorties d'apparence prudente n'indiquent pas nécessairement un alignement avec les mécanismes décisionnels humains. Nous étudions cette distinction en utilisant le jeu de Saint-Pétersbourg comme banc d'essai contrôlé, paradoxe classique dans lequel le gain espéré est infini, alors que les humains déclarent généralement une disposition à payer faible et finie. Nous évaluons 28 LLM avec une suite structurée de prompts incluant le jeu original ; des variantes décisionnelles contrôlées qui perturbent la troncature, le jeu répété, la dotation numérique et l'identité professionnelle ; un prompt de perspective humaine qui demande aux modèles de raisonner comme des décideurs humains ; et des comparaisons appariées entre les modèles de base et leurs homologues ajustés par instructions. Dans le jeu original, la plupart des modèles génèrent des offres finies, créant l'apparence d'un comportement de risque similaire à celui des humains. Cependant, cette ressemblance au niveau des résultats masque des différences substantielles au niveau des mécanismes. Les variantes contrôlées révèlent que, plutôt que de maintenir un comportement semblable à celui des humains observé dans le jeu original, les modèles adoptent souvent un comportement conditionnellement et computationnellement rationnel. L'utilisation d'indices humains dans les prompts et l'ajustement par instructions réduisent souvent les offres et atténuent certaines pathologies visibles, mais la plupart des schémas de réponse au niveau des mécanismes restent largement inchangés. Ces résultats montrent que l'alignement comportemental dans la prise de décision risquée peut être superficiel : les LLM peuvent produire des décisions de risque semblables à celles des humains sans présenter des mécanismes cohérents avec ces derniers. Les évaluations à enjeux élevés de la prise de décision des LLM devraient donc aller au-delà de la similarité des résultats et examiner si l'alignement est soutenu par une cohérence au niveau des mécanismes.

La théorie de Koopman transforme la dynamique non linéaire en un problème spectral linéaire. En calcul, cependant, tout repose sur un choix difficile en dimension finie : les observables doivent être expressives, presque invariantes sous la dynamique, et idéalement compatibles avec la composition. Les méthodes de Koopman profondes apprennent des coordonnées flexibles, tandis que les méthodes préservant la structure imposent des identités opérateur sur des dictionnaires fixes. Nous combinons ces idées en introduisant la Décomposition en Modes Dynamiques Multiplicative Profondément Intégrée (DeepMDMD), une méthode qui apprend un espace latent et une partition de celui-ci, tout en imposant la règle produit de Koopman comme contrainte algébrique exacte. L'entraînement alterne entre une mise à jour multiplicative exacte de l'opérateur et une étape de regroupement latent différentiable qui favorise la fermeture de Koopman. Le résultat est une application de transition finie sur des cellules latentes apprises. Son spectre non nul se trouve sur le cercle unité, son dictionnaire est façonné par la dynamique plutôt que par la géométrie ambiante, et les prévisions sont effectuées en coordonnées latentes avant d'être décodées dans l'espace physique. Sur des exemples hamiltoniens, chaotiques et fluides, DeepMDMD apprend des dictionnaires bien plus compacts et dynamiquement cohérents que ceux produits par les partitions géométriques MDMD. Elle réduit la pollution spectrale, révèle une structure de spectre continu plus riche et fournit des prévisions stables même en présence de bruit sévère. Dans les écoulements en haute dimension, y compris un sillage de cylindre à 158 624 dimensions et une cavité entraînée par couvercle bruyante à Re=20 000, elle préserve les structures cohérentes et les statistiques spectrales à long terme là où la MDMD dans l'espace d'état échoue. Ces résultats suggèrent une règle pratique pour l'apprentissage de Koopman : apprenez les coordonnées, contraignez l'algèbre.

Les Modèles de Langage Graphiques (GLMs) sont devenus une voie prometteuse pour adapter les grands modèles de langage (LLMs) aux tâches d'apprentissage sur graphes. En transformant la topologie du graphe et les informations des nœuds en tokens graphiques, les GLMs permettent aux LLMs de traiter conjointement des entrées de graphe structurées et des instructions textuelles. Cependant, on ne sait toujours pas comment les LLMs interprètent en interne ces tokens graphiques et si les tokens graphiques agissent comme des vecteurs significatifs de la structure du graphe. Dans ce travail, nous analysons comment les LLMs traitent l'information du graphe à travers le comportement des tokens graphiques dans des architectures GLM représentatives. **Résultats.** Nous constatons que la saillance interne des tokens graphiques dans les GLMs n'est pas équivalente à l'utilisation de l'information du graphe. Les tokens puits graphiques apparaissent systématiquement comme des valeurs aberrantes au niveau de l'activation : ils peuvent être identifiés par des valeurs d'activation massives le long d'un petit ensemble de dimensions de l'état caché et sont biaisés vers les positions précoces des tokens graphiques. Cependant, cette saillance au niveau de l'activation n'implique pas que ces tokens soient les principaux vecteurs de l'information du graphe. Contrairement aux puits d'attention classiques dans les modèles de langage et de vision-langage, les tokens puits graphiques n'attirent pas nécessairement les plus grands poids d'attention des tokens requêtes. Grâce à des interventions d'élagage, de repositionnement et d'échange, nous montrons que les tokens puits graphiques ne sont pas les tokens les plus importants sur le plan sémantique ou structurel pour la prédiction en aval. **Implications.** Ensemble, ces résultats suggèrent qu'après que les GLMs actuels projettent la structure du graphe dans l'espace des tokens des LLMs, les représentations des tokens graphiques résultantes ne forment pas naturellement une représentation interne pleinement utilisable et sensible à la topologie ; elles présentent plutôt un découplage entre la saillance au niveau de l'activation et l'utilité sémantique du graphe. Ce découplage met en évidence des limitations dans les mécanismes existants de construction, de placement et d'alignement des tokens graphiques.

La génération autorégressive de maillages a suscité l'intérêt en transformant les maillages en séquences de tokens et en entraînant des modèles selon une approche de modélisation du langage. Cependant, les méthodes existantes souffrent de deux limitations fondamentales : (i) une faible efficacité de tokenization, qui produit de longues séquences de tokens et empêche le passage à l'échelle des maillages à haute résolution polygonale, et (ii) une absence de guidage géométrique, la génération étant conditionnée uniquement par des plongements globaux de forme plutôt que par des indices locaux de surface. Nous présentons MeshWeaver, un cadre autorégressif qui traite la génération de maillage comme un processus de tissage de surface en prédisant directement le sommet suivant plutôt que des coordonnées indépendantes. Son cœur est un encodeur multi-niveaux à voxels creux qui injecte un contexte géométrique dans le processus génératif de trois manières complémentaires : en fournissant des caractéristiques de voxels comme représentations des sommets, en guidant la prédiction des tokens via une attention croisée aux caractéristiques des voxels, et en servant d'échafaudage structurel qui contraint la génération autour de la surface d'entrée. Notre conception hiérarchique permet une prédiction de sommets du grossier au fin en une seule étape de décodage, tout en couplant étroitement le modèle génératif avec la géométrie 3D. Des expériences approfondies montrent que MeshWeaver atteint un taux de compression de 18 %, ce qui constitue un état de l'art, peut générer des maillages comportant jusqu'à 16 000 faces, et améliore significativement la fidélité géométrique par rapport aux approches antérieures.

Les modèles de diffusion sont devenus la pierre angulaire de l'IA générative moderne, alimentant les avancées dans les domaines de la vision, du langage, de l'audio et d'autres modalités. Malgré leur succès, ils souffrent d'hallucinations, c'est-à-dire d'échantillons invraisemblables situés en dehors du support de la distribution réelle des données, ce qui nuit à la fiabilité et à la confiance. Dans ce travail, nous confirmons d'abord empiriquement l'hypothèse précédemment proposée selon laquelle la régularité du score (score smoothness) provoque des hallucinations dans les modèles de diffusion pour la génération d'images, et nous proposons une perspective basée sur la densité. Nous formalisons ensuite cette notion en reliant la masse de probabilité des hallucinations à la constante de Lipschitz de la fonction de score apprise. Motivés par cela, nous introduisons une stratégie de modulation du score guidée par la variance (Variance-Guided Score Modulation, VSM) qui contrôle le jacobien du score, réduisant ainsi la régularité du score et améliorant l'approximation du score réel, ce qui diminue les hallucinations. Les résultats empiriques sur des ensembles de données synthétiques et réels montrent que notre approche réduit les hallucinations (jusqu'à ~25 %) tout en maintenant une haute fidélité et diversité, constituant ainsi une étape fondée vers une génération d'images par diffusion plus fiable. Nous proposons également deux ensembles de données de référence avec une variation sémantique extrême pour une évaluation systématique des hallucinations. Le code et les ensembles de données sont disponibles publiquement à l'adresse https://github.com/bhosalems/VSM.

Les grands modèles de langage améliorent la précision des réponses finales grâce à un raisonnement étendu en chaîne de pensée, mais ils utilisent souvent les jetons de manière inefficace et offrent peu de contrôle en temps d'inférence. Les méthodes existantes de raisonnement efficace contrôlent la longueur de réflexion en raccourcissant, en arrêtant prématurément ou en compressant les traces, laissant implicite la manière dont le modèle raisonne. Dans cet article, nous proposons le pilotage agentique de la chaîne de pensée (ACTS), qui formule le pilotage du raisonnement comme un processus de décision markovien où un agent contrôleur adapte de manière adaptative un raisonneur figé pendant l'inférence. À chaque étape, le contrôleur observe la trace de raisonnement et le budget de réflexion restant, puis émet une action de pilotage consistant en une stratégie de raisonnement et une phrase de pilotage qui amorce l'étape suivante du raisonneur. Cela permet un contrôle stratégique tenant compte du budget pour un raisonnement efficace, tout en préservant la continuité de génération du raisonneur. Nous initialisons l'agent contrôleur à partir de nos trajectoires de pilotage synthétiques construites avec une augmentation multi-budget, et nous l'optimisons davantage via un apprentissage par renforcement avec une fonction de récompense conditionnée par le budget. Des expériences sur plusieurs bancs d'essai montrent qu'ACTS atteint des performances équivalentes à la réflexion complète avec des économies substantielles de jetons, et permet des compromis contrôlables entre précision et efficacité pour différents raisonneurs et tâches. Le code est disponible à l'adresse https://github.com/Andree-9/ACTS.

La théorie de l'équivariance prédit qu'un a priori de symétrie architecturale réduit la complexité d'échantillonnage d'un facteur |G| ; ce résultat est largement cité mais rarement mesuré sous forme de loi d'échelle avec des contrôles qui séparent l'a priori de ses facteurs confondants. Sur une tâche contrôlée à symétrie C_n, nous rapportons trois résultats. Premièrement, un contrôle de groupe erroné avec une taille d'orbite identique et un calcul équivalent est pire qu'aucune contrainte (IC pairé conjoint [+0,79, +3,26] exclut zéro, robuste entre estimateurs) ; une contrainte mal alignée est activement nuisible, pas simplement inutile. Deuxièmement, une base de référence par augmentation équipée d'une moyenne d'orbite au moment du test correspond exactement au modèle équivariant — courbes de validation bit-à-bit identiques par époque sur des cellules appariées — de sorte que l'écart architecture-vs-augmentation est conditionnel à un calcul asymétrique au moment du test, et non inconditionnel. Troisièmement, le taux d'échange relatif beta_diff = 1,28 est cohérent en signe et en ordre de grandeur avec la valeur théorique de 1,0 (IC à un seul niveau [+0,92, +2,05]) ; le bootstrap à deux niveaux plus conservateur (graines × tailles de groupe) élargit cet intervalle à [-0,63, +1,72], incluant zéro, et une réplication avec un N plus fin sur une grille d'espacement sqrt(2) n'est pas concluante (estimation ponctuelle -0,82). Les contributions méthodologiques — l'estimateur de taux relatif qui annule le facteur confondant de difficulté partagée, le contrôle de groupe erroné et une taxonomie d'échec pré-spécifiée — se transfèrent à tout biais inductif dont la force peut être paramétrée. Cadrage honnête : l'estimateur principal beta_diff a été adopté post-hoc après que l'analyse initiale a révélé un problème d'identifiabilité de pente positive ; la conception n'a jamais été pré-enregistrée en externe ; et le chiffre principal repose sur une pente MCO sur sept tailles de groupe sur une grille N grossière. Il s'agit d'une étude exploratoire, non d'une mesure confirmatoire ; le résultat du groupe erroné est la constatation la plus nette et celle que nous rapportons avec le plus de confiance. Une réplication enregistrée sur de nouvelles graines est un travail futur.

L'apprentissage par transfert vise à faciliter l'apprentissage d'un domaine cible en transférant des connaissances d'un domaine source. Le domaine source contient généralement des échantillons sémantiquement significatifs (*par exemple*, des images) pour faciliter un transfert de connaissances efficace. Cependant, une étude récente observe que le domaine de bruit construit à partir de distributions simples (*par exemple*, des distributions gaussiennes) peut servir de domaine source de substitution dans le cadre semi-supervisé, où seule une faible proportion des échantillons cibles sont étiquetés tandis que la plupart restent non étiquetés. Sur la base de cette observation surprenante, nous formulons un nouveau problème appelé *Semi-Supervised Noise Adaptation* (SSNA), qui vise à exploiter un domaine de bruit synthétique pour améliorer la généralisation du domaine cible. Pour résoudre ce problème, nous établissons d'abord une borne de généralisation caractérisant l'effet du domaine de bruit sur la généralisation, sur la base de laquelle nous proposons un cadre d'adaptation au bruit (Noise Adaptation Framework, NAF). Des expériences approfondies montrent que le NAF exploite efficacement le domaine de bruit pour resserrer la borne de généralisation du domaine cible, ce qui conduit à une amélioration des performances. Les codes sont disponibles à l'adresse https://github.com/AIResearch-Group/SSNA.

L'apprentissage par renforcement (RL) est devenu un paradigme dominant de post-entraînement, permettant aux grands modèles de langage (LLM) d'apprendre à partir de récompenses. Nous observons que les réglementations sociétales sont structurellement similaires aux fonctions de récompense : elles définissent des résultats mesurables, des seuils et des exceptions, tout en laissant souvent l'intention institutionnelle partiellement spécifiée. Nous émettons l'hypothèse que le processus d'entraînement par RL peut exploiter ces lacunes et nous nous demandons donc si la tendance bien connue des modèles à manipuler les fonctions de récompense pendant le RL peut dégénérer en un mode de défaillance plus conséquent, que nous nommons piratage sociétal : la découverte de failles dans les règles qui régissent la société. Pour étudier ce phénomène, nous introduisons SocioHack, un bac à sable comprenant 72 environnements sociétaux, et constatons que, dans ces environnements, la manipulation des récompenses émerge naturellement et conduit à la découverte de failles réglementaires. Les modèles apprennent à contourner les règles sociales et génèrent des stratégies qui restent techniquement conformes tout en contrecarrant l'intention réglementaire, et les mécanismes de protection actuels des LLM n'offrent qu'une atténuation limitée. Par conséquent, la collecte de retours en conditions réelles pour l'entraînement des modèles nécessite une prudence accrue, et nous avons besoin d'un paradigme de post-entraînement de nouvelle génération pour itérer en toute sécurité les LLM dans la société réelle.

Les lunettes IA constituent une plateforme prometteuse pour des agents d’IA agissant comme assistants de mémoire personnalisés. Pour être réellement utiles, ces systèmes doivent dépasser la compréhension vidéo à court terme et combler les lacunes de mémoire que les humains rencontrent à des fins pratiques, personnelles ou sociales, sur des flux vidéo égocentriques longitudinalux. Cependant, les ensembles de données égocentriques existants se concentrent principalement sur la reconnaissance d’actions ou des questions-réponses génériques à partir de courts clips, mesurant des capacités perceptuelles plutôt que des besoins réalistes de mémoire humaine. Nous présentons SuperMemory-VQA, un ensemble de données de questions-réponses visuelles (VQA) égocentriques destiné à évaluer les assistants IA sur des tâches de mémoire pratiques et à long terme. Il contient 52,9 heures d’activités quotidiennes enregistrées avec des lunettes IA, incluant une vidéo RVB synchronisée, une transcription audio, le regard oculaire, l’IMU et les trajectoires SLAM. Grâce à un pipeline d’annotation vérifié par des humains, nous construisons 4 853 paires question-réponse fondées, couvrant la mémoire des objets et des lieux, le rappel d’intention, le rappel de scène visuelle, la reconstruction temporelle, la mémoire conversationnelle et le recherche contextuelle. Chaque question est formulée sous forme de choix multiples avec une option explicite « impossible à répondre » pour tester la robustesse face aux hallucinations. L’évaluation comparative des principaux cadres agentiques et architectures de fondations de LLM révèle que les systèmes existants restent loin d’être fiables pour les tâches de mémoire réelles, soulignant le besoin de nouvelles architectures pour une mémoire IA fondée, capable de répondre uniquement lorsque les preuves sont suffisantes. Une enquête auprès des participants confirme en outre que nos questions sont réalistes, utiles et alignées sur les besoins quotidiens de mémoire.

Un défi de longue date en chimie computationnelle et en biophysique est l'échantillonnage efficace de la distribution de Boltzmann des molécules. Des avancées en modélisation générative ont été proposées pour surmonter les limites des techniques d'échantillonnage conventionnelles en éliminant le coût computationnel de la simulation. Une direction prometteuse consiste à affiner itérativement des modèles de diffusion le long d'une échelle de température, où les données d'entraînement sont générées par échantillonnage d'importance lors du recuit en phase d'inférence. Malheureusement, ces méthodes nécessitent le calcul d'une divergence sur le champ de score pour estimer les poids d'importance, ce qui les rend irréalisables pour des systèmes plus grands. Nous présentons ici le recuit à l'inférence scalable (SITA), qui réentraîne des modèles basés sur les flots pour générer des échantillons à des températures progressivement plus basses, en utilisant un modèle basé sur l'énergie pour faciliter des vraisemblances de substitution rapides. Nous démontrons des performances de pointe à la fois sur l'alanine dipeptide et l'alanine tripeptide tout en évitant les termes de divergence coûteux. Notre code est disponible à l'adresse https://github.com/countrsignal/sita.git

L'apprentissage de correspondances entre des espaces fonctionnels de dimension infinie, ou apprentissage d'opérateurs, est essentiel pour de nombreuses applications d'apprentissage automatique. Bien que les opérateurs basés sur les transformeurs soient populaires, ils reposent souvent sur une attention par token. Ces méthodes traitent les champs continus comme des tokens discrets et ignorent généralement la structure fonctionnelle globale. Nous introduisons l'Attention Fonctionnelle, qui réinterprète l'attention comme une correspondance fonctionnelle entre des bases adaptatives. Inspirée par les cartes fonctionnelles géométriques, notre méthode remplace les affinités softmax par des opérateurs linéaires structurés. Cela produit une représentation compacte, généralisable et invariante en résolution qui capture explicitement les dépendances globales. Les expériences montrent que l'Attention Fonctionnelle peut atteindre des performances de pointe dans de nombreuses tâches d'apprentissage d'opérateurs, notamment la résolution d'EDP, la segmentation 3D et la régression, tout en restant robuste face à des discrétisations variables. La page du projet est disponible à l'adresse https://github.com/xjffff/FUNCATTN.

Low-Rank Adaptation (LoRA) permet avec succès la personnalisation dans la génération texte-image en adaptant des modèles de diffusion pré-entraînés à des concepts visuels et des styles spécifiques. Cependant, étendre ces modèles à la personnalisation multi-concept reste difficile. La combinaison naïve de plusieurs poids LoRA ou de leurs sorties entraîne souvent des interférences entre les concepts, ce qui dégrade la qualité visuelle et réduit la fidélité aux images de référence des concepts individuels. Cet article propose une approche simple mais efficace pour la personnalisation multi-concept en combinant de manière optimale les sorties de plusieurs modules LoRA. Nous exploitons l'importance relative de chaque concept lors de la génération, déduite de ses jetons de prompt correspondants, et introduisons deux méthodes, W-Switch et W-Composite, qui utilisent une stratégie de pondération d'importance sensible au prompt, dans laquelle chaque LoRA est pondéré en fonction de l'influence sémantique de ses mots déclencheurs dans le prompt cible. De plus, nous étendons les métriques d'évaluation quantitatives existantes en proposant un nouveau cadre d'évaluation de similarité basé sur l'image, qui évalue la fidélité de l'image et la préservation de l'identité par des comparaisons entre des images de référence du monde réel et des régions de concept segmentées automatiquement à partir des images générées. Nous évaluons notre approche sur le banc d'essai ComposLoRA et démontrons des améliorations constantes par rapport aux méthodes de pointe existantes en termes de qualité visuelle, de préservation de l'identité et de compositionalité. Les évaluations qualitatives, y compris une évaluation basée sur un modèle de langage de grande taille (LLM) et une étude utilisateur, valident davantage l'efficacité des méthodes proposées et s'alignent sur les nouvelles métriques quantitatives basées sur l'image. Notre code est disponible à l'adresse https://github.com/GeorgeTsoumplekas/Prompt-Aware-Multi-LoRA-Composition.

Les modèles multimodaux unifiés (UMMs) sont apparus comme un paradigme prometteur pour l'intelligence multimodale à usage général. Alors qu'ils sont déployés dans des applications réelles, la mise à jour efficace des connaissances internes devient cruciale. Bien que l'édition de connaissances ait atteint une certaine maturité pour les modèles purement textuels, il n'est pas clair si les modifications qui réussissent à modifier les sorties textuelles se transfèrent également à la génération d'images dans les UMMs. Pour étudier cette question, nous présentons UniKE, le premier benchmark pour l'édition de connaissances cross-modale dans les UMMs, comprenant 2 971 sujets de modification couvrant des modifications d'attributs et de relations. En utilisant une vérification visuelle basée sur VQA, nous révélons un écart modal frappant : l'efficacité côté texte peut atteindre environ 92 %, alors que la meilleure précision VQA globale sous génération d'images directe n'est que de 18,5 %. Nous proposons en outre le Reasoning-augmented Parameter Editing, qui active explicitement les connaissances modifiées avant la génération et améliore la précision VQA globale pour toutes les paires modèle-éditeur évaluées, avec des gains allant jusqu'à 18,6 points de pourcentage. L'analyse mécaniste montre que cet écart est associé à un alignement partiel entre les représentations textuelles modifiées et les voies de conditionnement pour la génération visuelle, où les modifications suffisantes pour les sorties textuelles peuvent rester trop faibles ou mal alignées pour guider la synthèse d'images. Ces résultats montrent que les modifications de connaissances textuelles ne garantissent pas un transfert cross-modal fiable et motivent le développement de méthodes d'édition tenant compte de la modalité. Notre code et nos données sont disponibles sur https://github.com/gxx27/UniKE.

Les dépassements de budget des agents LLM constituent une classe documentée de défaillances en production : une simple boucle de réessai peut dépenser des milliers de dollars avant qu'un opérateur ne s'en aperçoive, et les propriétés d'intégrité en cours d'exécution qui les empêcheraient (pas d'aliasing, pas de double dépense, pas d'utilisation après délégation d'une valeur portant un coût) ne sont appliquées, quand elles le sont, que par des enveloppes ad hoc plutôt que par le système de types. Notre contribution centrale est empirique : un catalogue de 63 incidents de production confirmés issus de 21 frameworks d'orchestration (2023-2026), chacun étayé par un ticket GitHub cité et, lorsque rapportée, une perte financière, organisé en une taxonomie de défaillances à huit groupes (kappa de Cohen inter-évaluateur = 0,837, N = 113), accompagné de 47 entrées structurelles supplémentaires. Comme une mesure d'atténuation évaluée face à cette taxonomie, nous construisons token-budgets, une crate Rust de 1 180 lignes (sans unsafe) qui opérationnalise la possession affine afin que le clonage, la double dépense ou l'utilisation d'un budget après l'avoir délégué soient des erreurs de compilation plutôt que des dangers à l'exécution qu'un opérateur doit se rappeler d'éviter. Le plafond monétaire est une opération arithmétique à l'exécution sous une hypothèse d'estimateur ; la couche affine rend cette arithmétique non contournable. Sur des charges de travail à agent unique, un compteur Python de 4 lignes correspond à la crate avec 0/30 dépassements, donc la valeur distinctive réside dans le non-contournement en cas d'erreur de l'opérateur lors de la délégation multi-agents : la course de délégation en éventail documentée dans 11 incidents est rejetée par le vérificateur d'emprunts à la compilation, tandis que le même motif sous asyncio dépasse 30/30 et trois alternatives disciplinées dépassent 0/30. Sur cinq environnements d'exécution, trois fournisseurs et un test d'API en direct stratifié par température (N = 160), l'approche rapporte zéro violation de plafond et zéro faux refus, avec une parité opérationnelle par rapport aux travaux concurrents. La sur-réservation statique est de 4 à 6 fois (2,11 fois avec adaptation). La solidité du plafond au niveau binaire sur le binaire en cours d'exécution reste ouverte.