Articles du Jour

La mémoire des agents basés sur de grands modèles de langage (LLM) a rapidement évolué, passant de simples mécanismes de récupération augmentée à un système de gestion de données prenant en charge le stockage persistant, la récupération, la mise à jour, la consolidation et la gouvernance dynamique du cycle de vie tout au long de l'exécution de l'agent. Malgré cette évolution, les évaluations existantes continuent de mesurer la mémoire des agents principalement par des métriques de succès de bout en bout (par exemple, F1, BLEU), tout en traitant le système sous-jacent comme une boîte noire monolithique. Par conséquent, des préoccupations critiques au niveau système, notamment les coûts opérationnels, les compromis architecturaux entre les modules de mémoire et la robustesse face aux mises à jour dynamiques des connaissances, restent insuffisamment explorées. Dans cet article, nous présentons une étude expérimentale systématique de la mémoire des agents dans une perspective de gestion de données. Nous proposons un cadre analytique qui décompose la mémoire de l'agent en quatre modules principaux : représentation et stockage de la mémoire, extraction, récupération et routage, et maintenance. Dans ce cadre, nous évaluons 12 systèmes de mémoire représentatifs et deux références de base sur cinq charges de travail de référence couvrant 11 jeux de données. Notre évaluation extensive de bout en bout montre qu'aucune architecture unique ne domine dans tous les scénarios ; au contraire, l'efficacité dépend fortement de la manière dont la structure de la mémoire s'aligne sur le goulot d'étranglement de la charge de travail. De plus, grâce à des études d'ablation fines, nous quantifions leurs effets individuels sur la fidélité de la représentation, la précision de la récupération, la correction des mises à jour et la stabilité à long terme. Enfin, nous mettons en évidence les compromis coût-performance sous des charges de travail réalistes, montrant que la maintenance localisée est plus rentable que la réorganisation globale. À partir de ces résultats, nous identifions des directions prometteuses pour construire des systèmes de mémoire véritablement natifs pour les agents. Le code est disponible publiquement à l'adresse https://github.com/OpenDataBox/MemoryData.

La génération de texte vers vidéo (S2V) guidée par un sujet en domaine ouvert suscite un intérêt considérable dans les domaines académique et industriel. La S2V en domaine ouvert implique principalement deux scénarios : le scénario intra-domaine, où il s'agit de conserver au maximum les caractéristiques du sujet de référence, et le scénario inter-domaine, qui préserve les caractéristiques intrinsèques du sujet tout en permettant aux propriétés non liées au sujet de varier librement en fonction du texte d'invite. Les méthodes existantes se concentrent essentiellement sur la maximisation de la fidélité au sujet dans les scénarios intra-domaine, ce qui limite leur éditabilité et leur adaptabilité dans les scénarios inter-domaine, tels que les styles novateurs, les combinaisons sémantiques ou les attributs de domaine. Dans cette étude, nous proposons qu'une méthode S2V idéale devrait pouvoir naviguer de manière flexible entre différents domaines, atteignant de hautes performances à la fois dans les scénarios intra-domaine et inter-domaine. À cette fin, nous proposons DomainShuttle, qui permet d'obtenir une grande fidélité et une flexibilité générative pour la personnalisation de vidéos en domaine ouvert. Plus précisément, nous introduisons Domain-MoT, qui dissocie les vidéos et les caractéristiques de référence, et intègre l'AdaLN (Adaptive Layer Normalization) sensible au domaine pour une modélisation spécifique au domaine des images de référence. Nous introduisons ensuite le schéma DualRoPE pour vidéo et référence, qui place les jetons d'image de référence et les jetons vidéo dans des espaces RoPE séparés afin de permettre une modélisation spatiale précise au niveau du sujet, ainsi qu'une perte de cohérence entre paires croisées (Cross-Pair Consistent Loss), visant à extraire les caractéristiques intrinsèques du sujet non affectées par les caractéristiques non pertinentes. Des expériences approfondies montrent que DomainShuttle obtient des améliorations significatives par rapport aux méthodes existantes, faisant preuve d'une grande fidélité au sujet et d'une flexibilité générative dans divers scénarios d'application en domaine ouvert.

Nous présentons Wan-Streamer, un modèle de fondation interactif natif au streaming, de bout en bout, conçu dès l’origine pour une interaction audio-visuelle en duplex intégral, en temps réel et à faible latence. Wan-Streamer modélise de manière fluide le langage, l’audio et la vidéo en entrée et en sortie au sein d’un unique Transformer, où la séquence est représentée par des jetons d’entrée visuels, audio et textuels entrelacés, accompagnés de jetons de sortie visuels, audio et textuels, coordonnés par une attention bloc-causale pour un streaming incrémental. Contrairement aux systèmes interactifs en cascade qui reposent sur des modules séparés de VAD, ASR, langage, TTS, animation pilotée par l’audio ou génération vidéo, Wan-Streamer ne nécessite aucun module externe de langage, de parole, d’avatar ou de génération vidéo : la perception, le raisonnement, la génération, le timing des réponses, la gestion des tours de parole et la synchronisation inter-modale sont appris conjointement au sein d’un seul modèle unifié, réduisant ainsi la latence du pipeline et l’accumulation d’erreurs. Pour soutenir une réactivité audio-visuelle naturelle, nous repensons l’intégralité de la pile autour de l’aptitude au streaming, incluant des encodeurs causaux, des décodeurs causaux, une attention bloc-causale et un ordonnancement des jetons multimodaux à faible latence, permettant des unités de streaming aussi courtes que 160 ms à 25 ips. Wan-Streamer atteint une latence de réponse côté modèle d’environ 200 ms et une latence d’interaction totale d’environ 550 ms, lorsque combinée avec une latence réseau bidirectionnelle de 350 ms, prenant en charge une communication audio-visuelle en duplex inférieure à la seconde. Ces résultats positionnent Wan-Streamer comme un modèle de fondation interactif, unifié, de bout en bout et multimodal, destiné à l’interaction en streaming à faible latence.

La photographie dans le monde réel nécessite, lors de la prise de vue, des indications à la fois pour le cadrage de l’appareil et la pose du sujet. Pourtant, les benchmarks existants de recadrage esthétique évaluent principalement la prédiction de recadrage a posteriori et négligent les recommandations côté sujet, laissant ainsi inexplorées les capacités de guidage en temps réel des modèles de langage multimodaux de grande taille (MLLMs). Pour combler cette lacune, nous introduisons CaptureGuide-Bench, un benchmark composé de deux tâches complémentaires : la décision et le raffinement de la composition côté photographe, ainsi que la recommandation de pose conditionnée par la scène côté sujet. Notre évaluation révèle des limites : les MLLMs généralistes peuvent prendre des décisions de composition mais manquent de précision dans la localisation du raffinement, tandis que les modèles spécialisés de recadrage esthétique localisent efficacement les recadrages mais se limitent au raffinement ; aucun ne fournit de recommandations de pose exploitables. Pour soutenir le développement des modèles, nous avons également construit CaptureGuide-Dataset, comprenant 130 000 échantillons avec des justifications textuelles et des annotations visuelles structurées, et développé ShutterMuse, un MLLM unifié entraîné par réglage fin supervisé et par renforcement. Les expériences sur CaptureGuide-Bench montrent que ShutterMuse atteint la meilleure performance globale côté photographe parmi les bases de référence évaluées et une recommandation de pose côté sujet compétitive avec un coût d’inférence nettement inférieur, démontrant le potentiel des MLLMs en tant qu’assistants interactifs pour la photographie lors de la capture d’image.

Les grands modèles de langage modernes sont majoritairement entraînés avec une factorisation autorégressive et une attention causale. Nous présentons iLLaDA, un modèle de langage à diffusion masquée de 8B entraîné de zéro avec une attention entièrement bidirectionnelle. iLLaDA conserve l'objectif de diffusion masquée tout au long du pré-entraînement et du réglage fin supervisé (SFT), en étendant le pré-entraînement à 12T tokens et le réglage fin sur un corpus d'instructions de 25B tokens pendant 12 époques. Nous utilisons en outre une génération de longueur variable pour l'efficacité et introduisons un score basé sur la confiance pour l'évaluation à choix multiples. Comparé à LLaDA, iLLaDA s'améliore largement sur les benchmarks généraux, mathématiques et de code ; par exemple, iLLaDA-Base s'améliore de 21,6 points sur BBH et de 14,9 points sur ARC-Challenge, tandis que iLLaDA-Instruct s'améliore de 14,5 points sur MATH et de 16,5 points sur HumanEval. Malgré son entraînement non autorégressif, iLLaDA reste également compétitif avec Qwen2.5 7B sur plusieurs benchmarks. Ces résultats montrent que l'entraînement par diffusion entièrement bidirectionnel à partir de zéro est une voie compétitive vers des modèles de langage puissants. Poids et codes du modèle : https://github.com/ML-GSAI/LLaDA.

Alors que les grands modèles de langage (LLM) ont considérablement fait progresser la synthèse texte-vers-code, de nombreuses tâches de programmation réelles spécifient l'intention par le biais d'artefacts visuels tels que des captures d'écran, des diagrammes, des dessins vectoriels, des vidéos et des états interactifs. Ces tâches exigent des modèles qu'ils relient la perception visuelle à des programmes exécutables, car la justesse ne dépend pas uniquement de la syntaxe, mais aussi de la mise en page, de la sémantique des données, du comportement interactif et des contraintes spécifiques au domaine qui s'appliquent après l'exécution. Cette étude examine l'intelligence de code multimodale, couvrant les systèmes qui génèrent, modifient, affinent ou raisonnent avec du code sous des entrées et sorties ancrées visuellement. Nous formulons d'abord le domaine par le rôle que le code joue dans chaque tâche, distinguant le code comme artefact rendu, structure symbolique éditable, représentation scientifique, trace de raisonnement intermédiaire, ou politique exécutable ou interface d'outil. Nous organisons ensuite les références et méthodes en quatre domaines : Interface Graphique Utilisateur, Visualisation Scientifique, Graphiques Structurés, et Tâches et Cadres Frontières. Cette taxonomie relie les problèmes matures de génération d'artefacts aux contextes émergents d'agents et unifiés, et nous permet de comparer comment différentes tâches traitent la preuve de justesse. En perspective, nous soutenons que la recherche future pourrait bénéficier de quatre directions centrées sur la vérification. La validation multi-signaux peut combiner des preuves complémentaires de justesse, la vérification multi-états peut tester le comportement à travers les trajectoires d'exécution, les tests de transfert entre tâches peuvent sonder des compétences de code visuel réutilisables, et les traces d'agents vérifiables peuvent révéler si les actions des agents sont ancrées dans des preuves visuelles. Ensemble, ces directions peuvent faire évoluer ce domaine de l'imitation à sortie unique vers des systèmes exécutables ancrés dans des preuves. Un projet en cours et des ressources sont disponibles sur https://github.com/xjywhu/Awesome-Multimodal-LLM-for-Code{GitHub}.

La synthèse d'une vidéo de nouvelle vue à partir d'une vidéo de référence monoculaire le long d'une trajectoire de caméra cible nécessite à la fois une cohérence géométrique et une fidélité du mouvement par rapport à la vidéo de référence. Les méthodes existantes basées sur des représentations 3D explicites sont limitées par la précision des modules de reconstruction prêts à l'emploi, qui produisent souvent une géométrie inexacte pour les objets dynamiques dans les vidéos monoculaires. En revanche, les méthodes basées uniquement sur le conditionnement de la caméra peuvent atteindre une qualité visuelle élevée, mais peinent souvent à préserver la cohérence géométrique et du mouvement. Dans ce travail, nous introduisons MVTrack4Gen (suivi de points multi-vues pour la génération de nouvelles vues), un cadre d'entraînement conscient du mouvement qui exploite le suivi de points multi-vues comme signal de supervision géométrique et de mouvement supplémentaire pour les modèles de diffusion de vidéo de nouvelle vue basés uniquement sur le conditionnement de la caméra. Notre résultat clé est que certaines couches d'attention encodent de forts indices de correspondance, où les caractéristiques de requête portent attention aux caractéristiques clés à des emplacements géométriquement correspondants entre les vues et au fil du temps, et que le désalignement de ces correspondances provoque une incohérence du mouvement. Sur la base de cette observation, nous routons ces caractéristiques vers une tête de suivi multi-vues auxiliaire et entraînons conjointement le modèle de diffusion avec un objectif de suivi de points. En renforçant explicitement ces correspondances conscientes du mouvement, MVTrack4Gen améliore les modèles existants pour mieux suivre le mouvement dans la vue de référence et maintenir une cohérence géométrique inter-vues. Sur divers benchmarks, notre méthode atteint une cohérence géométrique de pointe et une précision de caméra compétitive.

Le raisonnement visuel fin nécessite que les modèles de langage multimodal de grande taille (MLLM) identifient les preuves visuelles pertinentes pour la tâche et ancrent leur raisonnement dans des régions locales de l'image. Les méthodes agentiques existantes reposent généralement sur l'apprentissage par renforcement avec récompenses vérifiables ou sur le fine-tuning supervisé sur de vastes traces de raisonnement annotées, entraînant une exploration coûteuse, des règles de vérification conçues manuellement ou une forte dépendance à la supervision textuelle. Une manière naturelle d'éviter ces étiquettes de réponse externes est d'apprendre à partir de trajectoires échantillonnées par l'étudiant lui-même, ce qui conduit à la distillation en politique (OPD). Pour comprendre ce que l'OPD peut et ne peut pas apporter au raisonnement visuel, nous le revisitons comme un alignement par arrêt de gradient sans échantillon négatif. Cette perspective montre que, bien que l'OPD fournisse une correction efficace au niveau des tokens, son plafond est contraint par l'absence de discrimination au niveau des trajectoires. Motivés par ces observations, nous proposons V-Zero, un cadre sans étiquette de réponse pour le raisonnement visuel avec un contrôle des preuves par contraste. V-Zero n'utilise aucune étiquette de réponse textuelle annotée ; à la place, pendant l'entraînement, il associe un recadrage régional pertinent pour la question avec une vue visuelle négative pour évaluer les trajectoires échantillonnées par l'étudiant et contrôler la distillation dense au niveau des tokens. Des expériences sur plusieurs benchmarks de raisonnement visuel montrent que V-Zero améliore systématiquement le raisonnement visuel fin tout en préservant une forte généralisation. Notamment, V-Zero est plus de 5 fois plus rapide que les méthodes précédentes de fine-tuning supervisé et plus de 10 fois plus rapide que les bases de référence en apprentissage par renforcement. Le code et le jeu de données seront publiés à l'adresse https://github.com/eVI-group-SCU/V-Zero

Générer une vidéo multi-plan cohérente nécessite une mémoire structurée inter-plan. L’apparence du sujet, le contexte de la scène et l’identité du locuteur doivent persister d’un plan à l’autre. Les approches existantes soit s’entraînent de bout en bout sur des séquences de longueur fixe et ne peuvent pas passer à l’échelle, soit génèrent plan par plan avec des banques de mémoire qui croissent linéairement, soit orchestrent des générateurs pré-entraînés sous un planificateur LLM sans architecture de base adaptée au multi-plan. Nous présentons UnityShots, un système de génération audio-vidéo multi-plan piloté par la mémoire, construit sur LTX-2.3 et entraîné sur des plans cinématographiques et de clips musicaux annotés. Le flux vidéo maintient deux emplacements de taille fixe : un emplacement de mémoire à long terme (LTM) ancré au plan d’ouverture et un emplacement de mémoire à court terme (STM) contenant la fin immédiatement précédente, tous deux mis à jour à chaque coupure par une porte conditionnée par les limites qui fusionne la probabilité de coupure visuelle et les signaux du détecteur de rythme. Le flux audio injecte un jeton de locuteur de référence à chaque plan pour préserver le timbre vocal sans banque audio glissante. Un a priori discret de type de coupure, appris via AdaLN, devient un bouton de contrôle au moment de l’inférence sur la force de la transition. Nous publions un benchmark de 200 séquences multi-culturelles multi-plans couvrant six régions ethniques et dix langues ou plus, avec des identités de référence par plan, une audio de référence et des étiquettes de transition par limite. Évalué dans les modes de conditionnement I2V, T2V et R2V, UnityShots mène les références open-source sur toutes les métriques de cohérence inter-plan et égalise le système propriétaire le plus performant sur les axes multi-plan.

La diffusion vidéo autorégressive avec des transformers de diffusion causale est devenue un paradigme majeur pour la génération de vidéos en streaming en temps réel et les modèles de monde interactifs conditionnés par des actions. Dans ce travail, nous étendons rCM, un cadre avancé de distillation de diffusion, à la diffusion vidéo autorégressive. La philosophie centrale de rCM réside dans la complémentarité entre les divergences forward et reverse, représentées respectivement par les modèles de cohérence (CM) et la distillation par appariement de distributions (DMD), dans la distillation de diffusion. Cette philosophie se transpose naturellement au cadre autorégressif, où le teacher-forcing (TF) fournit un paradigme d'entraînement causal hors ligne basé sur la divergence forward, tandis que le self-forcing (SF) correspond à un raffinement on-policy basé sur la divergence reverse. Nos contributions sont les suivantes : (1) grâce à des expériences approfondies, nous montrons que le teacher-forcing CM est actuellement le meilleur complément au self-forcing DMD en tant que stratégie d'initialisation ; (2) nous présentons la première implémentation de CM en temps continu basés sur le teacher-forcing (par exemple, sCM/MeanFlow) pour la diffusion vidéo autorégressive, rendue possible par notre noyau FlashAttention-2 JVP à masque personnalisé, atteignant une convergence 10 fois plus rapide par rapport aux CM en temps discret (dCM) ; (3) nous introduisons Causal-rCM, une recette ouverte d'algorithme et d'infrastructure unifiée, évolutive et de premier plan pour la distillation de diffusion et l'entraînement causal ; (4) nous obtenons des performances de pointe en génération de vidéos en streaming, à la fois image par image et par blocs, en utilisant uniquement des données synthétiques pour l'entraînement. Notamment, notre modèle causal Wan2.1-1.3B distillé en 2 étapes obtient un score VBench-T2V de 84,63 avec seulement 1 ou 2 étapes d'échantillonnage. Nous appliquons en outre Causal-rCM à Cosmos 3, un modèle de base de monde omnimodal avancé pour l'IA physique avec capacité de génération conditionnée par des actions, permettant un modèle de monde interactif.

Les modèles de langage de grande taille multimodaux unifiés (MLLM) atteignent une qualité élevée de génération texte-image, mais rencontrent encore des difficultés pour le suivi de prompt sensible à la structure, où les comptages d'objets, les relations spatiales, les attributs liés et les dispositions grossières doivent être préservés. Nous attribuons cette limitation en partie à l'enchevêtrement de la planification structurelle et du rendu d'apparence au sein d'un seul flux de conditionnement. Pour résoudre ce problème, nous proposons la Chaîne de Pensée Visuelle Implicite (IV-CoT), un cadre de raisonnement visuel latent pour la génération d'images conditionnée par requête. IV-CoT décompose les requêtes de conditionnement visuel en une cascade structurale à sémantique, où les requêtes structurelles forment d'abord un plan visuel latent, puis les requêtes sémantiques rendent l'apparence en fonction de ce plan. Pour guider les requêtes structurelles, nous introduisons une supervision par esquisse uniquement pendant l'entraînement, qui les encourage à capturer la structure à partir d'esquisses sans nécessiter d'extraction d'esquisse ni de décodage intermédiaire lors de l'inférence. IV-CoT effectue un raisonnement CoT implicite en un seul passage avant et obtient des résultats supérieurs sur GenEval et T2I-CompBench. Les visualisations et analyses démontrent que les requêtes structurelles et sémantiques apprises jouent des rôles complémentaires dans la génération sensible à la structure.

Nous présentons EBench, un benchmark de simulation permettant de diagnostiquer les politiques de manipulation mobile généralistes au-delà d’un simple scalaire de taux de succès. EBench comprend 26 tâches de manipulation diverses et difficiles, annotées selon 5 dimensions de capacité et 4 dimensions de généralisation. Nous évaluons des modèles de manipulation généralistes de pointe, notamment π_0, π_{0.5}, XVLA et InternVLA-A1, et révélons que des modèles présentant des taux de succès proches affichent des profils de capacité remarquablement distincts : π_{0.5} obtient le taux de succès test le plus élevé et la meilleure rétention entraînement-test, tandis qu’InternVLA-A1 domine en manipulation mobile mais s’effondre sur les tâches dextres, et XVLA montre des forces sur un ensemble disjoint de compétences atomiques par rapport aux autres politiques. Au-delà du profilage des capacités, EBench analyse la capacité de généralisation selon 4 perspectives représentatives, identifiant l’impact de différents facteurs de changement de distribution. Les résultats mettent en lumière les forces et faiblesses des modèles derrière un score global. Nous espérons que ce benchmark offrira un large ensemble de signaux diagnostiques pour guider l’itération sur les modèles de manipulation généralistes.

Le Guide du voyageur de l'IA agentique est un ouvrage de référence complet pour les praticiens construisant des systèmes d'IA autonomes. L'ouvrage couvre l'ensemble de la pile, des premiers principes au déploiement en production, organisé autour d'une thèse centrale : la construction de grands systèmes agentiques nécessite de comprendre chaque couche du pipeline, et pas une seule. Le livre commence par le substrat des LLM — architecture transformer, systèmes GPU, entraînement et ajustement fin (SFT, LoRA, MoE), compression de modèles et optimisation de l'inférence — traités comme des fondations essentielles plutôt que comme le sujet principal. Il développe ensuite la couche d'alignement et de raisonnement : apprentissage par renforcement à partir de la rétroaction humaine (RLHF), PPO, DPO et ses variantes, GRPO, modélisation des récompenses, et RL pour les grands modèles de raisonnement, y compris la chaîne de pensée et le passage à l'échelle au moment du test. La seconde moitié est consacrée à l'IA agentique proprement dite. Les sujets abordés incluent l'entraînement agentique et le RL basé sur les trajectoires, la génération augmentée par récupération (RAG et RAG agentique), les systèmes de mémoire (en contexte, externe, épisodique et sémantique), la conception des harnais d'agent et la gestion du contexte, ainsi qu'une taxonomie des motifs de conception d'agents. La coordination inter-agents est abordée en profondeur : le Protocole de Contexte de Modèle (MCP), les compétences des agents et l'utilisation d'outils, le protocole de communication Agent-à-Agent (A2A), et les architectures multi-agents couvrant les topologies centralisées, décentralisées et hiérarchiques. Le livre se termine par les cadres de développement d'agents, la conception d'interface utilisateur agentique, la méthodologie d'évaluation pour les tâches agentiques et le déploiement en production. Chaque chapitre associe des fondements théoriques rigoureux à des conseils de mise en œuvre, des exemples de code et des références à la littérature primaire.

Le raisonnement par chaîne de pensée (Chain-of-Thought, CoT) est devenu une méthode standard pour améliorer les capacités de raisonnement des grands modèles de langage (LLMs) en suscitant une réflexion pas à pas, mais son efficacité dans les tâches multimodales reste incertaine. Dans cet article, nous visons à étudier systématiquement la question clé : que peut apporter le raisonnement multimodal par chaîne de pensée, et où et pourquoi échoue-t-il ? À cette fin, nous évaluons 12 tâches multimodales réparties en catégories de perception et de raisonnement, en utilisant à la fois 14 modèles non raisonnants et 8 modèles raisonnants. Notre analyse révèle plusieurs résultats importants : (1) Le CoT n'est pas un remède universel et doit être utilisé sélectivement en fonction des exigences spécifiques de chaque tâche. Pour les tâches de perception, le CoT peut entraîner des effets secondaires indésirables, tels qu'une performance réduite dans l'ancrage visuel et le comptage d'objets. En revanche, il se montre efficace pour les tâches de raisonnement impliquant des raisonnements mathématiques, scientifiques et multi-images ; (2) Par rapport aux modèles originaux, les modèles de raisonnement multimodal open source existants n'apportent souvent que des améliorations globales marginales, probablement en raison d'une focalisation excessive sur le raisonnement mathématique au détriment de capacités plus larges ; (3) Le raisonnement visuel reste un goulot d'étranglement majeur pour le CoT multimodal actuel, car les modèles présentent un schéma « Regard léger, Pensée lourde » où la réflexion verbale augmente et diminue au cours du raisonnement, tandis que la réflexion visuelle diminue constamment. Ces résultats suggèrent que si le CoT multimodal gère relativement bien la réflexion verbale, il manque de la capacité à maintenir une introspection visuelle profonde tout au long du processus de raisonnement.

Nous présentons Autodata, une méthode générale permettant aux agents d’IA d’agir en tant que scientifiques des données capables de produire des données d’entraînement et d’évaluation de haute qualité. Nous montrons comment entraîner (méta-optimiser) un tel agent scientifique des données, afin qu’il apprenne à générer des données encore plus performantes. Nous décrivons la formulation globale ainsi qu’une implémentation pratique spécifique, le Self-Instruct Agentique. Nous menons des expériences sur des tâches de recherche en informatique, des tâches de raisonnement juridique et des raisonnements impliquant des objets mathématiques, où nous obtenons de meilleurs résultats par rapport aux méthodes classiques de création de jeux de données synthétiques. De plus, la méta-optimisation de l’agent scientifique des données elle-même conduit à une amélioration encore plus importante de la performance. La création agentique de données offre un moyen de convertir une augmentation du calcul d’inférence en un entraînement de modèle de meilleure qualité. Globalement, nous pensons que cette direction a le potentiel de transformer la manière dont nous construisons les données en IA.

Bien que l'essayage virtuel vidéo (VVT) ait réalisé des progrès remarquables dans la synthèse de superpositions réalistes de vêtements sur des sujets dynamiques, les paradigmes existants restent fondamentalement limités par une dépendance passive aux trajectoires de la caméra source, ne parvenant pas à offrir la liberté interactive nécessaire à l'exploration omnidirectionnelle des points de vue. Pour remédier à cette limitation, nous définissons une frontière de recherche pionnière : l'essayage virtuel vidéo contrôlable par caméra (CaM-VVT). Contrairement au VVT conventionnel, le CaM-VVT exige non seulement une hallucination de texture indépendante du point de vue, mais aussi une synchronisation structurelle stricte entre la dynamique humaine non rigide et les contextes d'arrière-plan sous des mouvements de caméra arbitraires et non contraints. Pour relever ces défis, nous présentons TryOnCrafter, le premier cadre unifié basé sur DiT spécifiquement conçu pour la tâche CaM-VVT. En s'écartant de la manipulation implicite dans l'espace des pixels, nous introduisons un proxy d'essayage 4D rendable qui découple explicitement le sujet humain de l'environnement. Ceci est réalisé en distillant des a priori d'essayage 2D haute fidélité dans un avatar vêtu basé sur 3DGS, ensuite animé via des séquences SMPL-X et aligné métriquement dans un nuage de points d'arrière-plan reconstruit. Ce proxy établit une base structurelle robuste avec une densité de texture et une intégrité de mouvement supérieures. Notre DiT vidéo ancré sur le proxy exploite cette base structurelle robuste comme ancre géométrique principale, garantissant que les vidéos photoréalistes synthétisées sont strictement contraintes par les trajectoires prescrites et des déformations physiquement plausibles. Grâce à l'évolutivité inhérente du proxy 4D, TryOnCrafter facilite diverses applications aval, notamment la relocalisation humaine, les effets « bullet time » et la visualisation orbitale à 360 degrés.

Les fonctionnalités de WordArt (texte artistique) offrent des polices, textures et mises en page hautement personnalisées, ce qui rend la Reconnaissance de Texte en Scène orientée WordArt (WATER) considérablement plus difficile que la Reconnaissance de Texte en Scène (STR) générale. Les ensembles de données et méthodes STR existants, généralement construits autour de textes de scène réguliers et d'entrées à gabarit fixe, peinent à s'adapter à WATER. Ainsi, nous visons à faire progresser cette tâche tant du point de vue des données que des modèles. Côté données, nous construisons un ensemble de données synthétiques de 2 millions d'échantillons, WATER-S, dont l'échelle est améliorée de plusieurs centaines de fois par rapport aux données de texte artistique existantes. WATER-S se compose de deux sous-ensembles complémentaires. L'un est rendu par un pipeline de rendu amélioré (SynthWordArt), qui fournit des données WordArt synthétiques hautement précises et contrôlables. L'autre est généré en combinant Qwen3-VL pour l'extraction de prompts et Z-Image pour la synthèse d'images, ce qui améliore la couverture de données réalistes et diversifiées. Côté modèle, nous proposons WATERec. Il adopte un encodeur visuel prenant en charge des entrées de forme arbitraire et un décodeur autorégressif pour modéliser des mises en page complexes, brisant structurellement le goulot d'étranglement de la STR à gabarit fixe sur WordArt. Les expériences montrent que cette architecture surpasse les méthodes STR antérieures, atteignant des performances de pointe sur les textes irréguliers tels que WordArt. En combinaison avec WATER-R, soigneusement réorganisé à partir de données STR réelles existantes, notre référence solide avec les nouvelles données synthétiques et la conception du modèle atteint 90,40 % de précision sur WordArt-Bench, surpassant de loin les modèles de langage visuel généralistes et spécialisés en OCR. Le code et les données sont disponibles à l'adresse https://github.com/YesianRohn/WATER.

La distillation en ligne (on-policy distillation, OPD) améliore le raisonnement des modèles de langue de grande taille (LLM) en entraînant un modèle étudiant sur ses propres sorties générées, mais l'OPD standard traite toutes les sorties générées par l'étudiant (SGO) de manière égale, sans tenir compte de leur caractère informatif. Nous observons une asymétrie constante dans des expériences de filtrage contrôlé : dans l'OPD comme dans l'auto-distillation en ligne (OPSD), l'entraînement uniquement sur les SGO incorrectes surpasse l'entraînement uniquement sur les SGO correctes. Notre analyse approfondie suggère que les modèles entraînés uniquement sur les SGO correctes ont tendance à générer des traces de raisonnement plus courtes et à montrer un comportement de réflexion plus faible, tandis que les SGO incorrectes préservent mieux le raisonnement exploratoire près de la frontière des capacités du modèle. Pour exploiter ce signal sans nécessiter de déploiements complets contenant la réponse, nous introduisons ReNIO (Reweighting Negative trajectory Importance for On-policy distillation des LLM), qui réévalue l'importance des trajectoires négatives pour la distillation en ligne des LLM. En utilisant le rapport de probabilité étudiant-enseignant, ReNIO identifie les jetons pivots menant à des traces de raisonnement erronées et agrège leur information en un poids d'échantillon normalisé, attribuant intrinsèquement des poids plus importants aux trajectoires vraisemblablement négatives sans observer l'exactitude de la réponse finale. Comme ReNIO n'utilise que les probabilités de jetons conditionnées par un préfixe, il préserve l'avantage de l'entraînement par préfixe de l'OPD par rapport à l'apprentissage par renforcement sur déploiements complets. À la fois dans les tâches de raisonnement mathématique et de génération de code, ReNIO améliore l'OPD et l'OPSD, avec des gains relatifs représentatifs allant jusqu'à 8,90 % pour Qwen3-1,7B et 10,00 % pour R1-Distill-Qwen-7B sur les benchmarks de raisonnement mathématique. Dépôt du code : https://github.com/BDML-lab/ReNIO.

L'acquisition de connaissances externes est essentielle pour résoudre des tâches du monde réel, mais elle reste difficile lorsque la relation entre une requête et les connaissances pertinentes implique un raisonnement implicite et complexe, au-delà d'un simple appariement sémantique ou lexical de surface (par exemple, des problèmes mathématiques reposant sur le même théorème ou un codage nécessitant un raisonnement approfondi). Les approches existantes reposent principalement sur un raisonnement côté requête (par exemple, la réécriture de requêtes), ce qui entraîne une latence en ligne importante et sous-exploite la possibilité d'effectuer un raisonnement sur le corpus de connaissances lui-même (c'est-à-dire un raisonnement côté index). Dans cet article, nous proposons RL-Index, un cadre d'indexation agentique qui formule le raisonnement sur l'index de recherche comme un problème d'apprentissage par renforcement. Au lieu d'effectuer le raisonnement au moment de la requête, RL-Index déplace celui-ci vers l'étape d'indexation en enrichissant les documents avec des justifications générées par LLM qui encodent explicitement la relation latente entre requête et connaissance. Pour optimiser la qualité de ces justifications, nous utilisons l'Optimisation Relative des Politiques par Groupes (GRPO) et employons la similarité de recherche comme signal de récompense vérifiable, permettant une optimisation directe des décisions d'indexation pour l'efficacité de la recherche. Des expériences approfondies sur le benchmark BRIGHT montrent que RL-Index améliore systématiquement à la fois les performances de recherche et de réponse aux questions en aval, tout en réduisant significativement la latence d'inférence en ligne. De plus, l'enrichissement par justifications apprises se généralise à différents moteurs de recherche et générateurs, soulignant sa robustesse en tant que stratégie d'indexation prête à l'emploi au sein de différents systèmes de recherche.

« Parler court. Supprimer la grammaire. Économiser les tokens. » Ce style « homme des cavernes » est largement promu comme un moyen de réduire le coût d’inférence, mais son efficacité réelle dépend du canal compressé (la requête utilisateur ou la réponse du modèle). Nous présentons Cavewoman, un protocole d’évaluation bicanal qui note chaque génération selon la précision de la tâche, le coût réel par élément et l’accord avec le texte de référence issu du modèle non contraint. Nous évaluons huit modèles sur cinq jeux de données à cinq niveaux de réduction, les deux canaux étant mesurés sur les mêmes éléments. La compression en sortie réduit le coût réel pour la plupart des modèles d’API (1,4 à 2,4× par modèle, jusqu’à 3× dans le meilleur cas) et pour les quatre modèles à poids ouverts sous tarification publique. La compression en entrée produit l’effet inverse, une perte stricte : elle augmente le coût net au lieu de le réduire (~1,15× en moyenne sur les cinq benchmarks, jusqu’à 1,8× pour le jeu de données le plus défavorable et 2,7× sous compression plus forte), car les modèles compensent par des réponses plus longues, même si la précision s’effondre. Dans ce même cadre, le texte de surface diverge de la référence non contrainte : pour les modèles non raisonnants, environ la moitié des générations sont correctes, mais leur texte de surface n’implique plus la génération de base non contrainte du modèle. Cette divergence persiste après un nouveau score contrôlé par la longueur, une correction pour comparaisons multiples et une réplication sous mesures sémantiques complémentaires. Le code et les données sont disponibles à l’adresse https://github.com/danielle34/cavewoman.

Les quantificateurs de cache KV à faible nombre de bits existants traitent souvent chaque clé mise en cache comme un vecteur plat. Sous RoPE, cependant, la contribution d'une clé à un logit d'attention futur se décompose en une somme dépendante de la position sur des blocs de fréquence bidimensionnels. Cela fait de la quantification du cache de clés un problème d'allocation de bits par bloc : les blocs RoPE à haute énergie sont plus sensibles aux erreurs de quantification et devraient recevoir davantage de bits. Nous introduisons Block-GTQ, un allocateur de bits sensible à RoPE pour la quantification du cache de clés, construit sur TurboQuant-MSE (TQ-MSE). Pour chaque couche et chaque tête KV, Block-GTQ calcule un score d'énergie sans étiquette pour chaque bloc RoPE et alloue de manière gloutonne des largeurs de bits entières par gain marginal. Sous des budgets de bits K/V appariés, Block-GTQ préserve mieux les logits requête-clé RoPE sur un panel de diagnostic de dix modèles, réduisant l'erreur absolue moyenne (MAE) par couche de 32 à 80 % pour une quantification K uniquement à 2 et 3 b/dim, et remportant toutes les 367/367 comparaisons de couches face à TQ-MSE uniforme. Ces gains de fidélité se traduisent par de meilleures performances en aval pour la récupération, la compréhension et le raisonnement en contexte long. En configuration K2V2 sur Llama-3.1-8B-Instruct, Block-GTQ fait passer la moyenne de NIAH sur six tâches de 70,6 à 97,4, et la moyenne de LongBench-EN de 36,87 à 53,31. Sur AIME 2024/2025 avec DeepSeek-R1-Distill-Qwen-7B, sans tampon de clés récentes en fp16, Block-GTQ en K3V2 obtient des scores de 51,7/37,5, proches des 54,2/37,9 du fp16, tandis que TQ-MSE uniforme s'effondre à 0,0/0,0. Nous implémentons en outre un chemin de service de cache compacté. Sur un seul GPU H800 avec Qwen2.5-3B-Instruct, le cache compacté K3V3 atteint une compression du cache KV de 3,24× avec une qualité comparable au fp16, fonctionne 1,34× plus vite que FlashAttention2 en fp16 pour un contexte de 128K, réduit la mémoire maximale de 56,31 Go à 19,85 Go et reste viable à 256K et 512K là où le fp16 provoque un OOM. Le code est disponible à l'adresse https://github.com/JIA-Lab-research/blockgtq.

Alors que les agents LLM sélectionnent de plus en plus d'outils de manière autonome, leurs choix entre des outils dotés de privilèges différents deviennent pertinents pour la sécurité. Cependant, les études antérieures sur la sélection d'outils se concentrent sur des préférences de métadonnées indépendantes de la sécurité, laissant les choix sensibles aux privilèges insuffisamment explorés. Pour combler cette lacune, nous étudions la sélection d'outils sur-privilégiés, dans laquelle un agent sélectionne ou escalade vers un outil à privilège plus élevé malgré une alternative à privilège inférieur suffisante. Nous introduisons ToolPrivBench pour évaluer si les agents choisissent des outils à privilège plus élevé malgré des alternatives à privilège inférieur suffisantes, en mesurant à la fois la sélection initiale et l'escalade après des défaillances transitoires d'outils. Dans huit domaines et cinq schémas de risque récurrents, nous constatons que la sélection d'outils sur-privilégiés est courante parmi les agents LLM courants et est encore amplifiée par des défaillances transitoires. Nous constatons en outre que l'alignement général en matière de sécurité ne se transfère pas de manière fiable au choix d'outils à moindre privilège, tandis que les contrôles au niveau des invites ne fournissent qu'une atténuation limitée en cas de défaillances transitoires. Nous introduisons donc une défense post-entraînement sensible aux privilèges qui apprend aux agents à préférer les outils à privilège inférieur suffisants et à n'escalader qu'en cas de nécessité. Nos expériences d'atténuation montrent que cette défense réduit considérablement l'utilisation inutile d'outils à privilège élevé tout en préservant les capacités générales.

Les agents d’IA agissant au nom des utilisateurs prennent constamment des décisions ; pour que ceux-ci fassent confiance à leurs agents, ces décisions doivent correspondre à ce qu’ils souhaitent réellement. La vie privée constitue un problème d’alignement important pour les agents : chaque message, publication ou appel d’outil effectué par un agent est un jugement contextuel sur ce qu’il est approprié de partager, avec qui et dans quelles conditions. Parce que ces jugements dépendent d’attentes et de normes sociales, le jugement humain ne se contente pas d’étiqueter les violations de la vie privée, il contribue aussi à les définir. Alors que les travaux existants s’appuient sur des proxies peu fiables tant pour l’entraînement que pour l’évaluation, nous plaçons le jugement humain au cœur de l’alignement des agents sur la vie privée. Nous présentons PrivacyAlign, un jeu de données de 1 350 échantillons avec 3 516 annotations détaillées provenant de 599 annotateurs uniques, couvrant divers scénarios où les LLM actuels divulguent effectivement des informations, et l’utilisons pour ancrer à la fois l’entraînement à l’alignement et l’évaluation automatisée dans les normes humaines de confidentialité. À partir de ces annotations, nous montrons d’abord que conditionner les juges LLM sur les annotations et explications humaines pour des réponses de référence à la même invite rend leurs jugements plus fiables. Nous introduisons ensuite la modélisation par récompense conditionnée par les annotations, qui utilise ces annotations pour noter de nouvelles réponses pendant l’apprentissage par renforcement (RL), et montrons que de petits agents à poids ouverts entraînés avec cette récompense s’alignent mieux sur les normes humaines de confidentialité, avec des gains importants sur PrivacyAlign et les benchmarks de confidentialité existants pour les agents.

Les avancées récentes en appariement stéréo ont atteint une précision remarquable, mais reposent souvent sur de grands modèles, des calculs lourds ou des a priori provenant de modèles fondamentaux supplémentaires, ce qui les rend difficiles à déployer sur des plateformes aux ressources limitées. En revanche, les modèles stéréo efficaces offrent une inférence plus rapide, mais sont généralement considérés comme moins capables d'une généralisation zero-shot robuste. Dans cet article, nous remettons en cause cette hypothèse en présentant Lite Any Stereo V2 (LAS2), une série de modèles ultrarapides conçus pour un appariement stéréo zero-shot efficace. LAS2 est développé à la fois sous les angles architecturaux et d'entraînement. Sur le plan architectural, nous revisitons la conception de modèles stéréo efficaces dans des contextes de déploiement pratiques et proposons un cadre d'agrégation de coûts exclusivement 2D, optimisé pour la latence réelle d'inférence plutôt que pour les seuls MAC théoriques. Pour l'entraînement, nous développons une stratégie en trois étapes combinant supervision synthétique, auto-distillation et distillation de connaissances à partir de données réelles. Afin d'améliorer la fiabilité de la pseudo-supervision issue du monde réel, nous introduisons en outre un filtrage des pseudo-étiquettes et une opération d'écrêtage d'erreur, permettant un transfert plus fluide du synthétique au réel. Nous déclinons LAS2 en une famille de modèles, incluant des variantes feed-forward pour différents budgets d'efficacité et une variante itérative pour une précision accrue. Des expériences approfondies montrent que LAS2 atteint une précision de pointe parmi les méthodes stéréo efficaces tout en maintenant une latence significativement plus faible. En particulier, LAS2-H obtient des performances zero-shot globales supérieures à celles de la méthode itérative Fast-FoundationStereo, avec une inférence 1,8 fois et 2,7 fois plus rapide sur H200 et Orin respectivement. La page du projet, les démonstrations et le code sont disponibles à l'adresse https://tomtomtommi.github.io/LiteAnyStereoV2/.

Les attaques par jailbreak révèdent une faiblesse persistante dans les grands modèles de langage alignés : des prompts soigneusement conçus peuvent susciter des réponses violant les politiques malgré l'entraînement à la sécurité. Alors que la plupart des défenses opèrent au niveau du prompt ou de la sortie, la manière dont l'intention nuisible est encodée dans les représentations internes du modèle reste floue. Nous investiguons cette question en analysant, à l'aide de la lentille logit, les trajectoires d'entropie prédictive au niveau des tokens à travers les couches d'un LLM gelé. Nous constatons que les statistiques agrégées statiques de l'entropie au niveau du prompt (moyenne, variance, etc.) portent peu de signal discriminant, tandis que les caractéristiques capturant l'évolution de l'entropie entre les positions des tokens, comme les scores de tendance monotones basés sur le rang, sont nettement plus informatives. Ce signal n'est pas uniforme selon la profondeur du modèle : il se concentre dans les couches intermédiaires et se dégrade à la couche finale, indiquant que la structure pertinente au jailbreak est la plus prononcée dans les représentations médianes du réseau plutôt qu'à la tête de sortie. Sur plusieurs modèles (Llama, Qwen, Gemma) et benchmarks adversariaux, ces dynamiques d'entropie offrent une séparation cohérente entre architectures, sans nécessiter d'entraînement supplémentaire. Dans l'ensemble, nos résultats montrent que le comportement de jailbreak se reflète dans une dynamique d'incertitude intermédiaire structurée, clarifiant à la fois quelles caractéristiques dérivées de l'entropie encodent l'intention nuisible et où, dans le réseau, ce signal est le plus prononcé.

Les modèles de raisonnement actuels utilisent des jetons de réflexion pour obtenir de meilleures performances sur les références que leurs équivalents ajustés par instruction. On pense généralement que ce mode plus « délibératif » devrait améliorer l'alignement et la sécurité, en offrant au modèle un espace sûr pour déterminer si sa réponse prévue à une requête enfreint ses principes de sécurité. Nous apportons la preuve que cette intuition n'est pas toujours juste. En examinant des modèles de raisonnement de pointe à poids ouverts, couvrant les familles GPT-OSS, Qwen, Olmo et Phi, nous constatons que le résultat final (refus/obéissance) est déjà fortement prévisible via un classifieur entraîné sur la représentation cachée du premier jeton (AUROC de 0,84 à 0,95 et précision équilibrée d'environ 88 % pour prédire le refus/l'obéissance) avant toute réflexion visible. Le processus de réflexion s'apparente davantage à une complétion de préfixe qu'à une révision délibérative, le résultat final changeant rarement après les premiers 20 % de la réflexion environ, malgré l'apparence de délibération au niveau textuel (environ 74 % des délibérations textuelles surviennent alors que la distribution des réponses est déjà verrouillée d'un côté, refus ou obéissance). Nous constatons également que les interventions de sécurité existantes, tant en temps d'inférence que basées sur l'entraînement, bien que motivées par l'objectif d'induire une délibération, orientent largement le comportement du modèle vers un sur-refus tout en supprimant les signaux de délibération déjà rares. Nos résultats suggèrent que le comportement de sécurité dans les modèles de raisonnement actuels est bien moins délibératif qu'on ne le suppose généralement, et soulignent la nécessité de méthodes qui induisent une véritable délibération en matière de sécurité.

Les modèles de génération vidéo sont de plus en plus capables de produire des vidéos réalistes, mais ils peinent encore à générer des vidéos qui respectent les lois physiques fondamentales. Ce problème est aggravé par le manque de méthodes d'évaluation granulaires et fiables pour localiser et spécifier les violations des lois physiques dans les vidéos. Nous y remédions en introduisant le Physics Question Scene Graph (PQSG), un pipeline d'évaluation hiérarchique basé sur des questions. PQSG évalue les vidéos générées en vérifiant leur fidélité à un prompt en ce qui concerne les objets, les actions et le respect des lois physiques, en utilisant une hiérarchie de questions basée sur un graphe générée par un modèle vision-langage (VLM), guidée par des exemples contextuels de haute qualité. En représentant les questions sous forme de graphe, PQSG introduit des dépendances logiques entre les questions, garantissant la validité contextuelle de chaque requête. De plus, PQSG fournit des évaluations granulaires des qualités de la vidéo qui violent les contraintes de plausibilité physique. Nous validons PQSG en créant FinePhyEval, un ensemble de données avec des prompts basés sur la physique et des vidéos générées correspondantes provenant de divers modèles de génération vidéo de pointe (Sora 2, Veo 3 et Wan 2.1), chaque vidéo étant annotée dans plusieurs catégories par des humains. En utilisant FinePhyEval, nous mesurons la corrélation entre les scores granulaires de PQSG et les jugements humains, montrant des corrélations globales plus élevées que les travaux antérieurs. Nous constatons également que PQSG classe les modèles à source fermée plus haut que Wan 2.1 en termes de réalisme physique. Enfin, nous montrons que les annotations fournies dans FinePhyEval peuvent également être utilisées pour l'évaluation de sous-tâches : nous évaluons deux VLM puissants sur la génération et la réponse aux questions, constatant que si les modèles peuvent créer des questions proches de celles des humains, ils restent inférieurs à la performance humaine pour y répondre.

Les agents à long horizon dépendent de la gestion du contexte : les systèmes compressent, résument et évincencent les anciens tokens afin que les tâches puissent se poursuivre au-delà de fenêtres finies. Cela n'est sûr que lorsque les informations supprimées ne sont plus nécessaires ou ont été internalisées. Les plans constituent le cas critique : ils sont écrits tôt, utilisés sur de nombreuses étapes, et sont les premiers à être évincés. Nous introduisons l'appariement par rejeu, un diagnostic qui exécute la même trajectoire avec et sans le plan dans l'historique et mesure la distance cosinus des états cachés. Sur Llama-3.1-70B, le signal du plan monte à 0,453 une étape après le plan, puis chute d'un facteur 4,1 en une seule étape d'action-observation ; pour HotpotQA, la chute est de 12,4×. Cela prouve que les agents LLM standards ne transportent pas les plans comme un état persistant, mais dépendent plutôt du maintien du plan dans le contexte. Une sonde de couche L32 détecte cette décroissance comme diagnostic, et non comme preuve qu'elle lit le contenu du plan lui-même. Les modèles de raisonnement ajoutent un facteur de confusion de mesure : leurs traces `<think>` redérivent le contenu du plan, de sorte que le retrait standard laisse des preuves du plan dans la condition retirée. Nous nommons cela le facteur de confusion de la trace de raisonnement et le corrigeons par un retrait strict, qui supprime les blocs `<think>` antérieurs uniquement de l'exécution retirée. Cela récupère +163 % du signal step+1 dans l'échantillon et +153 % en validation, sans modifier significativement le Llama non raisonnement (+4,8 %). Sur DeepSeek-R1-Distill-Llama-70B, une sonde entraînée sur Llama transfère à un AUROC de 0,748 (p = 6e-4), tandis que les sondes spécifiques à R1 atteignent 1,000, suggérant que R1 encode le signal du plan dans une direction d'état caché différente. Enfin, un test de stress de compression montre le coût pratique : l'éviction naïve du plan réduit le succès sur ALFWorld de 34,7 points de pourcentage, tandis qu'un réaffichage contrôlé par sonde ne le récupère pas. La contribution est un cadre de mesure et de test de stress montrant que des informations critiques pour l'agent peuvent être résidentes dans le contexte plutôt que persistantes. La gestion du contexte est essentielle, mais la seule protection du plan ne suffit pas.

L'adaptation continue en phase de test (CTTA) vise à maintenir les performances du modèle sous des domaines cibles en évolution en s'adaptant en ligne sans données étiquetées. Cependant, les déploiements pratiques ne peuvent souvent pas conserver l'ensemble de données source en raison de contraintes de confidentialité ou de licence, et les méthodes CTTA purement sans source ont tendance à devenir instables sous un changement de distribution à long terme, souffrant d'erreurs d'auto-apprentissage cumulatives et d'oubli catastrophique. Nous introduisons DO-ALL (Distill Once, Adapt Life-Long), un cadre plug-and-play qui revisite les informations source sous une forme compacte et respectueuse de la vie privée via la distillation d'ensembles de données (DD). Avant le déploiement, DO-ALL effectue une DD pour produire un petit ensemble d'ancres distillées synthétiques qui résument la distribution source. Pendant l'adaptation, chaque échantillon cible est associé à son ancre la plus alignée sémantiquement, ce qui fournit une référence stable pour diverses CTTA via la relecture source, l'alignement des représentations et la régularisation par lissage de variété. DO-ALL peut être intégré de manière transparente dans les algorithmes CTTA existants, améliorant constamment la robustesse à long terme sur CIFAR100-C, ImageNet-C et le benchmark CCC. Cela démontre le potentiel de l'exploitation de la DD pour permettre une adaptation stable et continue sans conserver les données source brutes. Le code est disponible sur https://github.com/blue-531/DOALL.

L'appel d'outils (Tool Calling) et la sortie structurée (Structured Output) sont deux capacités essentielles des systèmes d'agents modernes, mais leur interaction dans des conditions de déploiement conjoint reste insuffisamment comprise. Cet article rapporte un phénomène reproductible observé dans un système d'agents en production : lorsque l'appel d'outils et les contraintes de schéma JSON sont activés simultanément, plusieurs modèles à poids ouverts cessent d'invoquer des outils tout en maintenant une conformité élevée au schéma. Nous désignons ce comportement sous le terme de Suppression d'outils (Tool Suppression). Grâce à des expériences contrôlées menées sur plusieurs familles de modèles et configurations de déploiement, nous reproduisons de manière cohérente la Suppression d'outils sous contraintes conjointes, alors que l'exécution des outils et la conformité au schéma restent fonctionnelles lorsqu'évaluées indépendamment. Une analyse plus approfondie révèle que les contraintes de schéma JSON sont compilées en masques de tokens basés sur la grammaire, rendant les tokens d'appel d'outils inaccessibles lors du décodage. Cela fournit une explication au niveau de l'implémentation pour le comportement observé. Pour interpréter ce phénomène, nous formulons l'hypothèse d'inversion de priorité des contraintes (Constraint Priority Inversion, CPI), qui suggère que la satisfaction du schéma peut dominer le comportement de sélection d'action sous contraintes multiples simultanées. Nous présentons la CPI comme une hypothèse comportementale cohérente avec les preuves observées, plutôt qu'un mécanisme interne vérifié. Pour atténuer le problème, nous proposons l'exécution transparente en deux passes (Transparent Two-Pass Execution), une stratégie au moment de l'inférence qui dissocie l'exécution des outils de la génération de réponse contrainte par le schéma. Les résultats expérimentaux montrent que cette approche rétablit l'invocation des outils tout en préservant les garanties de sortie structurée, sans nécessiter de réentraînement du modèle. Ces résultats suggèrent qu'évaluer séparément l'utilisation des outils et la sortie structurée peut négliger des problèmes de fiabilité importants dans les systèmes d'agents en production. Le code, les données et la documentation seront publiés à l'adresse https://github.com/Fzsama/Constrain-Tax-26-06.git.

La confiance en un système d'IA est souvent ancrée par des explications sur son fonctionnement, que l'on utilise ensuite pour prévoir son comportement sur de nouvelles entrées. Pour les grands modèles de raisonnement (LRM), cette voie conventionnelle est particulièrement difficile à suivre : les méthodes d'explication pour les générations de tokens uniques ne se généralisent pas naturellement aux longues trajectoires, et ces trajectoires elles-mêmes sont souvent peu fidèles lorsqu'elles sont lues comme un langage naturel. Nous proposons une alternative qui contourne l'étape d'explication : traiter la prévision de comportement comme une tâche apprenable et entraîner des Prédicteurs de comportement qui, à partir d'une seule trajectoire de raisonnement, effectuent les mêmes prévisions que celles que l'on chercherait habituellement via une explication. Les données d'entraînement du prédicteur sont obtenues en interrogeant le LRM sans aucune annotation humaine, et son inférence s'effectue en un seul passage avant. Nous instancions cette approche sur deux tâches : la probabilité que le LRM répète sa réponse lors de relances, et comment la suppression de parties de l'entrée modifie sa réponse. Nous évaluons cette approche sur ces deux tâches à travers trois ensembles de données de raisonnement diversifiés et constatons que les Prédicteurs de comportement entraînés sont plus précis que GPT-5.4 et Claude Opus-4.6 lisant les mêmes trajectoires en tant que lecteurs naïfs, pour une fraction de leur coût d'inférence. Nous constatons que l'ajustement fin du backbone de bout en bout et son initialisation à partir du LRM cible sont tous deux nécessaires pour obtenir des performances solides. Ces résultats montrent que la trajectoire de raisonnement transporte des informations sur le comportement futur du LRM qui vont au-delà de ce qu'une lecture naïve transmet.

Alors que les systèmes expressifs de synthèse vocale (TTS) et de conversion vocale (VC) génèrent de plus en plus de vocalisations non verbales (NVVs) pour améliorer le naturel, une vérification fiable du locuteur (SV) devient essentielle pour évaluer objectivement la cohérence de l'identité à travers les segments verbaux et non verbaux. Pourtant, les systèmes SV actuels se généralisent mal aux NVVs, et un ajustement fin sur des données NVV entraîne un oubli catastrophique des performances vocales. Nous présentons la première étude systématique portant sur 10 types de NVVs et proposons un cadre combinant les caractéristiques auto-supervisées figées de Data2Vec avec ECAPA-TDNN, amélioré par un module de Mixture of Experts (MoE) doté d'un routage appris informé par le domaine. Une perte de distillation conditionnelle sur les entrées vocales via un enseignant pré-entraîné préserve la précision parole-parole, tandis qu'une perte contrastive comble l'écart entre les domaines parole et NVV. Notre méthode réduit le taux d'erreur égal (EER) parole-NVV de 38,93 % à 22,66 % par rapport à une référence pré-entraînée, et améliore l'EER parole de 13,17 % à 9,24 % grâce à la distillation.