Articles du Jour

L'augmentation de l'échelle des Transformers de Diffusion (DiTs) à des centaines de couches introduit une vulnérabilité structurelle : les réseaux peuvent entrer dans un état de collapse silencieux et dominé par la moyenne, qui homogénéise les représentations des jetons et supprime la variation centrée. Grâce à un audit mécaniste, nous isolons l'événement déclencheur de ce collapse sous le nom de Mean Mode Screaming (MMS). Le MMS peut survenir même lorsque l'entraînement semble stable, avec un choc rétrograde moyenne-cohérent sur les écrivains résiduels qui ouvre les branches résiduelles profondes et conduit le réseau dans un état dominé par la moyenne. Nous montrons que ce comportement est piloté par une décomposition exacte de ces gradients en composantes moyenne-cohérente et centrée, aggravée par la suppression structurelle des gradients des logits d'attention à travers l'espace nul du Jacobien du Softmax une fois que les valeurs s'homogénéisent. Pour y remédier, nous proposons les Résidus à Séparation Moyenne-Variance (MV-Split), qui combinent une mise à jour résiduelle centrée séparément amplifiée avec un remplacement avec fuite de la moyenne du tronc. Sur un DiT à flux unique de 400 couches, MV-Split empêche le collapse divergent qui fait s'effondrer la ligne de base non stabilisée ; il suit de près la trajectoire pré-effondrement de la ligne de base tout en restant nettement meilleur que les méthodes de gating isotropes par jeton telles que LayerScale sur l'ensemble du calendrier. Enfin, nous présentons un DiT de 1000 couches comme une exécution de validation à grande échelle aux limites, établissant que l'architecture reste stablement entraînable à des profondeurs extrêmes.

Avec l'essor des plateformes de vidéos de danse en ligne et les progrès rapides des contenus générés par IA (AIGC), la génération de danses pilotée par la musique est devenue un axe de recherche prometteur. Malgré des avancées significatives dans des domaines connexes comme la génération de mouvements 3D synchronisés à la musique, l'animation d'images pilotée par des poses ou la synthèse de visages parlants guidée par l'audio, les méthodes existantes ne peuvent être directement adaptées à cette tâche. De plus, les rares études dans ce domaine peinent encore à concilier qualité visuelle et réalisme des mouvements humains. Nous proposons donc MACE-Dance, un cadre de génération de vidéos de danse piloté par la musique utilisant une architecture en cascade de type Mixture-of-Experts (MoE). L'expert en Mouvement génère des séquences 3D à partir de la musique tout en garantissant une plausibilité cinématique et une expressivité artistique, tandis que l'expert en Apparence synthétise des vidéos conditionnées par le mouvement et des références, préservant l'identité visuelle avec une cohérence spatio-temporelle. Plus précisément, l'expert en Mouvement utilise un modèle de diffusion doté d'une architecture hybride BiMamba-Transformer et une stratégie d'apprentissage sans guidage (GFT), atteignant des performances de pointe en génération de mouvements 3D. L'expert en Apparence emploie une stratégie de réglage fin découplée kinématique-esthétique, obtenant des résultats optimaux en animation d'images pilotée par des poses. Pour mieux évaluer cette tâche, nous avons constitué un jeu de données diversifié à grande échelle et conçu un protocole d'évaluation mouvement-apparence. Sur cette base, MACE-Dance atteint également des performances de référence. Le code est disponible à l'adresse https://github.com/AMAP-ML/MACE-Dance.

Les modèles de génération d'images par appariement de flux (Flow Matching, FM) souffrent actuellement de deux goulots d'étranglement critiques dans le cadre de l'alignement multitâche : la parcimonie des récompenses induite par des récompenses scalaires, et les interférences de gradient résultant de l'optimisation conjointe d'objectifs hétérogènes, ce qui engendre un "effet de bascule" entre métriques concurrentes et un détournement généralisé des récompenses. Inspirés par le succès de la distillation sur politique (On-Policy Distillation, OPD) dans le domaine des grands modèles linguistiques, nous proposons Flow-OPD, le premier cadre unifié de post-entraînement intégrant la distillation sur politique aux modèles d'appariement de flux. Flow-OPD adopte une stratégie d'alignement en deux étapes : il cultive d'abord des modèles enseignants spécialisés par domaine via un réglage fin GRPO à récompense unique, permettant à chaque expert d'atteindre son plafond de performance isolément ; il établit ensuite une politique initiale robuste grâce à un schéma d'amorçage à froid basé sur les flux, puis consolide de manière transparente des expertises hétérogènes en un seul modèle étudiant via une orchestration en trois étapes (échantillonnage sur politique, étiquetage par routage de tâches et supervision dense au niveau trajectoire). Nous introduisons également la Régularisation par Ancrage sur Variété (Manifold Anchor Regularization, MAR), qui exploite un enseignant agnostique aux tâches pour fournir une supervision sur l'ensemble des données, ancrant la génération à une variété de haute qualité et atténuant efficacement la dégradation esthétique couramment observée dans les alignements purement par apprentissage par renforcement. Implémenté sur Stable Diffusion 3.5 Medium, Flow-OPD élève le score GenEval de 63 à 92 et la précision OCR de 59 à 94, soit une amélioration globale d'environ 10 points par rapport au GRPO standard, tout en préservant la fidélité des images et l'alignement avec les préférences humaines, et en manifestant un effet émergent de "dépassement des enseignants". Ces résultats établissent Flow-OPD comme un paradigme d'alignement scalable pour construire des modèles généralistes de génération d'images à partir de texte.

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu une approche standard pour le post-entraînement des grands modèles de langage (LLMs) afin de stimuler leur capacité de raisonnement. Parmi les méthodes existantes, le gradient de politique basé sur des groupes est prédominant : il échantillonne un groupe de réponses par prompt et met à jour la politique à l'aide de signaux d'avantage relatifs au groupe. Ce travail révèle que ces stratégies d'optimisation partagent une structure géométrique commune : chacune définit implicitement une distribution cible sur le simplexe des réponses et projette vers celle-ci via une approximation du premier ordre. Forts de cette constatation, nous proposons l'Optimisation de Politique par Liste (LPO) pour effectuer explicitement la projection cible, ce qui démystifie la cible implicite en restreignant l'objectif RL proximal au simplexe des réponses, puis projette la politique via une minimisation exacte de divergence. Ce cadre offre (i) une amélioration monotone de l'objectif par liste avec des gradients de projection bornés, à somme nulle et auto-correcteurs, et (ii) une flexibilité dans le choix de la divergence avec des propriétés structurelles distinctes grâce à l'étape de projection découplée. Sur diverses tâches de raisonnement et architectures de base de LLMs, LPO améliore systématiquement la performance d'entraînement par rapport aux lignes de base typiques de gradient de politique, sous des cibles appariées, tout en préservant intrinsèquement la stabilité d'optimisation et la diversité des réponses.

Les agents de recherche multimodaux existants traitent les entités cibles de manière séquentielle, en effectuant un appel d'outil par entité et en accumulant des tours d'interaction redondants dès qu'une requête se décompose en sous-recherches indépendantes. Nous soutenons que les agents multimodaux efficaces devraient rechercher plus largement plutôt que plus longuement : déclencher simultanément plusieurs requêtes ancrées au sein d'un même tour. À cette fin, nous présentons HyperEyes, un agent de recherche multimodal parallèle qui fusionne l'ancrage visuel et la recherche en une seule action atomique, permettant une recherche concurrente sur plusieurs entités tout en traitant l'efficacité d'inférence comme un objectif d'entraînement de premier plan. HyperEyes est entraîné en deux étapes. Pour la supervision à froid, nous développons un pipeline de synthèse de données propice au parallélisme couvrant les requêtes multi-entités visuelles et multi-contraintes textuelles, en élaborant des trajectoires orientées vers l'efficacité via un échantillonnage par rejet progressif. Sur cette base, notre contribution centrale, un cadre d'apprentissage par renforcement sensible à l'efficacité à double granularité, opère à deux niveaux. Au niveau macro, nous proposons TRACE (Tool-use Reference-Adaptive Cost Efficiency), une récompense au niveau de la trajectoire dont la référence est resserrée de manière monotone pendant l'entraînement pour supprimer les appels d'outils superflus sans restreindre la recherche multi-sauts authentique. Au niveau micro, nous adaptons la distillation sur politique pour injecter des signaux correctifs denses au niveau des tokens provenant d'un enseignant externe sur les lancements ayant échoué, atténuant ainsi le déficit d'attribution de crédit des récompenses de résultat éparses. Étant donné que les référentiels existants évaluent uniquement la précision comme métrique, omettant le coût d'inférence, nous introduisons IMEB, un référentiel élaboré manuellement de 300 instances qui évalue conjointement la capacité de recherche et l'efficacité. Sur six référentiels, HyperEyes-30B surpasse l'agent open source comparable le plus fort de 9,9 % en précision avec en moyenne 5,3 fois moins de tours d'appels d'outils.

La mise à l'échelle au moment du test (TTS) est devenue une approche efficace pour améliorer les performances des modèles de langage de grande taille en allouant des ressources de calcul supplémentaires lors de l'inférence. Cependant, les stratégies TTS existantes sont largement conçues manuellement : les chercheurs conçoivent à la main des schémas de raisonnement et ajustent des heuristiques par intuition, laissant une grande partie de l'espace d'allocation des calculs inexplorée. Nous proposons un cadre piloté par l'environnement, AutoTTS, qui modifie ce que les chercheurs conçoivent : passant d'heuristiques TTS individuelles à des environnements où les stratégies TTS peuvent être découvertes automatiquement. La clé d'AutoTTS réside dans la construction de l'environnement : l'environnement de découverte doit rendre l'espace de contrôle traitable et fournir un retour d'information peu coûteux et fréquent pour la recherche de stratégies TTS. En tant qu'instanciation concrète, nous formulons le TTS largeur-profondeur comme une synthèse de contrôleurs sur des trajectoires de raisonnement pré-collectées et des signaux de sondage, où les contrôleurs décident quand bifurquer, continuer, sonder, élaguer ou s'arrêter, et peuvent être évalués à moindre coût sans appels répétés au LLM. Nous introduisons en outre une paramétrisation bêta pour rendre la recherche traitable et un retour sur la trace d'exécution à grain fin pour améliorer l'efficacité de la découverte en aidant l'agent à diagnostiquer pourquoi un programme TTS échoue. Les expériences sur des benchmarks de raisonnement mathématique montrent que les stratégies découvertes améliorent le compromis global précision-coût par rapport à des références fortes conçues manuellement. Les stratégies découvertes se généralisent à des benchmarks réservés et à des échelles de modèles, tandis que l'ensemble de la découverte ne coûte que 39,9 $ et 160 minutes. Nos données et notre code seront mis en open source à l'adresse https://github.com/zhengkid/AutoTTS.

Les progrès en matière d’intelligence incarnée dépendent de plus en plus d’infrastructures de données évolutives. Alors que la vision et le langage ont bénéficié du passage à l’échelle grâce aux corpus internet, l’apprentissage des interactions physiques reste limité par l’absence de données volumineuses, diversifiées et richement annotées sur l’activité humaine. Nous présentons HumanNet, un corpus vidéo centré sur l’humain d’un million d’heures qui capture la manière dont les humains interagissent avec le monde physique à grande échelle. HumanNet couvre à la fois les perspectives à la première et à la troisième personne, et inclut des activités fines, des interactions homme-objet, l’utilisation d’outils ainsi que des comportements à long horizon dans divers environnements réels. Au-delà des vidéos brutes, le jeu de données fournit des annotations centrées sur l’interaction, comprenant des légendes, des descriptions de mouvements et des signaux liés aux mains et au corps, permettant un apprentissage sensible au mouvement et à l’interaction. Au-delà de l’échelle, HumanNet introduit un paradigme systématique de curation des données pour l’apprentissage incarné, où le filtrage centré sur l’humain, la structuration temporelle, la diversité des points de vue et l’enrichissement des annotations sont traités comme des principes de conception de première classe. Cette conception transforme la vidéo internet non structurée en un substrat évolutif pour l’apprentissage de représentations, la compréhension des activités, la génération de mouvements et le transfert de l’humain au robot. Nous réalisons une première validation de la valeur de cette conception par une ablation contrôlée vision-langage-action : sous un ensemble fixe de données de validation, l’entraînement continu du modèle Qwen VLM avec 1 000 heures de vidéo égocentrique issues de HumanNet surpasse l’entraînement continu avec 100 heures de données robotiques réelles provenant de Magic Cobot, ce qui indique que la vidéo humaine égocentrique pourrait constituer un substitut évolutif et économique aux données robotiques. En construisant ce projet, nous visons à explorer la possibilité de passer à l’échelle les modèles de base incarnés en utilisant des vidéos centrées sur l’humain, plutôt que de se reposer uniquement sur des données spécifiques aux robots.

L’entraînement des grands modèles de langage multimodaux a longtemps été limité par la rareté des données multimodales appariées de haute qualité. Des études récentes montrent que l’espace de représentation partagé des modèles contrastifs multimodaux pré-entraînés peut servir de pont, permettant aux modèles d’effectuer un entraînement multimodal avec des données unimodales. Cependant, la prémisse clé de ce paradigme reste insuffisamment comprise : les représentations de différentes modalités peuvent-elles être échangées de manière fiable ? L’obstacle central réside dans le Fossé Modalitaire persistant au sein de l’espace partagé. Dans ce travail, nous revisitons la nature géométrique du fossé modalitaire. Nous constatons que les représentations des modalités partagent déjà une géométrie sémantique dominante compatible. Ce qui entrave véritablement l’interchangeabilité des modalités n’est pas un simple décalage global, mais une structure résiduelle anisotrope concentrée le long d’un petit nombre de directions dominantes. Sur la base de cette observation, nous proposons en outre le principe d’alignement anisotrope du fossé modalitaire : un alignement efficace des modalités doit s’ajuster à la distribution de la modalité cible tout en préservant la structure sémantique de la modalité source. Guidé par ce principe, nous proposons un cadre de correction géométrique anisotrope, AnisoAlign, pour l’alignement non apparié des modalités. Ce cadre exploite les connaissances géométriques internes de la modalité cible et effectue une correction bornée des représentations de la modalité source, construisant ainsi des représentations substitutives dans la modalité cible. Les expériences confirment ses avantages à la fois dans le diagnostic géométrique et dans l’entraînement de MLLM uniquement textuels. Dans l’ensemble, ce travail refonde le fossé modalitaire, passant d’une observation empirique à un phénomène géométrique structuré et corrigible, et offre une nouvelle perspective d’alignement des représentations pour l’entraînement de modèles multimodaux avec des données unimodales.

La recherche de code a généralement été évaluée comme une étape de recherche de premier niveau, bien que les systèmes en production reposent sur des pipelines plus larges intégrant le reclassement et des requêtes de type développeur. Les benchmarks existants souffrent également de contamination des données, de bruit dans les étiquettes et d'une pertinence binaire dégénérée. Dans cet article, nous présentons CoREB, un benchmark de recherche et de reclassement de code multitâche à contamination limitée, accompagné d'un reclasseur de code affiné, qui va au-delà de la simple recherche pour couvrir l'intégralité du pipeline de recherche de code. CoREB est construit à partir des problèmes de LiveCodeBench réécrits de manière contrefactuelle dans cinq langages de programmation, et est fourni sous forme de versions chronométrées avec des jugements de pertinence gradués. Nous évaluons onze modèles d'encodage et cinq reclasseurs sur trois tâches : texte-à-code, code-à-texte et code-à-code. Nos expériences révèlent que : (1) les encodages spécialisés dans le code dominent la recherche code-à-code (~2× par rapport aux encodeurs généraux), mais aucun modèle unique ne remporte les trois tâches ; (2) les requêtes courtes par mots-clés, le format le plus proche des recherches réelles des développeurs, réduisent tous les modèles à un nDCG@10 quasi nul ; (3) les reclasseurs prêts à l'emploi sont asymétriques selon la tâche, avec un écart de 12 points sur la tâche code-à-code et aucun bénéfice net de base sur toutes les tâches ; (4) notre reclasseur affiné CoREB-Reranker est le premier à obtenir des gains cohérents sur les trois tâches. Les données et le modèle sont publiés.

Les agents IA sont de plus en plus déployés dans divers domaines pour automatiser des workflows complexes grâce à des exécutions d’actions sur des horizons temporels longs et à forts enjeux. En raison de leurs capacités et de leur flexibilité élevées, ces agents suscitent des préoccupations importantes en matière de sécurité et de sûreté. Un nombre croissant d’incidents réels a montré que des adversaires peuvent facilement manipuler les agents pour qu’ils effectuent des actions nuisibles, telles que la fuite de clés API, la suppression de données utilisateur ou l’initiation de transactions non autorisées. Évaluer la sécurité des agents est intrinsèquement difficile, car ceux-ci opèrent dans des environnements dynamiques et non fiables impliquant des outils externes, des sources de données hétérogènes et des interactions fréquentes avec les utilisateurs. Cependant, des environnements réalistes, contrôlables et reproductibles pour une évaluation des risques à grande échelle restent largement sous-explorés. Pour combler cette lacune, nous présentons la plateforme DecodingTrust-Agent (DTap), la première plateforme de red-teaming contrôlable et interactive pour les agents IA, couvrant 14 domaines réels et plus de 50 environnements de simulation qui reproduisent des systèmes largement utilisés tels que Google Workspace, PayPal et Slack. Pour amplifier l’évaluation des risques des agents dans DTap, nous proposons en outre DTap-Red, le premier agent de red-teaming autonome qui explore systématiquement divers vecteurs d’injection (par exemple, invite, outil, compétence, environnement, combinaisons) et découvre de manière autonome des stratégies d’attaque efficaces adaptées à divers objectifs malveillants. En utilisant DTap-Red, nous constituons DTap-Bench, un ensemble de données de red-teaming à grande échelle comprenant des instances de haute qualité dans divers domaines, chacune associée à un juge vérifiable pour valider automatiquement les résultats des attaques. Grâce à DTap, nous menons des évaluations à grande échelle d’agents IA populaires construits sur différents modèles de base, couvrant les politiques de sécurité, les catégories de risques et les stratégies d’attaque, révélant des schémas de vulnérabilité systématiques et fournissant des informations précieuses pour le développement d’agents de nouvelle génération sécurisés.

Les Transformers de Diffusion (DiT) entraînés par *flow matching* dans un espace latent de VAE ont unifié la génération visuelle pour les images et les vidéos. Une étape naturelle vers une architecture unique pour la génération (synthèse visuelle) et la compréhension (génération de texte) consiste à appliquer ce cadre à la modélisation du langage. Nous proposons TextLDM, qui transpose la recette de la diffusion latente visuelle à la génération de texte avec une modification architecturale minimale. Un VAE basé sur Transformer mappe les tokens discrets en latents continus, amélioré par l’Alignement des Représentations (REPA) avec un modèle de langage pré-entraîné gelé, afin de produire des représentations efficaces pour le débruitage conditionnel. Un DiT standard effectue ensuite du *flow matching* dans cet espace latent, avec une architecture identique à son homologue visuel. Le défi central que nous relevons est l’obtention de représentations textuelles continues de haute qualité : nous constatons que la seule fidélité de reconstruction est insuffisante, et que l’alignement des caractéristiques latentes avec un modèle de langage pré-entraîné via REPA est crucial pour la qualité de la génération en aval. Entraîné de zéro sur OpenWebText2, TextLDM surpasse nettement les modèles de langage à diffusion antérieurs et égale GPT-2 dans les mêmes conditions. Nos résultats établissent que la recette du DiT visuel se transpose efficacement au langage, faisant un pas concret vers des architectures de diffusion unifiées pour la génération et la compréhension multimodales.

Alors que les grands modèles de langage (LLMs) continuent de progresser rapidement, ils deviennent de plus en plus performants tout en exigeant des longueurs de contexte toujours plus longues. Pour améliorer l'efficacité d'inférence du traitement de contextes longs, plusieurs architectures hybrides à faible complexité ont récemment été proposées, atténuant efficacement le fardeau computationnel de l'inférence sur de longs contextes. Cependant, les recherches existantes sur l'accélération du préremplissage (prefill) pour les contextes longs restent principalement centrées sur les mécanismes d'attention sparse, qui n'atteignent leur accélération maximale que sur les modèles à attention complète. Transférées aux architectures émergentes—telles que les hybrides d'attention linéaire/attention complète ou les hybrides de fenêtre glissante/attention complète—ces approches d'accélération du préremplissage subissent une dégradation significative de leurs performances. De plus, ces méthodes sont généralement incompatibles avec le regroupement continu (continuous batching), ce qui les rend difficiles à intégrer dans des moteurs d'inférence modernes comme vLLM. À cette fin, nous proposons UniPrefill, un cadre d'accélération du préremplissage applicable à pratiquement toute architecture de modèle, qui accélère directement le calcul du modèle au niveau des jetons. Nous implémentons également UniPrefill en tant qu'opérateur de regroupement continu et étendons la stratégie d'ordonnancement de vLLM pour prendre en charge nativement le co-traitement préremplissage-décodage et le parallélisme de tenseur pour UniPrefill, permettant ainsi son intégration transparente dans vLLM. UniPrefill atteint un gain de vitesse allant jusqu'à 2,1x en temps jusqu'au premier jeton (TTFT), l'accélération devenant de plus en plus prononcée à mesure que le nombre de requêtes concurrentes augmente.

L'apprentissage par renforcement (RL) a considérablement amélioré la capacité des agents basés sur des modèles de langage de grande taille (LLM) à interagir avec des environnements et à résoudre des tâches multi-tours. Cependant, un RL agentique efficace reste difficile : les récompenses éparses et uniquement basées sur les résultats fournissent un guidage limité pour l'assignation de crédit aux étapes individuelles au sein de longues trajectoires d'interaction. Les approches existantes introduisent souvent une supervision intermédiaire dense, comme des modèles de récompense de processus ou des signaux auxiliaires d'auto-supervision, ce qui augmente la complexité de la supervision et du réglage, et peut limiter la généralisation entre tâches et domaines. Nous présentons AEM, une méthode d'assignation de crédit sans supervision qui module de manière adaptative la dynamique de l'entropie pendant l'entraînement RL pour améliorer le compromis exploration-exploitation. Étant donné qu'en RL agentique l'environnement est généralement affecté par une réponse complète, plutôt que par un jeton individuel, notre analyse élève la dynamique de l'entropie du niveau du jeton au niveau de la réponse, alignant l'estimation de l'incertitude avec la granularité effective des actions des agents LLM et réduisant la sensibilité au bruit d'échantillonnage au niveau des jetons. Nous montrons en outre que la dérive de l'entropie sous des mises à jour à gradient naturel est régie par l'interaction entre l'avantage de la réponse échantillonnée et sa surprise relative. Motivé par ce résultat, AEM dérive un proxy pratique d'incertitude au niveau de la réponse et l'utilise pour rééchelonner les avantages, tirant parti de l'équilibre évolutif entre échantillons positifs et négatifs pour passer naturellement de l'exploration à l'exploitation. Des expériences approfondies sur ALFWorld, WebShop et SWE-bench-Verified avec des modèles allant de 1,5B à 32B démontrent qu'AEM améliore systématiquement les bases RL solides, y compris un gain de +1,4 % lorsqu'il est intégré dans un cadre d'entraînement RL de pointe pour le génie logiciel.

Le raisonnement spatial dynamique à partir de vidéos monoculaires est essentiel pour faire le lien entre l'intelligence visuelle et le monde physique, mais il reste difficile pour les modèles de langage visuel (VLMs). Les approches précédentes soit verbalisent entièrement le raisonnement spatio-temporel sous forme de texte, ce qui est intrinsèquement verbeux et imprécis pour les dynamiques complexes, soit s'appuient sur des modules géométriques externes qui augmentent la complexité de l'inférence sans développer la capacité intrinsèque du modèle. Dans cet article, nous présentons 4DThinker, le premier cadre permettant aux VLMs de « penser en 4D » via une imagerie mentale latente dynamique, c'est-à-dire de simuler en interne l'évolution des scènes dans l'espace caché continu. Plus précisément, nous introduisons d'abord un pipeline de génération de données évolutif et sans annotation qui synthétise des données de raisonnement 4D à partir de vidéos brutes. Nous proposons ensuite l'Ajustement Fin par Imagerie Dynamique (DIFT), qui supervise conjointement les tokens textuels et les latentes 4D afin d'ancrer le modèle dans la sémantique visuelle dynamique. Sur cette base, l'Apprentissage par Renforcement 4D (4DRL) aborde des tâches de raisonnement complexes via des récompenses basées sur les résultats, en restreignant les gradients de politique aux tokens textuels pour garantir une optimisation stable. Des expériences approfondies sur plusieurs benchmarks de raisonnement spatial dynamique montrent que 4DThinker surpasse systématiquement les bases de référence solides et offre une nouvelle perspective sur le raisonnement 4D dans les VLMs. Notre code est disponible à l'adresse https://github.com/zhangquanchen/4DThinker.

Avec l'augmentation de l'échelle des modèles d'apprentissage profond atteignant des milliards de paramètres, le coût computationnel du fine-tuning reste un obstacle majeur à leur déploiement. Bien que l'Adaptation de Bas Rang (LoRA) soit devenue la méthode standard pour un fine-tuning efficace en paramètres, la nécessité de définir un rang statique prédéfini r exige des recherches exhaustives en grille pour équilibrer efficacité et performance. Les solutions adaptatives en rang existantes, telles que DyLoRA, atténuent ce problème en échantillonnant les rangs pendant l'entraînement à partir d'une distribution prédéfinie. Cependant, elles produisent souvent des résultats sous-optimaux pour les rangs élevés en raison d'un manque de signaux de gradient cohérents dans toute la hiérarchie des rangs, rendant ces méthodes inefficaces en termes de données. Dans cet article, nous proposons MatryoshkaLoRA, un cadre d'entraînement général pour LoRA inspiré de la poupée Matriochka, qui apprend des représentations hiérarchiques de bas rang précises en insérant une matrice diagonale P fixe et soigneusement conçue entre les adaptateurs LoRA existants pour mettre à l'échelle leurs sous-rangs en conséquence. En introduisant cette simple modification, notre cadre général retrouve LoRA et DyLoRA simplement en changeant P et garantit que tous les sous-rangs intègrent efficacement l'information de gradient disponible. Notre MatryoshkaLoRA prend en charge la sélection dynamique de rang avec une dégradation minimale de la précision. Nous proposons également l'Aire sous la courbe de précision en fonction du rang (AURAC), une métrique qui évalue de manière cohérente la performance des adaptateurs hiérarchiques de bas rang. Nos résultats montrent que MatryoshkaLoRA apprend des représentations hiérarchiques de bas rang plus précises que les approches adaptatives en rang antérieures et atteint des compromis précision-performance supérieurs sur les différents rangs pour les jeux de données évalués. Notre code est disponible à l'adresse https://github.com/IST-DASLab/MatryoshkaLoRA.

La théorie du suivi d'état dans les architectures récurrentes s'est principalement concentrée sur la capacité expressive : la question de savoir si une architecture fixe peut réaliser théoriquement un ensemble de règles de transition symboliques. Nous soutenons que le contrôle d'erreur, c'est-à-dire la dynamique régissant la dérive de l'état caché le long des directions qui distinguent les états symboliques, est tout aussi important. Nous prouvons que les réseaux récurrents affines, une classe de modèles incluant les modèles espace-état et l'attention linéaire, ne peuvent pas corriger les erreurs le long des sous-espaces séparant les états lorsqu'ils préservent les représentations d'état. Par conséquent, les suiveurs affines pratiques n'apprennent pas un suivi d'état robuste ; ils apprennent plutôt des solutions à horizon fini gouvernées par l'erreur accumulée pertinente pour l'état. Nous caractérisons la mécanique de cet échec, montrant que le suivi reste lisible uniquement tant que la dispersion intra-classe accumulée reste faible par rapport à la séparation inter-classe initiale. Nous démontrons empiriquement, sur des tâches de suivi d'état en groupe, que cette défaillance est prévisible : le suivi s'effondre lorsque le ratio de distinctivité franchit le seuil de lisibilité du décodeur entraîné. À travers les modèles entraînés, le point de ce franchissement prédit l'horizon auquel la précision aval échoue. Ces résultats établissent que le suivi d'état robuste n'est pas déterminé uniquement par l'expressivité théorique d'une architecture, mais crucialement par son contrôle d'erreur.

DeepSeek Sparse Attention (DSA) établit l'état de l'art pour l'attention éparse à l'inférence avec granularité fine en introduisant un indexeur appris par token qui score chaque token du préfixe et sélectionne les plus pertinents pour l'attention principale. Pour rester expressif, l'indexeur utilise de nombreuses têtes de requête (par exemple, 64 sur DeepSeek-V3.2) qui partagent le même ensemble de tokens sélectionné ; cette conception multi-têtes est précisément ce qui fait de l'indexeur le coût dominant sur les longs contextes. Nous proposons MISA (Mixture of Indexer Sparse Attention - Attention Éparse à Mélange d'Indexeurs), un remplacement direct de l'indexeur DSA qui traite ses têtes d'indexeur comme un pool de mélange d'experts. Un routeur léger utilise des statistiques peu coûteuses au niveau des blocs pour choisir un sous-ensemble dépendant de la requête de seulement quelques têtes actives, et seules ces têtes exécutent le lourd scoring au niveau des tokens. Cela préserve la diversité du pool d'indexeurs original tout en réduisant le coût par requête : au lieu de scorer chaque token du préfixe avec chaque tête, on ne le score qu'avec une poignée de têtes routées, plus un terme de routeur négligeable calculé sur un petit ensemble de clés mises en commun. Nous introduisons également une variante hiérarchique de MISA qui utilise le passage routé pour conserver un ensemble de candidats élargi, puis le re-classe avec l'indexeur DSA original pour retrouver presque exactement les tokens sélectionnés finaux. Avec seulement huit têtes actives et aucun entraînement supplémentaire, MISA égalise l'indexeur DSA dense sur LongBench avec DeepSeek-V3.2 et GLM-5 tout en fonctionnant avec respectivement huit et quatre fois moins de têtes d'indexeur, et surpasse HISA en moyenne. Il préserve également des heatmaps d'Aiguille-dans-une-botte-de-foin (Needle-in-a-Haystack) entièrement vertes jusqu'à un contexte de 128K tokens, et récupère plus de 92 % des tokens sélectionnés par l'indexeur DSA par couche. Notre noyau TileLang offre un gain de vitesse d'environ 3,82 fois par rapport au noyau d'indexeur original de DSA sur un seul GPU NVIDIA H200.

Synthétiser des vidéos longues, cohérentes et homogènes demeure un défi fondamental. Les méthodes existantes souffrent de dérive sémantique et d'effondrement narratif sur de longs horizons temporels. Nous présentons A²RD, une architecture de diffusion auto-régressive agentique qui dissocie la synthèse créative du maintien de la cohérence. A²RD aborde la synthèse vidéo longue comme un processus en boucle fermée qui génère et s'améliore automatiquement, segment par segment, via un cycle de Récupération - Synthèse - Raffinement - Mise à jour. L'architecture comprend trois composants essentiels : (i) une Mémoire Vidéo Multimodale qui suit la progression vidéo à travers les modalités ; (ii) une Génération Adaptative de Segments qui alterne entre différents modes de génération pour assurer une progression naturelle et une cohérence visuelle ; et (iii) une Auto-Amélioration Hiérarchique en Test, qui affine chaque segment aux niveaux de l'image et de la vidéo afin d'empêcher la propagation d'erreurs. Nous introduisons également LVBench-C, un jeu de référence exigeant comportant des transitions non linéaires d'entités et d'environnements, conçu pour éprouver la cohérence sur de longs horizons. Sur les jeux de référence publics et LVBench-C, couvrant des vidéos d'une à dix minutes, A²RD surpasse les modèles de base de pointe avec des gains allant jusqu'à 30 % en cohérence et 20 % en cohérence narrative. Les évaluations humaines confirment ces améliorations tout en soulignant des progrès notables en matière de fluidité des mouvements et des transitions.

L'auto-distillation (AD) offre une voie prometteuse pour adapter les grands modèles de langage (GML) sans recourir à des enseignants externes plus puissants. Cependant, l'AD dans les GML autorégressifs reste difficile car les trajectoires auto-générées sont libres, la justesse dépend de la tâche, et des justifications plausibles peuvent fournir une supervision instable ou peu fiable. Les méthodes existantes examinent principalement des choix de conception isolés, laissant leurs efficacités, rôles et interactions peu clairs. Dans cet article, nous proposons UniSD, un cadre unifié pour étudier systématiquement l'auto-distillation. UniSD intègre des mécanismes complémentaires qui traitent de la fiabilité de la supervision, de l'alignement des représentations et de la stabilité de l'entraînement, notamment l'accord multi-enseignant, la stabilisation par enseignant EMA, l'apprentissage contrastif au niveau des tokens, l'appariement des caractéristiques et l'écrêtage de divergence. À travers six références et six modèles issus de trois familles de modèles, UniSD révèle quand l'auto-distillation améliore l'imitation statique, quelles composantes génèrent les gains, et comment ces composantes interagissent selon les tâches. Guidés par ces observations, nous construisons UniSDfull, un pipeline intégré qui combine des composantes complémentaires et atteint la performance globale la plus élevée, améliorant de +5,4 points par rapport au modèle de base et de +2,8 points par rapport à la baseline la plus forte. Une évaluation approfondie met en évidence l'auto-distillation comme une approche pratique et orientable pour une adaptation efficace des GML sans enseignants externes plus puissants.

Les modèles génératifs profonds ont progressé rapidement dans les domaines du texte et de la vision, motivant le développement de systèmes multimodaux unifiés capables de comprendre, de raisonner sur et de générer des séquences entrelacées de texte et d'images. La plupart des approches existantes combinent la modélisation autorégressive du langage avec des générateurs d'images basés sur la diffusion, héritant ainsi d'une inadéquation structurelle entre la génération causale de texte et le débruitage visuel itératif. Nous observons que les flots normalisants autorégressifs sont des Transformers autorégressifs – partageant le même masque causal, le même mécanisme de cache KV et la même structure de gauche à droite que les LLM – ce qui en fait le paradigme le plus naturel pour une véritable génération multimodale unifiée. Nous présentons STARFlow2, construit sur l'architecture Pretzel qui entrelace verticalement un flux VLM pré-entraîné avec un flux TarFlow via des connexions résiduelles de saut, tous deux opérant sous le même masque causal. Combiné à une conception de flot profond-peu profond et à un espace latent FAE unifié, STARFlow2 permet une génération entrelacée compatible avec le cache, où les sorties textuelles et visuelles entrent directement dans le cache KV sans nécessiter de réencodage. Les expériences démontrent de solides performances sur des benchmarks de génération d'images et de compréhension multimodale, validant les flots autorégressifs comme une base viable pour la modélisation multimodale unifiée.

Les modèles fondés sur la diffusion décomposent l'échantillonnage en nombreuses petites étapes de débruitage gaussien — une hypothèse qui devient caduque lorsque la génération est comprimée en quelques transitions grossières. Les méthodes existantes à peu d'étapes abordent ce problème par distillation, apprentissage par cohérence ou objectifs adversariaux, mais sacrifient le cadre de vraisemblance dans le processus. Nous introduisons les Normalizing Trajectory Models (NTM), qui modélisent chaque étape inverse comme un flux normalisant conditionnel expressif avec un apprentissage exact de la vraisemblance. Sur le plan architectural, NTM combine des blocs inversibles peu profonds à chaque étape avec un prédicteur parallèle profond sur l'ensemble de la trajectoire, formant un réseau de bout en bout pouvant être entraîné de zéro ou initialisé à partir de modèles de correspondance de flux pré-entraînés. Sa vraisemblance exacte de trajectoire permet en outre l'auto-distillation : un débruitage léger entraîné sur le propre score du modèle produit des échantillons de haute qualité en quatre étapes. Sur les bancs d'essai texte-à-image, NTM égale ou dépasse les bases de référence solides en génération d'images en seulement quatre étapes d'échantillonnage, tout en conservant de manière unique la vraisemblance exacte sur la trajectoire générative.

Les méthodes de génération augmentée par récupération (RAG) améliorent les performances des LLM en filtrant efficacement le contexte pertinent pour ceux-ci, réduisant ainsi les hallucinations et le coût d'inférence. Cependant, la plupart des méthodes RAG existantes se concentrent sur la récupération en une seule étape, ce qui est souvent insuffisant pour répondre à des questions complexes nécessitant une recherche en plusieurs étapes. Récemment, des approches de récupération en plusieurs étapes sont apparues, impliquant généralement le fine-tuning de petits LLM pour effectuer une récupération en plusieurs étapes. Ce type de fine-tuning est très gourmand en ressources et ne permet pas l'utilisation de LLM plus grands. Dans ce travail, nous proposons Q-RAG, une nouvelle approche qui fine-tune le modèle Embedder pour la récupération en plusieurs étapes à l'aide de l'apprentissage par renforcement (RL). Q-RAG offre une alternative compétitive et efficace en ressources aux méthodes de récupération en plusieurs étapes existantes pour la réponse à des questions en domaine ouvert et atteint des résultats de pointe sur les benchmarks de contexte long populaires BabiLong et RULER pour des contextes allant jusqu'à 10 millions de tokens. Le code est disponible à l'adresse https://github.com/griver/Q-RAG

Les tokenizers sont un composant crucial des modèles de diffusion latente, car ils définissent l'espace latent dans lequel ces modèles opèrent. Cependant, les tokenizers existants sont principalement conçus pour améliorer la fidélité de reconstruction ou hériter de représentations pré-entraînées, ce qui laisse incertaine la nature d'un espace latent véritablement favorable à la modélisation générative. Dans cet article, nous étudions cette question sous l'angle de l'organisation de la variété latente. En construisant des variantes contrôlées de tokenizers, nous identifions trois propriétés clés d'une variété latente favorable à la diffusion : une structure spatiale cohérente, une continuité locale de la variété et une sémantique globale de la variété. Nous constatons que ces propriétés sont plus corrélées à la qualité de génération en aval qu'à la fidélité de reconstruction. Motivés par cette observation, nous proposons l'autoencodeur aligné sur les priors (Prior-Aligned AutoEncoder, PAE), qui façonne explicitement la variété latente au lieu de laisser émerger indirectement une variété favorable à la diffusion à partir de la reconstruction ou de l'héritage. Plus précisément, le PAE exploite des priors affinés dérivés de modèles de fondation visuelle (VFMs) et une régularisation par perturbation pour faire de la structure spatiale, de la continuité locale et de la sémantique globale des objectifs d'entraînement explicites. Sur ImageNet 256x256, le PAE améliore à la fois l'efficacité d'entraînement et la qualité de génération par rapport aux tokenizers existants, atteignant des performances comparables à RAE avec une convergence jusqu'à 13 fois plus rapide dans les mêmes conditions d'entraînement, et établissant un nouveau gFID record de 1,03. Ces résultats soulignent l'importance de l'organisation de la variété latente pour les modèles de diffusion latente.

La convergence rapide de l'intelligence artificielle (IA) vers des interfaces conversationnelles de type chatbot marque un moment critique pour le secteur. Cet article soutient que le paradigme du chatbot n'est pas un choix d'interface neutre, mais une configuration sociotechnique dominante dont l'adoption généralisée transforme les systèmes sociaux, économiques, juridiques et environnementaux. Nous examinons comment le traitement de l'IA principalement comme assistant conversationnel comporte des inconvénients structurels considérables. Nous montrons que les systèmes fondés sur les chatbots échouent souvent à répondre adéquatement aux besoins des utilisateurs, en particulier dans des contextes complexes ou à forts enjeux, tout en affichant confiance et autorité. Nous analysons ensuite comment la normalisation des interactions médiées par les chatbots modifie les schémas de travail, d'apprentissage et de prise de décision, contribuant à la déqualification, à l'homogénéisation des connaissances et à l'évolution des attentes en matière d'expertise. Enfin, nous examinons les effets sociétaux plus larges, notamment le déplacement de la main-d'œuvre, la concentration du pouvoir économique et l'augmentation des coûts environnementaux due à l'investissement soutenu dans les infrastructures de chatbot à grande échelle. Tout en reconnaissant les avantages légitimes, nous soutenons que la trajectoire actuelle du développement de l'IA reflète des choix de valeurs spécifiques qui privilégient la généricité conversationnelle au détriment de la spécificité des domaines, de la responsabilité et de la durabilité sociale à long terme. Nous concluons en esquissant des directions alternatives pour le développement et la gouvernance de l'IA qui dépassent les chatbots universels, en mettant l'accent sur la conception pluraliste des systèmes, des outils spécifiques aux tâches et des garde-fous institutionnels pour atténuer les préjudices sociaux et économiques.

Bien que les modèmes de texte-à-image aient réalisé des progrès significatifs en termes de fidélité visuelle, la réalisation fidèle d'intentions visuelles complexes reste difficile car de nombreuses exigences doivent être suivies à travers l'ancrage, la génération et la vérification. Nous désignons ces exigences sous le nom d'engagements sémantiques et formalisons leur discontinuité de cycle de vie comme le Fossé Conceptuel, où les engagements peuvent être localement résolus ou vérifiés sans toutefois rester identifiables en tant qu'unités opérationnelles uniques tout au long du cycle de vie de la génération. Pour y remédier, nous proposons SCOPE, un cadre d'orchestration de compétences guidé par des spécifications qui maintient les engagements sémantiques dans une spécification structurée en évolution et invoque conditionnellement des compétences de recherche, de raisonnement et de réparation autour des engagements non résolus ou violés. Afin d'évaluer la réalisation d'intention au niveau des engagements, nous introduisons Gen-Arena, un benchmark annoté par des humains avec des spécifications au niveau des entités et des contraintes, ainsi que le Taux de Réussite d'Intention à Porte d'Entité (EGIP), un critère de réussite strict priorisant les entités. SCOPE surpasse considérablement toutes les lignes de base évaluées sur Gen-Arena, atteignant un EGIP de 0,60, et obtient en outre des résultats solides sur WISE-V (0,907) et MindBench (0,61), démontrant l'efficacité du suivi persistant des engagements pour la génération d'images complexes.

L'apprentissage continu, en particulier l'apprentissage incrémental par classes (CIL), sur la base d'un modèle pré-entraîné (PTM), a suscité un intérêt de recherche considérable ces dernières années. Cependant, la manière d'apprendre efficacement des représentations de caractéristiques à la fois discriminatives et complètes tout en maintenant la stabilité et la plasticité sur de très longues séquences de tâches reste un problème ouvert. Nous proposons CaRE, un apprenant continu évolutif doté d'un mélange efficace d'experts à routage à deux niveaux (BR-MoE). L'idée centrale de BR-MoE est un mécanisme de routage à deux niveaux : une étape de sélection de routeurs qui active dynamiquement les routeurs spécifiques aux tâches pertinents, suivie d'une phase de routage d'experts qui active et agrège dynamiquement les experts, visant à injecter des représentations discriminatives et complètes dans chaque couche intermédiaire du réseau. Par ailleurs, nous introduisons un jeu de données exigeant, OmniBenchmark-1K, pour l'évaluation des performances CIL sur de très longues séquences de tâches comportant des centaines de tâches. Des expériences approfondies montrent que CaRE atteint des performances de premier plan sur une variété de jeux de données et de configurations de tâches, y compris les jeux de données CIL couramment utilisés avec des configurations CIL classiques (par exemple, 5 à 20 tâches). À notre connaissance, CaRE est le premier apprenant continu capable de passer à l'échelle sur de très longues séquences de tâches (allant de 100 à plus de 300 tâches non chevauchantes), tout en surpassant largement toutes les méthodes de base sur ces séquences. Nous espérons que ce travail inspirera davantage de recherches sur l'apprentissage continu sur des séquences de tâches extrêmement longues. Le code et le jeu de données sont mis à disposition publiquement à l'adresse https://github.com/LMMMEng/CaRE.

Les agents LLM ont évolué en systèmes autonomes capables d'exécuter des tâches complexes, la spécification SKILL.md s'imposant comme un standard de facto pour encapsuler les capacités des agents. Cependant, un goulet d'étranglement critique demeure : différents frameworks d'agents présentent des sensibilités très diverses au formatage des prompts, induisant jusqu'à 40 % de variation de performance, alors que presque toutes les compétences existent sous une forme unique et indépendante du format, en Markdown. La réécriture manuelle par plateforme crée une charge de maintenance insoutenable, tandis que des audits antérieurs ont révélé que plus d'un tiers des compétences communautaires contiennent des vulnérabilités de sécurité. Pour y remédier, nous présentons SkCC, un framework de compilation qui introduit les principes classiques de compilation dans le développement de compétences pour agents. Au cœur de celui-ci, SkIR — une représentation intermédiaire fortement typée — dissocie la sémantique des compétences du formatage spécifique aux plateformes, permettant un déploiement portable sur des frameworks hétérogènes. Autour de cette représentation intermédiaire, un Analyseur au moment de la compilation applique des contraintes de sécurité via l'Anti-Skill Injection avant le déploiement. Grâce à un pipeline en quatre phases, SkCC réduit la complexité d'adaptation de O(m × n) à O(m + n). Les expériences menées sur SkillsBench montrent que les compétences compilées surpassent systématiquement leurs équivalents originaux, améliorant les taux de réussite de 21,1 % à 33,3 % sur Claude Code et de 35,1 % à 48,7 % sur Kimi CLI, tout en atteignant une latence de compilation inférieure à 10 ms, un taux de déclenchement proactif de la sécurité de 94,8 % et des économies de jetons de 10 à 46 % en temps d'exécution selon les plateformes.

Comprendre avec précision l'intention sous-jacente au discours, à la conversation et à l'écrit est crucial pour développer des assistants basés sur des modèles de langage de grande taille (LLM) utiles. Cet article présente IntentGrasp, un référentiel complet pour évaluer la capacité de compréhension des intentions des LLM. Issu de 49 corpus de haute qualité sous licence ouverte couvrant 12 domaines variés, IntentGrasp est construit via la curation de sources, la contextualisation des étiquettes d'intention et l'uniformisation du format des tâches. IntentGrasp comprend un vaste ensemble d'entraînement de 262 759 instances et deux ensembles d'évaluation : un ensemble complet (All Set) de 12 909 cas de test et un ensemble Gem Set plus équilibré et exigeant de 470 cas. Des évaluations approfondies sur 20 LLM issus de 7 familles (incluant des modèles de pointe comme GPT-5.4, Gemini-3.1-Pro et Claude-Opus-4.7) révèlent des performances insatisfaisantes, avec des scores inférieurs à 60 % sur All Set et à 25 % sur Gem Set. Fait notable, 17 des 20 modèles testés obtiennent des résultats inférieurs à un niveau de base aléatoire (15,2 %) sur Gem Set, tandis que la performance humaine estimée est d'environ 81,1 %, ce qui laisse une marge d'amélioration considérable. Pour renforcer cette capacité, cet article propose l'ajustement fin intentionnel (IFT), qui affine les modèles sur l'ensemble d'entraînement d'IntentGrasp, générant des gains significatifs de plus de 30 points de F1 sur All Set et de plus de 20 points sur Gem Set. De manière révélatrice, les expériences de validation croisée par domaine (leave-one-domain-out, Lodo) démontrent également la forte généralisabilité inter-domaines de l'IFT, confirmant qu'il s'agit d'une approche prometteuse pour améliorer substantiellement la compréhension des intentions des LLM. Globalement, en évaluant et en renforçant la capacité de compréhension des intentions, cette étude ouvre la voie à des assistants IA plus intentionnels, compétents et sûrs, au bénéfice des humains et du bien social.

Les récents modèles de langage (ML) au niveau des octets atteignent des performances équivalentes à celles des modèles basés sur des tokens sans recourir à des vocabulaires de sous-mots, mais leur utilité est limitée par une génération autorégressive lente, octet par octet. Nous surmontons ce goulot d'étranglement dans le Byte Latent Transformer (BLT) grâce à de nouvelles techniques d'apprentissage et de génération. Premièrement, nous introduisons BLT Diffusion (BLT-D), un nouveau modèle et notre variante BLT la plus rapide, entraînée avec un objectif de diffusion auxiliaire par blocs en complément de la perte standard de prédiction du prochain octet. Cela permet une procédure d'inférence qui génère plusieurs octets en parallèle à chaque étape de décodage, réduisant considérablement le nombre de passages avant nécessaires pour générer une séquence. Deuxièmement, nous proposons deux extensions inspirées du décodage spéculatif, qui échangent une partie de cette rapidité contre une meilleure qualité de génération : BLT Auto-spéculation (BLT-S), où le décodeur local de BLT continue de générer au-delà de ses limites de patch normales pour produire des brouillons d'octets, qui sont ensuite vérifiés par un seul passage avant du modèle complet ; et BLT Diffusion+Vérification (BLT-DV), qui enrichit BLT-D avec une étape de vérification autorégressive après la génération basée sur la diffusion. Toutes ces méthodes peuvent atteindre un coût estimé de bande passante mémoire supérieur de plus de 50 % à celui de BLT sur les tâches de génération. Chaque approche offre ses propres avantages, levant ensemble les principaux obstacles à l'utilisation pratique des ML au niveau des octets.

Les agents basés sur les grands modèles de langage (LLM) ont fondamentalement remodelé l'intelligence artificielle en intégrant des outils externes et des capacités de planification. Si les mécanismes de mémoire sont devenus la pierre angulaire architecturale de ces systèmes, la recherche actuelle reste fragmentée, oscillant entre ingénierie des systèmes d'exploitation et sciences cognitives. Ce clivage théorique empêche une vision unifiée de la synthèse technologique et une perspective évolutive cohérente. Pour combler ce fossé, cette étude propose un cadre évolutif novateur pour les mécanismes de mémoire des agents LLM, formalisant le processus de développement en trois étapes : Stockage (préservation des trajectoires), Réflexion (affinement des trajectoires) et Expérience (abstraction des trajectoires). Nous définissons d'abord formellement ces trois étapes avant d'analyser les trois moteurs principaux de cette évolution : la nécessité d'une cohérence à long terme, les défis dans les environnements dynamiques et l'objectif ultime de l'apprentissage continu. De plus, nous explorons spécifiquement deux mécanismes transformateurs à la frontière du stade Expérience : l'exploration proactive et l'abstraction inter-trajectoires. En synthétisant ces vues disparates, ce travail offre des principes de conception robustes et une feuille de route claire pour le développement des agents LLM de prochaine génération.

L'écosystème des modèles open source contient désormais des centaines de milliers de modèles pré-entraînés, mais choisir le meilleur modèle pour un nouveau jeu de données devient de plus en plus irréalisable : de nouveaux modèles et des jeux de données non benchmarkés apparaissent continuellement, laissant les praticiens sans aucun historique préalable d'un côté comme de l'autre. Les approches existantes ne traitent que des fragments de ce contexte en conditions réelles : l'AutoML et l'estimation de transférabilité sélectionnent des modèles à partir de petits pools prédéfinis ou nécessitent des passages avant coûteux par modèle sur le jeu de données cible, tandis que le routage de modèles présuppose un pool de candidats donné. Nous présentons ModelLens, un cadre unifié pour la recommandation de modèles en conditions réelles. Notre idée clé est que les interactions publiques dans les classements, bien que dispersées et bruitées, dessinent collectivement un atlas implicite des capacités des modèles à travers des contextes d'évaluation hétérogènes, un signal suffisamment riche pour en apprendre directement. En apprenant un espace latent sensible à la performance sur des tuples modèle–jeu de données–métrique, ModelLens classe des modèles inédits sur des jeux de données inédits sans exécuter les candidats sur le jeu de données cible. Sur un nouveau benchmark de 1,62 million d'enregistrements d'évaluation couvrant 47 000 modèles et 9 600 jeux de données, ModelLens dépasse les références qui s'appuient uniquement sur les métadonnées ou qui nécessitent d'exécuter chaque candidat sur le jeu de données cible. Ses pools Top-K recommandés améliorent en outre plusieurs méthodes de routage représentatives jusqu'à 81 % sur divers benchmarks de QA. Des études de cas sur des benchmarks récemment publiés confirment également la généralisation aux tâches textuelles et de langage-vision.

Les référentiels existants pour la recherche agentive multimodale évaluent la recherche multimodale et la navigation visuelle, mais les preuves visuelles sont soit confinées à l'entrée, soit traitées comme un point d'arrivée plutôt que comme une partie d'une trajectoire de recherche entrelacée. Nous présentons InterLV-Search, un référentiel pour la recherche agentive à langage et vision entrelacés (Interleaved Language-Vision Agentic Search), dans lequel des preuves textuelles et visuelles sont utilisées de manière répétée pour conditionner les recherches ultérieures. Il contient 2 061 exemples répartis sur trois niveaux : recherche active de preuves visuelles, recherche multimodale entrelacée hors ligne contrôlée, et recherche multimodale entrelacée sur le web ouvert. En complément des référentiels existants, il inclut également des échantillons multimodaux à branches multiples impliquant une comparaison entre plusieurs entités au cours de la recherche de preuves. Nous construisons les niveaux 1 et 2 à l'aide de pipelines automatisés, et le niveau 3 via un pipeline sur le web ouvert mené par machine et supervisé par des humains. Nous fournissons également InterLV-Agent pour une utilisation standardisée des outils, la journalisation des trajectoires et l'évaluation. Des expériences menées sur des agents multimodaux propriétaires et open source montrent que les systèmes actuels restent loin de résoudre la recherche multimodale entrelacée, le meilleur modèle n'atteignant pas 50 % de précision globale, ce qui souligne les défis liés à la recherche de preuves visuelles, au contrôle de la recherche et à l'intégration de preuves multimodales. Nous publions les données du référentiel et le code d'évaluation à l'adresse https://github.com/hbhalpha/InterLV-Search-Bench.

L'Attention Linéaire (AL) offre un paradigme prometteur pour le passage à l'échelle des grands modèles de langage (LLM) sur de longues séquences, en évitant la complexité quadratique de l'auto-attention. Les modèles AL récents, tels que Mamba2 et GDN, interprètent les récurrences linéaires comme une descente de gradient stochastique en ligne sous forme fermée, mais les mises à jour naïves du SGD souffrent d'une dégradation rapide de l'information et d'une convergence sous-optimale lors de l'optimisation. Bien que les optimiseurs à momentum offrent un remède naturel, ils posent des défis pour atteindre simultanément l'efficacité et l'efficience de l'entraînement. Pour y remédier, nous développons un algorithme parallèle par blocs pour l'AL avec une règle de momentum pas à pas en réorganisant géométriquement les coefficients de mise à jour. De plus, dans une perspective de systèmes dynamiques, nous analysons la récurrence basée sur le momentum comme un système du second ordre qui introduit des valeurs propres complexes conjuguées. Cette analyse guide la conception de contraintes de stabilisation par portes. Le modèle résultant, Momentum DeltaNet (MDN), exploite des noyaux Triton pour atteindre un débit d'entraînement comparable à celui de modèles linéaires compétitifs tels que Mamba2 et KDA. Des expériences approfondies sur des modèles de 400M et 1,3B paramètres démontrent des améliorations de performance constantes par rapport à des références solides, notamment les Transformers, Mamba2 et GDN, sur divers benchmarks d'évaluation aval. Code : https://github.com/HuuYuLong/MomentumDeltaNet.

Les capteurs modernes génèrent des données riches et haute fidélité, mais les applications fonctionnant sur des dispositifs portables ou de télédétection restent contraintes par les budgets de bande passante et d'énergie. Les codecs standardisés tels que JPEG et MPEG réalisent des compromis efficaces entre le débit binaire et la qualité perceptuelle, mais sont conçus pour la perception humaine, limitant leur applicabilité aux tâches de perception machine et aux modalités non traditionnelles comme les réseaux audio spatiaux, les images hyperspectrales et les images médicales 3D. Les schémas de compression à usage général basés sur la quantification scalaire ou la réduction de résolution sont largement applicables, mais ne parviennent pas à exploiter les redondances inhérentes du signal, ce qui entraîne des performances débit-distorsion sous-optimales. Les récents codecs neuronaux génératifs, ou tokenizers, modélisent les dépendances complexes du signal, mais sont souvent surparamétrés, gourmands en données et spécifiques à une modalité, ce qui les rend impraticables pour les environnements à ressources limitées. Nous présentons une architecture de codec neuronal léger, polyvalent et asymétrique (LiVeAction) qui répond à ces limitations grâce à deux idées clés. (1) Pour réduire la complexité de l'encodeur afin de répondre aux contraintes de ressources des environnements d'exécution, nous imposons une structure de type FFT et réduisons la taille et la profondeur globales de la transformée d'analyse basée sur un réseau neuronal. (2) Pour permettre des modalités de signal arbitraires et simplifier l'entraînement, nous remplaçons les pertes adverses et perceptuelles par une pénalité de débit basée sur la variance. Notre conception produit des codecs qui offrent des performances débit-distorsion supérieures par rapport aux tokenizers génératifs de pointe, tout en restant pratiques pour un déploiement sur des capteurs à faible consommation. Nous publions notre code, nos expériences et notre bibliothèque Python à l'adresse https://github.com/UT-SysML/liveaction .

Les systèmes d'apprentissage par renforcement reposent sur des interfaces d'environnement qui spécifient les observations et les fonctions de récompense, mais la construction de ces interfaces pour de nouvelles tâches nécessite souvent un effort manuel considérable. Bien que des travaux récents aient automatisé la conception des récompenses à l'aide de grands modèles de langage (LLM), ces approches supposent des observations fixes et ne traitent pas le défi plus large de la synthèse d'interfaces de tâches complètes. Nous étudions la découverte d'interfaces de tâches d'apprentissage par renforcement à partir de l'état brut du simulateur, où à la fois les correspondances d'observations et les fonctions de récompense doivent être générées. Nous proposons LIMEN (Code disponible à l'adresse https://github.com/Lossfunk/LIMEN), un cadre évolutif guidé par LLM qui produit des interfaces candidates sous forme de programmes exécutables et les affine itérativement à l'aide de retours d'entraînement de politiques. À travers de nouvelles tâches discrètes de type grille et des domaines de contrôle continu couvrant la locomotion et la manipulation, l'évolution conjointe des observations et des récompenses découvre des interfaces efficaces en ne disposant que d'une métrique de succès au niveau des trajectoires, tandis que l'optimisation d'un seul composant échoue sur au moins un domaine. Ces résultats démontrent que la construction automatique d'interfaces d'apprentissage par renforcement à partir d'un état brut peut réduire considérablement l'ingénierie manuelle et que les composants d'observation et de récompense bénéficient souvent d'une conception conjointe, car l'optimisation d'un seul composant échoue de manière catastrophique sur au moins un domaine de notre ensemble d'évaluation.

Comprendre la topologie des régions de décision est essentiel pour expliquer le fonctionnement interne des réseaux de neurones profonds. Des travaux empiriques antérieurs ont fourni des preuves que ces régions sont connexes par arcs. Nous étudions une question topologique plus forte : celle de savoir si les boucles fermées à l'intérieur d'une région de décision peuvent être contractées sans quitter cette région. À cette fin, nous proposons une procédure itérative de remplissage par maillage quadrangulaire qui construit une surface préservant les étiquettes, à résolution finie, délimitée par une boucle donnée et entièrement contenue dans la même région de décision. Nous relions en outre cette construction aux patchs de Coons naturels afin de quantifier son écart par rapport à une interpolation géométrique canonique de la boucle. En évaluant notre méthode sur plusieurs modèles modernes de classification d'images, nous fournissons des preuves empiriques soutenant l'hypothèse selon laquelle les régions de décision dans les réseaux de neurones profonds sont non seulement connexes par arcs, mais aussi simplement connexes.

Les modèles multimodaux unifiés sont envisagés pour combler le fossé entre la compréhension et la génération. Pourtant, pour atteindre des performances compétitives, les modèles de pointe adoptent des composants de compréhension et de génération largement découplés. Cette conception, bien qu'efficace pour des tâches individuelles, affaiblit la connexion nécessaire à un enrichissement mutuel, laissant la synergie potentielle empiriquement incertaine. Nous proposons de restaurer explicitement cette synergie en introduisant UNO (Understanding-Oriented Post-Training), un cadre léger qui traite la compréhension non seulement comme une tâche distincte, mais aussi comme un signal de supervision direct pour orienter les représentations génératives. En intégrant des objectifs qui encodent l'abstraction sémantique (légendage) et les détails structurels (régression visuelle), nous permettons un flux de gradient efficace de la compréhension vers la génération. Des expériences approfondies sur la génération et l'édition d'images montrent que la compréhension peut servir de catalyseur efficace pour la génération.

Le décodage spéculatif accélère l’inférence des LLM en générant un arbre de continuations candidates et en le vérifiant en un seul passage avant de la cible. Les générateurs de brouillon existants se divisent en deux catégories présentant des faiblesses opposées. Les générateurs autorégressifs, comme EAGLE-3, préservent la dépendance le long de chaque chemin de brouillon mais nécessitent un appel au générateur par profondeur d’arbre, ce qui confère à la génération une part non négligeable de la latence par itération. Les générateurs parallèles réduisent le nombre d’appels en prédisant plusieurs positions futures en un seul passage avant, mais chaque position est prédite indépendamment des autres, produisant des chemins que le vérificateur rejette. Dans cet article, nous proposons SpecBlock, un générateur par blocs itératif qui combine dépendance de chemin et génération peu coûteuse. Chaque passage avant du générateur produit K positions dépendantes, ce que nous appelons un bloc. L’arbre de brouillon croît par expansions répétées de blocs. Deux mécanismes assurent explicitement la dépendance de chemin pour garantir la précision des positions ultérieures. Dans chaque bloc, un décalage par couche transfère l’état caché de la position précédente à chaque couche du décodeur. Entre les blocs, chaque nouveau bloc peut démarrer depuis n’importe quelle position du bloc précédent, héritant de son état caché pour prolonger le chemin. Afin d’allouer le budget du vérificateur là où l’acceptation est probable, une tête de classement co-entraînée remplace l’arbre top-k fixe en attribuant une ramification par position lors de la génération. Pour éviter d’entraîner le générateur sur des préfixes qu’il ne produit jamais lors de l’inférence, un masque de préfixe valide annule la perte aux positions ultérieures dès qu’une position antérieure est erronée. Au-delà de la génération statique, un bandit sensible aux coûts en phase de déploiement utilise le retour du vérificateur, qui est gratuit, pour mettre à jour sélectivement le générateur, uniquement lorsque le gain de débit attendu dépasse le coût de la mise à jour. Les expériences montrent que SpecBlock améliore l’accélération moyenne de 8 à 13 % par rapport à EAGLE-3, pour un coût de génération de 44 à 52 %, et l’adaptation sensible aux coûts étend cet avantage à 11–19 %.

La Surveillance Continue du Glucose (CGM) peut détecter des sous-phénotypes métaboliques précoces (résistance à l'insuline, IR ; dysfonction des cellules β), mais le déploiement à l'échelle de la population est confronté à deux problèmes couplés. Premièrement, le même état physiologique apparaît à travers de multiples vues (séries temporelles CGM, OGTT veineux, résumés Glucodensité), de sorte que les représentations mono-vue échouent à se transférer lorsque le déploiement change de modalité ou de cadre. Deuxièmement, les modèles de référence (baselines) se comportent de manière incohérente face à ces changements. Les deux problèmes pointent vers un même remède : des représentations qui s'abstraient de toute vue unique pour capturer une structure temporelle et distributionnelle de plus haut niveau. Nous proposons CGM-JEPA, un cadre de pré-entraînement auto-supervisé qui prédit des représentations latentes masquées plutôt que des valeurs brutes, produisant une abstraction qui se transfère entre les modalités. X-CGM-JEPA ajoute un objectif inter-vue masqué basé sur la Glucodensité pour une information distributionnelle complémentaire. Nous pré-entraînons sur 389 000 lectures CGM non étiquetées de 228 sujets (sim389k) et évaluons sur deux cohortes cliniques (sous-ensembles de diffusion publique de N=27 et N=17) dans trois régimes (généralisation de cohorte, transfert veineux-à-CGM, CGM à domicile) sous validation croisée 2-fold répétée 20 fois. X-CGM-JEPA se classe premier ou deuxième sur l'AUROC pour les deux critères dans les trois régimes, tandis qu'aucune baseline n'y parvient, dépassant la baseline la plus forte de jusqu'à +6,5 points de pourcentage en généralisation de cohorte et +3,6 pp en transfert veineux-à-CGM (Wilcoxon apparié, p<0,001). Sous changement de modalité, il égalise l'AUROC moyen tout en redistribuant vers les sous-groupes plus faibles (l'écart d'AUROC selon l'origine ethnique se réduit de 25 à 54 %) ; sur les données veineuses clairsemées du domaine, la vue distributionnelle améliore le clustering supervisé (ARI +39 %, NMI +40 %). Code et poids : https://github.com/cruiseresearchgroup/CGM-JEPA

Les agents basés sur des modèles de langage de grande taille (LLM) exécutent désormais des tâches longues utilisant des outils, où les vérifications des résultats finaux peuvent arriver trop tard pour permettre une intervention. L'alerte en ligne nécessite des moniteurs de préfixe légers sur des traces hétérogènes, mais les schémas d'événements écrits manuellement sont fragiles et l'évaluation par LLM au moment du déploiement est coûteuse. Nous présentons PrefixGuard, un cadre trace-vers-moniteur avec une étape d'induction StepView hors ligne suivie d'un apprentissage supervisé du moniteur. StepView induit des adaptateurs d'étapes typés déterministes à partir d'échantillons de traces brutes, et le moniteur apprend une abstraction d'événements et un scoreur de risque de préfixe à partir des résultats terminaux. Sur WebArena, τ^2-Bench, SkillsBench et TerminalBench, les moniteurs PrefixGuard les plus performants atteignent des AUPRC de 0,900/0,710/0,533/0,557. En utilisant le backend le plus performant au sein de chaque représentation, ils améliorent les contrôles en texte brut de +0,137 AUPRC en moyenne. Les juges LLM restent sensiblement plus faibles sous le même protocole d'alerte par préfixe. Nous dérivons également un plafond d'observabilité sur l'aire sous la courbe précision-rappel basée sur les scores (AUPRC), qui sépare l'erreur du moniteur des échecs dépourvus de preuves dans le préfixe observé. Pour l'audit à états finis, l'extraction post-hoc d'automates finis déterministes (DFA) reste compacte sur WebArena et τ^2-Bench (29 et 20 états) mais s'étend à 151 et 187 états sur SkillsBench et TerminalBench. Enfin, les diagnostics de première alerte montrent qu'un bon classement n'implique pas une utilité de déploiement : WebArena se classe bien mais ne parvient pas à supporter des alertes à faible taux de fausses alarmes, tandis que τ^2-Bench et TerminalBench conservent des alertes précoces plus actionnables. Ensemble, ces résultats positionnent PrefixGuard comme une recette pratique de synthèse de moniteurs avec des diagnostics explicites pour déterminer quand les alertes par préfixe se traduisent en interventions actionnables.

Une intuition naturelle concernant l'économie des agents d'IA est que, parce que les agents peuvent être répliqués à un coût marginal très faible, le travail des agents pourrait être offert de manière très élastique, exerçant une pression à la baisse sur les salaires du travail cognitif lorsqu'il se substitue étroitement au travail humain. Nous soutenons que ce cadre est erroné dans son mécanisme mais partiellement correct dans sa conclusion, et que cette correction importe tant pour la théorie que pour la politique économique. Les agents ne sont pas du travail ; ils sont une technologie de production qui convertit le capital de calcul K_c en unités effectives de travail cognitif L_A. Une fois cela reconnu, la marge d'offre élastique qui ancre le salaire d'équilibre se déplace du marché du travail vers le marché du capital de calcul. En nous appuyant sur le cadre classique de tarification des facteurs (Mankiw, 2020), nous dérivons une borne de salaire ancrée par le calcul (Compute-Anchored Wage, CAW) stipulant que, pour les tâches où le travail cognitif produit par les humains et par les agents sont substituables, le salaire concurrentiel humain est borné supérieurement par λ·k·r_c, où r_c est le taux de location du capital de calcul, k est l'intensité de calcul d'une unité effective de travail cognitif produit par un agent, et λ est la productivité relative humain/agent. Nous généralisons ce résultat à l'aide d'une agrégation à élasticité de substitution constante (CES), séparons les tâches substituables des tâches complémentaires, et discutons des conséquences sur les parts factorielles. La conclusion est concise : le fixateur de prix pour le travail cognitif n'est plus le marché du travail.

Programmeurs de Poids Rapides (FWPs) encodent les dépendances temporelles via des paramètres mis à jour dynamiquement plutôt que des états cachés récurrents. Les FWPs Quantiques (QFWPs) étendent cette idée avec des circuits quantiques variationnels (VQCs), mais les implémentations existantes reposent sur des architectures multi-qubits difficiles à mettre à l'échelle sur des dispositifs quantiques de taille intermédiaire bruyants (NISQ) et coûteuses à simuler classiquement. Nous proposons gated QKAN-FWP, un cadre de poids rapides intégrant FWP avec un Réseau Kolmogorov-Arnold Quantique (QKAN) utilisant des circuits de re-téléchargement de données à qubit unique comme activation non linéaire apprenable, appelée DatA Re-Uploading ActivatioN (DARUAN). Nous introduisons également une règle de mise à jour des poids rapides à porte scalaire qui stabilise l'évolution des paramètres, soutenue par une analyse théorique de son noyau de mémoire adaptatif, de sa bornitude géométrique et de ses chemins de gradient parallélisables. Nous évaluons le cadre sur des benchmarks de séries temporelles, l'apprentissage par renforcement MiniGrid, et mettons en avant la prévision des cycles solaires réels comme résultat pratique principal. Dans un contexte d'horizon long avec une fenêtre d'entrée de 528 mois et un horizon de prévision de 132 mois, notre modèle à 12,5k paramètres atteint une erreur quadratique moyenne (MSE) normalisée, une erreur d'amplitude maximale et une erreur temporelle maximale inférieures à une suite de modèles récurrents classiques avec jusqu'à 13x plus de paramètres, incluant des réseaux Long Short-Term Memory (LSTM) (25,9k-89,1k paramètres), WaveNet-LSTM (167k), un réseau récurrent standard (11,5k), et un Réseau à État Modifié (132k). Pour valider la compatibilité NISQ, nous déployons également le programmeur rapide entraîné sur des processeurs quantiques IonQ et IBM Quantum, retrouvant une précision de prévision à moins de 0,1% de MSE relatif du simulateur sans bruit pour 1024 tirages. Ces résultats positionnent gated QKAN-FWP comme une approche évolutive, efficace en paramètres et compatible NISQ pour la modélisation de séries inspirée par le quantique.

L'apprentissage par renforcement est devenu la référence pour améliorer le raisonnement dans les grands modèles de langage, mais les preuves suggèrent de plus en plus que l'AR n'enseigne pas de nouvelles stratégies ; il redistribue la masse de probabilité sur les solutions que le modèle de base contient déjà. Dans ce travail, nous nous demandons : si l'AR se contente d'orienter le modèle vers des chemins qu'il connaît déjà, la boucle d'optimisation de l'AR est-elle réellement nécessaire ? Grâce à une analyse au niveau des tokens sur plusieurs familles de modèles et algorithmes d'AR, nous constatons que l'empreinte bénéfique de l'AR est une correction clairsemée et prévisible, concentrée sur les points de décision à haute entropie où le modèle hésite entre plusieurs branches. Seulement 1 à 3 % des positions de tokens sont affectées, le token promu se trouve toujours parmi les cinq meilleures alternatives du modèle de base, et des corrections ciblées sur ces quelques positions permettent de récupérer causalement une large part du gain de précision de l'AR, tandis que des corrections aléatoires échouent. L'entropie propre du modèle de base identifie ces positions sans aucun modèle entraîné par AR, et la correction entière est de faible dimension, représentable dans une infime fraction des paramètres du modèle. Ces résultats refondent l'amélioration du raisonnement comme une sélection clairsemée de politiques, et non comme une acquisition de capacités. Nous traduisons cette intuition en ReasonMaxxer, une méthode minimale sans AR qui applique une perte contrastive uniquement aux points de décision filtrés par entropie, en utilisant quelques centaines de déploiements du modèle de base et sans génération en ligne. Sur trois familles de modèles, six échelles et six benchmarks de raisonnement mathématique, ReasonMaxxer égalise ou dépasse les performances complètes de l'AR tout en ne nécessitant que quelques dizaines de problèmes et quelques minutes d'entraînement sur GPU unique, soit une réduction du coût d'entraînement d'environ trois ordres de grandeur.

Les grands modèles de langage (LLMs) sont devenus un pilier central de l'intelligence artificielle moderne, mais leur cycle de vie reste contraint par une séparation rigide entre l'apprentissage et le déploiement, après quoi l'apprentissage cesse effectivement. Cette limitation contraste avec l'intelligence naturelle, qui s'adapte en permanence par l'interaction avec son environnement. Dans cet article, nous formalisons l'apprentissage en phase de déploiement (DTL) comme la troisième étape du cycle de vie des LLM, permettant aux agents LLM de s'améliorer grâce à l'expérience acquise lors du déploiement, sans modifier les paramètres du modèle. Nous présentons CASCADE (CASe-based Continual Adaptation during DEployment), un cadre général et fondé qui dote les agents LLM d'une mémoire épisodique explicite et évolutive. CASCADE formule la réutilisation de l'expérience comme un problème de bandit contextuel, permettant des compromis d'exploration-exploitation fondés et établissant des garanties de non-regret pour des interactions à long terme. Cette conception permet aux agents d'accumuler, de sélectionner et d'affiner des cas pertinents pour la tâche, transformant l'expérience passée en connaissances exploitables. Sur 16 tâches diverses couvrant le diagnostic médical, l'analyse juridique, la génération de code, la recherche web, l'utilisation d'outils et l'interaction incarnée, CASCADE améliore le taux de succès macro-moyenné de 20,9 % par rapport au prompting zéro-shot, tout en surpassant systématiquement les lignes de base basées sur le gradient et sur la mémoire. En reformulant le déploiement comme un processus d'apprentissage adaptatif, ce travail établit une base pour des systèmes d'IA en amélioration continue.

La génération de légendes d’images est l’une des tâches fondamentales de la vision par ordinateur. En raison de sa nature ouverte, elle a suscité un intérêt considérable à l’ère des modèles de langage multimodaux à grande échelle (MLLMs). Dans la quête de légendes toujours plus détaillées et précises, les travaux récents se tournent de plus en plus vers l’apprentissage par renforcement (RL). Cependant, les méthodes et métriques d’évaluation existantes pour la légende par RL privilégient souvent une notion étroite de la qualité des légendes, induisant des compromis entre les dimensions fondamentales de la légende. Par exemple, les objectifs axés sur l’utilité peuvent encourager des légendes bruitées, hallucinées ou trop longues qui améliorent la réponse aux questions en aval tout en nuisant à la fluidité, tandis que les objectifs de type arène peuvent favoriser des descriptions fluides mais génériques, d’une utilité limitée. Pour y remédier, nous proposons un cadre RL plus équilibré qui optimise conjointement la correction sensible à l’utilité, la couverture des références et la qualité linguistique. Afin d’optimiser efficacement la formulation de récompenses multi-objectifs continues qui en résulte, nous appliquons une normalisation découplée des récompenses de style GDPO aux récompenses continues de légende, et montrons qu’elle améliore les performances par rapport à GRPO classique. De plus, nous introduisons un masquage de récompenses conditionné par la longueur, offrant une pénalité de longueur plus adaptée à la légende. Sur les modèles de base LLaVA-1.5-7B et Qwen2.5-VL 3B et 7B, notre méthode améliore systématiquement la qualité des légendes, avec des gains maximaux de +13,6 DCScore, +9,0 CaptionQA et +29,0 CapArena selon les modèles.

Les modèles du monde prédisent les transitions futures à partir d'observations et d'actions. Les travaux existants se concentrent principalement sur la génération d'images uniquement. Les modèles du monde basés sur des caractéristiques visuelles, en revanche, prédisent les caractéristiques visuelles futures au lieu des pixels vidéo bruts, offrant ainsi une alternative prometteuse, plus efficace et moins sujette aux hallucinations. Cependant, les approches actuelles fondées sur les caractéristiques reposent sur une régression directe, ce qui conduit à des prédictions floues ou effondrées dans des interactions complexes, tandis que la modélisation générative dans des espaces de caractéristiques de haute dimension reste difficile. Dans ce travail, nous découvrons qu'un nouveau type de représentation d'action latente, que nous appelons *Action Latente Résiduelle* (RLA), peut être facilement appris à partir des résidus de DINO. Nous montrons également que RLA est prédictive, généralisable et encode la progression temporelle. En nous appuyant sur RLA, nous proposons le *Modèle du Monde RLA* (RLA-WM), qui prédit les valeurs RLA via un *flow matching*. RLA-WM surpasse à la fois les modèles du monde basés sur les caractéristiques et ceux utilisant la diffusion vidéo, sur des ensembles de données simulées et réelles, tout en étant des ordres de grandeur plus rapide que la diffusion vidéo. De plus, nous développons deux techniques d'apprentissage robotique qui utilisent RLA-WM pour améliorer l'apprentissage des politiques. La première est un modèle d'action mondiale minimaliste avec RLA qui apprend à partir de vidéos de démonstration sans actions. La seconde est le premier cadre d'apprentissage par renforcement visuel entièrement entraîné à l'intérieur d'un modèle du monde appris uniquement à partir de vidéos hors ligne, utilisant une récompense alignée sur la vidéo et sans interactions en ligne ni récompenses faites à la main. Page du projet : https://mlzxy.github.io/rla-wm

La généralisation de domaine (DG) vise à apprendre des représentations qui restent robustes face aux décalages hors distribution (OOD) et généralisent efficacement à des domaines cibles non vus. Bien que les récentes stratégies d'apprentissage invariant et les avancées architecturales aient atteint de bonnes performances, la découverte explicite d'un sous-espace structuré invariant entre domaines via des statistiques de second ordre reste peu explorée. Dans ce travail, nous proposons CPCANet, un nouveau cadre fondé sur l'Analyse en Composantes Principales Communes (CPCA), qui déroule l'algorithme itératif de Flury-Gautschi (FG) en couches neuronales entièrement différentiables. Cette approche intègre les propriétés statistiques de la CPCA dans un cadre entraînable de bout en bout, imposant la découverte d'un sous-espace partagé à travers divers domaines tout en préservant l'interprétabilité. Des expériences sur quatre benchmarks standards de DG montrent que CPCANet atteint des performances de pointe (SOTA) en transfert zero-shot. De plus, CPCANet est indépendant de l'architecture et ne nécessite aucun réglage spécifique au jeu de données, offrant une approche simple et efficace pour apprendre des représentations robustes sous décalage de distribution. Le code est disponible à l'adresse https://github.com/wish44165/CPCANet.

Les modèles vision-langage (VLM) ont progressé rapidement et sont de plus en plus déployés dans des applications réelles, en particulier avec l'essor des systèmes basés sur des agents. Cependant, leur sécurité n'a reçu qu'une attention relativement limitée. Même les derniers VLM propriétaires et open-weight restent très vulnérables aux attaques adversariales, exposant les applications en aval à des risques significatifs. Dans ce travail, nous proposons un nouveau cadre de détection d'attaques adversariales, léger et basé sur des autoencodeurs parcimonieux (SAE), nommé SAEgis. En insérant un module SAE dans un VLM pré-entraîné et en l'entraînant avec des objectifs de reconstruction standards, nous observons que les caractéristiques latentes parcimonieuses apprises capturent naturellement les signaux liés aux attaques. Ces caractéristiques permettent une classification fiable de la présence d'une perturbation adverse dans une image d'entrée, même pour des échantillons jamais vus auparavant. Des expériences approfondies montrent que SAEgis atteint de solides performances dans des contextes intra-domaine, inter-domaines et inter-attaques, avec des améliorations particulièrement importantes en matière de généralisation inter-domaines par rapport aux références existantes. De plus, la combinaison de signaux provenant de plusieurs couches améliore encore la robustesse et la stabilité. À notre connaissance, il s'agit du premier travail à explorer le SAE comme mécanisme plug-and-play pour la détection d'attaques adversariales dans les VLM. Notre méthode ne nécessite aucun entraînement adverse supplémentaire, introduit une surcharge minimale et offre une approche pratique pour améliorer la sécurité des systèmes VLM réels.

La distillation sur politique (OPD) constitue un paradigme puissant pour l'alignement des modèles, mais sa dépendance aux logits de l'enseignant limite son application aux scénarios en boîte blanche. Nous soutenons que des rubriques sémantiques structurées peuvent servir d'alternative évolutive aux logits de l'enseignant, permettant une OPD exploitant uniquement les réponses générées par l'enseignant. Pour le prouver, nous introduisons ROPD, un cadre simple mais fondamental pour l'OPD basée sur des rubriques. Plus précisément, ROPD induit des rubriques spécifiques aux prompts à partir des contrastes enseignant-étudiant, puis utilise ces rubriques pour noter les sorties de l'étudiant en vue d'une optimisation sur politique. Empiriquement, ROPD surpasse les méthodes avancées d'OPD basées sur les logits dans la plupart des scénarios, avec un gain d'efficacité en termes d'échantillons allant jusqu'à un facteur 10. Ces résultats positionnent l'OPD basée sur des rubriques comme une alternative flexible et compatible avec les boîtes noires à l'OPD dominante basée sur les logits, offrant une référence simple mais solide pour une distillation évolutive à travers les LLM propriétaires et open source. Le code est disponible à l'adresse https://github.com/Peregrine123/ROPD_official.

Les systèmes modernes de Text-to-SQL génèrent plusieurs requêtes SQL candidates et les classent pour déterminer une prédiction finale. Cependant, les méthodes existantes présentent deux limites. Premièrement, elles attribuent souvent des scores incohérents à des requêtes SQL fonctionnellement équivalentes, malgré des résultats d'exécution identiques. Deuxièmement, le classement ne peut pas récupérer une prédiction correcte lorsque celle-ci est absente de l'ensemble des candidats. Nous proposons R³-SQL, un cadre Text-to-SQL qui résout ces deux problèmes grâce à une récompense unifiée pour le classement et le rééchantillonnage. R³-SQL regroupe d'abord les candidats par résultat d'exécution et classe ces groupes pour assurer la cohérence. Pour évaluer chaque groupe, il combine une préférence par paires entre groupes avec une utilité ponctuelle issue du rang et de la taille du meilleur groupe, capturant ainsi la préférence relative, la cohérence et la qualité des candidats. Pour améliorer le rappel des candidats, R³-SQL introduit un rééchantillonnage agentique, qui juge l'ensemble des candidats générés et effectue un rééchantillonnage sélectif lorsque la requête SQL correcte est probablement absente. R³-SQL atteint une précision d'exécution de 75,03 % sur BIRD-dev, établissant un nouvel état de l'art parmi les méthodes utilisant des modèles dont la taille est divulguée, avec des gains constants sur cinq benchmarks.

Les grands modèles de langage sont devenus des moteurs de la recherche évolutionnaire, mais la plupart des systèmes reposent sur une politique fixe, induite par un prompt, pour échantillonner les prochains candidats. Cela limite l'adaptation dans les tâches pratiques d'ingénierie et de recherche, où les évaluations sont coûteuses et où le progrès dépend de l'apprentissage de la dynamique de recherche propre à chaque tâche. Nous présentons PACEvolve++, un cadre d'apprentissage par renforcement avec modèle-conseiller pour l'adaptation de politique en phase de test dans les agents de recherche évolutionnaire. PACEvolve++ dissocie les décisions stratégiques de recherche de leur mise en œuvre : un conseiller entraînable génère, évalue et sélectionne des hypothèses, tandis qu'un modèle de pointe plus puissant traduit les hypothèses sélectionnées en candidats exécutables. Pour entraîner le conseiller sous une rétroaction non stationnaire, nous proposons une approche adaptative en phase qui ajuste sa stratégie d'optimisation en fonction des différentes phases du processus évolutionnaire. En début d'évolution, elle utilise un retour relatif au groupe pour apprendre des préférences de recherche larges ; plus tard, lorsque les écarts de récompense se resserrent, elle privilégie la contribution de la meilleure frontière parmi k pour soutenir un raffinement stable. Dans les domaines de l'équilibrage de charge expert-parallèle, de la recommandation séquentielle et de l'extrapolation de l'aptitude des protéines, PACEvolve++ surpasse le cadre de recherche évolutionnaire de pointe avec modèles de frontière, obtenant une convergence plus rapide et stabilisant l'entraînement en phase de test pendant la recherche évolutionnaire.

L'inférence à long contexte dans les modèles de langage à décodeur seul est coûteuse car de longues instructions sont traitées lors du Préremplissage, mises en cache à chaque couche et sollicitées de façon répétée pendant le Décodage autorégressif. Nous introduisons Shallow Prefill, dEEp Decode (SPEED), une politique de visibilité KV asymétrique selon la phase qui matérialise les états KV des jetons d'instruction non ancrés uniquement dans les couches inférieures, tout en maintenant les jetons de la phase de Décodage en profondeur intégrale. Contrairement aux approches antérieures qui rendent les états KV des instructions dans les couches supérieures moins coûteux à stocker ou à construire, SPEED retire totalement les jetons de préremplissage de l'ensemble de visibilité du Décodage dans les couches supérieures. Avec un ancrage BoS minimal, cette simple modification préserve une qualité comparable sur des références larges tout en réduisant le coût du long contexte. Dans une étude contrôlée sur Llama-3.1-8B ajusté par instructions, SPEED utilisant seulement 75 % des couches pour les jetons de préremplissage atteint un score moyen de 51,2 sur les références de type OLMES, contre 51,4 pour la ligne de base en profondeur intégrale, tout en améliorant le TTFT de 33 %, le TPOT de 22 % et en réduisant la mémoire KV active de 25,0 % pour un contexte de 128K. Les diagnostics par couche suggèrent que cette coupure préserve les régions principales de sélection d'instruction et de stabilisation de représentation du modèle en profondeur intégrale. Ces résultats montrent que les jetons d'instruction en long contexte n'ont pas besoin de persister en tant qu'objets de cache KV en profondeur intégrale lorsque les jetons de la phase de Décodage restent en profondeur intégrale.

L'édition d'images basée sur des exemples applique une transformation définie par une paire d'images source-cible à une nouvelle image de requête. Les méthodes existantes reposent sur un paradigme de supervision par paires de paires, nécessitant deux paires d'images partageant les mêmes sémantiques d'édition pour apprendre la transformation cible. Cette contrainte rend la collecte de données d'apprentissage difficile à grande échelle et limite la généralisation à divers types d'édition. Nous proposons Delta-Adapter, une méthode qui apprend des sémantiques d'édition transférables sous une supervision par paire unique, sans nécessiter de guidance textuelle. Plutôt que d'exposer directement la paire d'exemples au modèle, nous exploitons un encodeur visuel pré-entraîné pour extraire un delta sémantique qui encode la transformation visuelle entre les deux images. Ce delta sémantique est injecté dans un modèle d'édition d'images pré-entraîné via un adaptateur basé sur Perceiver. Étant donné que l'image cible n'est jamais directement visible par le modèle, elle peut servir de cible de prédiction, permettant une supervision par paire unique sans nécessiter de paires d'exemples supplémentaires. Cette formulation nous permet d'exploiter les ensembles de données d'édition à grande échelle existants pour l'apprentissage. Pour favoriser un transfert de transformation plus fidèle, nous introduisons une perte de cohérence du delta sémantique qui aligne le changement sémantique de la sortie générée avec le delta sémantique de référence extrait de la paire d'exemples. Des expériences approfondies montrent que Delta-Adapter améliore systématiquement à la fois la précision d'édition et la cohérence du contenu par rapport à quatre bases solides sur des tâches d'édition connues, tout en généralisant plus efficacement à des tâches d'édition inédites. Le code sera disponible à l'adresse https://delta-adapter.github.io.

L'appariement de flux discret génère du texte en transformant itérativement des jetons de bruit en langage cohérent, mais peut nécessiter des centaines de passes avant. La distillation utilise la trajectoire multi-étapes pour entraîner un élève à reproduire le processus en quelques étapes. Lorsque l'élève est sous-performant, l'explication habituelle est une capacité insuffisante. Nous soutenons le contraire : la trajectoire est le goulot d'étranglement, pas l'élève. Chaque trajectoire d'entraînement est construite via une chaîne de sauts stochastiques aveugles sans évaluation de la qualité de la séquence ; une seule mauvaise décision à un point intermédiaire précoce se propage à travers les étapes suivantes, mais l'élève doit imiter le résultat. L'appariement de flux discret à trajectoire façonnée (TS-DFM) remplace ces sauts aveugles par une navigation guidée : un compas énergétique léger évalue les continuations candidates à chaque point intermédiaire, sélectionnant la plus cohérente. Tout façonnement est limité à l'entraînement ; le coût d'inférence reste inchangé. Sur un modèle de langage de 170 millions de paramètres, l'élève façonné en 8 étapes atteint une perplexité 32 % inférieure à celle de l'enseignant en 1 024 étapes, tout en étant 128 fois plus rapide, avec des gains constants quelle que soit la distribution source et les trois évaluateurs de taille croissante. TS-DFM obtient la meilleure perplexité parmi toutes les références de génération discrète que nous comparons, y compris les méthodes entraînées sur 6 fois plus de données ou utilisant des modèles 5 fois plus grands.