Articles du Jour

Malgré les succès de l'apprentissage par renforcement pour les grands modèles de langage, un mode d'échec fréquent est la réduction de la diversité des échantillons, où la politique génère de manière répétée des comportements erronés similaires. La régularisation par entropie classique encourage l'aléatoire sous la politique actuelle, mais ne décourage pas explicitement les schémas d'échec récurrents entre les différentes épisodes. Nous proposons MEDS, un cadre de **M**ise en forme **D**ynamique des récompenses **E**nrichi par la **M**émoire, qui intègre des signaux comportementaux historiques dans la conception de la récompense. En stockant et en exploitant les représentations intermédiaires du modèle, nous capturons des caractéristiques des épisodes passés et utilisons un clustering basé sur la densité pour identifier les schémas d'erreur récurrents. Les épisodes attribués aux clusters d'erreur les plus fréquents sont pénalisés plus lourdement, encourageant une exploration plus large tout en réduisant les erreurs répétées. Sur cinq jeux de données et trois modèles de base, MEDS améliore constamment les performances moyennes par rapport aux lignes de base existantes, obtenant des gains allant jusqu'à 4,13 points pass@1 et 4,37 points pass@128. Des analyses complémentaires utilisant à la fois des annotations basées sur des LLM et des métriques quantitatives de diversité montrent que MEDS augmente la diversité comportementale lors de l'échantillonnage.

Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour la génération de code, mais l'évaluation de la génération de code quantique se limite encore principalement à des cadres uniques, ce qui rend difficile la distinction entre le raisonnement quantique et la familiarité avec un cadre spécifique. Nous présentons QuanBench+, un benchmark unifié couvrant Qiskit, PennyLane et Cirq, avec 42 tâches alignées englobant les algorithmes quantiques, la décomposition de portes et la préparation d'états. Nous évaluons les modèles avec des tests fonctionnels exécutables, rapportons les métriques Pass@1 et Pass@5, et utilisons un critère d'acceptation basé sur la divergence de Kullback-Leibler pour les sorties probabilistes. Nous étudions également le Pass@1 après une correction par feedback, où un modèle peut réviser son code suite à une erreur d'exécution ou une réponse incorrecte. Tous cadres confondus, les scores uniques les plus élevés atteignent 59,5 % avec Qiskit, 54,8 % avec Cirq et 42,9 % avec PennyLane ; avec la correction par feedback, les meilleurs scores s'élèvent respectivement à 83,3 %, 76,2 % et 66,7 %. Ces résultats montrent des progrès nets, mais aussi que la génération fiable de code quantique multi-cadres n'est pas résolue et dépend encore fortement de connaissances spécifiques à chaque cadre.

En tant qu'architecture fondamentale de l'apprentissage automatique moderne, les Transformers ont propulsé des progrès remarquables dans divers domaines de l'IA. Malgré leur impact transformationnel, un défi persistant au sein de diverses architectures Transformer est le phénomène de « Point d'Attraction » de l'Attention (Attention Sink - AS), où une quantité disproportionnée d'attention se concentre sur un petit sous-ensemble de tokens spécifiques mais non informatifs. L'AS complique l'interprétabilité, affecte significativement la dynamique de l'entraînement et de l'inférence, et exacerbe des problèmes tels que les hallucinations. Ces dernières années, des recherches substantielles ont été consacrées à la compréhension et à l'exploitation de l'AS. Cependant, il manque encore une étude complète qui consolide systématiquement les recherches liées à l'AS et offre des orientations pour les progrès futurs. Pour combler cette lacune, nous présentons la première étude sur l'AS, structurée autour de trois dimensions clés qui définissent le paysage de recherche actuel : l'Utilisation Fondamentale, l'Interprétation Mécanistique et l'Atténuation Stratégique. Notre travail apporte une contribution essentielle en clarifiant les concepts clés et en guidant les chercheurs à travers l'évolution et les tendances du domaine. Nous envisageons cette étude comme une ressource définitive, permettant aux chercheurs et aux praticiens de gérer efficacement l'AS dans le paradigme actuel des Transformers, tout en inspirant des avancées innovantes pour la prochaine génération de Transformers. La liste des articles de ce travail est disponible à l'adresse https://github.com/ZunhaiSu/Awesome-Attention-Sink.

Dans ce travail, nous étudions la génération de vidéos d'interaction humain-objet (HOIVG), qui vise à synthétiser des vidéos d'interaction de haute qualité conditionnées par du texte, des images de référence, de l'audio et des poses. Cette tâche revêt une valeur pratique significative pour l'automatisation de la création de contenu dans des applications réelles, telles que les démonstrations de commerce électronique, la production de vidéos courtes et le divertissement interactif. Cependant, les approches existantes ne parviennent pas à prendre en compte toutes ces conditions requises. Nous présentons OmniShow, un cadre de bout en bout conçu pour cette tâche pratique mais difficile, capable d'harmoniser des conditions multimodales et d'offrir des performances de qualité industrielle. Pour surmonter le compromis entre la contrôlabilité et la qualité, nous introduisons un Conditionnement Unifié par Canaux pour une injection efficace des images et des poses, et une Attention Locale à Porte pour garantir une synchronisation audio-visuelle précise. Pour répondre efficacement à la pénurie de données, nous développons une stratégie d'Entraînement Dissocié puis Conjoint qui exploite un processus d'entraînement multi-étapes avec fusion de modèles pour tirer parti de manière efficiente d'ensembles de données hétérogènes de sous-tâches. De plus, pour combler le déficit d'évaluation dans ce domaine, nous établissons HOIVG-Bench, un benchmark dédié et complet pour la HOIVG. Des expériences approfondies démontrent qu'OmniShow obtient des performances globales de pointe dans divers cadres de conditionnement multimodal, établissant une norme solide pour la tâche émergente de HOIVG.

Les progrès récents des transformeurs autorégressifs ont démontré un potentiel remarquable pour générer des maillages de qualité artistique. Cependant, les stratégies d'ordonnancement des tokens employées par les méthodes existantes échouent généralement à répondre aux standards des artistes professionnels : le tri basé sur les coordonnées produit des séquences inefficacement longues, tandis que les heuristiques par patchs perturbent le flux continu des arêtes et la régularité structurelle essentiels à une modélisation de haute qualité. Pour résoudre ces limitations, nous proposons Strips as Tokens (SATO), un nouveau cadre doté d'une stratégie d'ordonnancement inspirée des bandes de triangles. En construisant la séquence comme une chaîne connectée de faces qui encode explicitement les limites UV, notre méthode préserve naturellement le flux organisé des arêtes et la disposition sémantique caractéristiques des maillages créés par les artistes. Un avantage clé de cette formulation est sa représentation unifiée, permettant à la même séquence de tokens d'être décodée en un maillage triangulaire ou quadrilatéral. Cette flexibilité facilite l'apprentissage conjoint sur les deux types de données : les données triangulaires à grande échelle fournissent des prérequis structurels fondamentaux, tandis que les données quad de haute qualité améliorent la régularité géométrique des sorties. Des expériences approfondies démontrent que SATO surpasse constamment les méthodes antérieures en termes de qualité géométrique, de cohérence structurelle et de segmentation UV.

Les modèles multimodaux unifiés intégrant la compréhension et la génération visuelles font face à un défi fondamental : la génération visuelle engendre des coûts computationnels substantiellement plus élevés que la compréhension, particulièrement pour la vidéo. Ce déséquilibre nous motive à inverser le paradigme conventionnel : plutôt que d'étendre les MLLM axés sur la compréhension pour supporter la génération, nous proposons Uni-ViGU, un cadre unifiant la génération et la compréhension vidéo en étendant un générateur vidéo comme fondation. Nous introduisons une méthode de flux unifié qui effectue un appariement de flux continu pour la vidéo et un appariement de flux discret pour le texte au sein d'un processus unique, permettant une génération multimodale cohérente. Nous proposons en outre un cadre basé sur MoE piloté par la modalité, qui augmente les blocs Transformer avec des couches légères pour la génération de texte tout en préservant les connaissances génératives préalables. Pour réutiliser les connaissances de génération à des fins de compréhension, nous concevons un mécanisme d'entraînement bidirectionnel en deux étapes : le Rappel de Connaissance reconstruit les invites d'entrée pour exploiter les correspondances texte-vidéo apprises, tandis que le Raffinement des Capacités effectue un apprentissage fin sur des descriptions détaillées pour établir des représentations partagées discriminatives. Les expériences démontrent qu'Uni-ViGU atteint des performances compétitives à la fois en génération et en compréhension vidéo, validant les architectures centrées sur la génération comme une voie évolutive vers une intelligence multimodale unifiée. Page du projet et code : https://fr0zencrane.github.io/uni-vigu-page/.

Les progrès récents des modèles multimodaux ont stimulé des avancées rapides dans la compréhension, la génération et l'édition audio. Cependant, ces capacités sont généralement traitées par des modèles spécialisés, laissant le développement d'un cadre véritablement unifié capable d'intégrer de manière transparente ces trois tâches insuffisamment exploré. Bien que certains travaux pionniers aient exploré l'unification de la compréhension et de la génération audio, ils restent souvent confinés à des domaines spécifiques. Pour remédier à cela, nous présentons Audio-Omni, le premier cadre end-to-end unifiant la génération et l'édition à travers les domaines généraux du son, de la musique et de la parole, avec des capacités intégrées de compréhension multimodale. Notre architecture combine synergétiquement un Modèle de Langage Multimodal de Grande Taille (Multimodal Large Language Model) figé pour le raisonnement de haut niveau avec un Transformeur à Diffusion (Diffusion Transformer) entraînable pour une synthèse haute fidélité. Pour surmonter la pénurie critique de données en édition audio, nous avons construit AudioEdit, un nouveau jeu de données à grande échelle comprenant plus d'un million de paires d'édition soigneusement préparées. Des expériences approfondies démontrent qu'Audio-Omni atteint des performances de pointe sur une série de benchmarks, surpassant les approches unifiées antérieures tout en atteignant des performances égales ou supérieures à celles des modèles experts spécialisés. Au-delà de ses capacités fondamentales, Audio-Omni présente des capacités héritées remarquables, notamment la génération par raisonnement augmenté par la connaissance, la génération en contexte (in-context generation) et le contrôle multilingue zero-shot pour la génération audio, soulignant une direction prometteuse vers une intelligence audio générative universelle. Le code, le modèle et le jeu de données seront rendus publics sur https://zeyuet.github.io/Audio-Omni.

Les modèles multimodaux unifiés (UMM) ont été conçus pour combiner la capacité de raisonnement des grands modèles de langage (LLM) avec la capacité de génération des modèles de vision. En pratique, cependant, cette synergie reste insaisissable : les UMM ne parviennent pas à transférer un raisonnement de type LLM à la synthèse d'images et présentent des comportements de réponse divergents. Nous qualifions ce phénomène de *pseudo-unification*. Diagnostiquer ses causes internes est important, mais les méthodes de sondage existantes manquent soit de perspicacité sur les mécanismes internes des modèles, soit ignorent les dépendances entre les invites et les réponses. Pour remédier à ces limitations, nous proposons un cadre de sondage informationnel qui analyse conjointement la manière dont les UMM encodent les entrées et génèrent les sorties. Appliqué à dix UMM représentatifs, notre cadre révèle que la pseudo-unification découle d'une double divergence : (i) un *Encodage Modulo-Asymétrique*, où la vision et le langage suivent des trajectoires d'entropie différentes, et (ii) une *Réponse à Modèles Dissociés*, où la génération de texte fait preuve d'une créativité à haute entropie tandis que la synthèse d'images impose une fidélité à basse entropie. Seuls les modèles qui unifient les deux aspects (par exemple, via la prédiction contextuelle) atteignent une unification plus authentique, permettant une génération d'images par raisonnement à partir de texte plus performante, même avec moins de paramètres. Notre travail constitue le premier sondage interne des modèles sur l'unification, démontrant qu'une réelle synergie multimodale nécessite une cohérence du flux d'information, et pas seulement des paramètres partagés.

Les agents de code progressent rapidement, mais leur débogage devient de plus en plus difficile. Lorsque les cadres logiciels orchestrent des appels d'outils parallèles et des flux de travail multi-étapes pour des tâches complexes, les transitions d'état de l'agent et la propagation des erreurs deviennent difficiles à observer. Lors de ces exécutions, une erreur précoce peut piéger l'agent dans des boucles improductives ou même entraîner des erreurs fondamentales en cascade, formant des chaînes d'erreurs cachées qui rendent difficile l'identification du moment et de la raison pour lesquels l'agent dévie. Les analyses de traçage existantes se concentrent soit sur des interactions simples, soit reposent sur une inspection manuelle à petite échelle, ce qui limite leur évolutivité et leur utilité pour les flux de travail de codage réels. Nous présentons CodeTracer, une architecture de traçage qui analyse les artefacts d'exécution hétérogènes via des extracteurs évolutifs, reconstruit l'historique complet des transitions d'état sous forme d'arbre de traces hiérarchique avec mémoire persistante, et localise l'apparition des défaillances pour identifier précisément l'origine de l'échec et sa chaîne d'impact. Pour permettre une évaluation systématique, nous avons constitué CodeTraceBench à partir d'un vaste ensemble de trajectoires exécutées générées par quatre frameworks d'agents de code largement utilisés sur diverses tâches de programmation (par exemple, correction de bogues, refactorisation et interaction avec le terminal), avec une supervision aux niveaux de l'étape et de la phase pour la localisation des défaillances. Les expériences montrent que CodeTracer surpasse substantiellement l'invocation directe et les méthodes de référence légères, et que la relecture de ses signaux diagnostiques permet de récupérer systématiquement les exécutions initialement échouées avec des budgets équivalents. Notre code et nos données sont publiquement disponibles.

Les agents de grands modèles linguistiques excellent désormais dans l'ingénierie logicielle, la recherche approfondie, l'automatisation d'interfaces graphiques et diverses autres applications, tandis que les architectures et modèles d'agents récents intègrent de plus en plus ces capacités dans des systèmes unifiés. Pourtant, la plupart des évaluations testent encore ces capacités de manière isolée, ce qui laisse un vide pour des cas d'usage plus diversifiés nécessitant que les agents combinent différentes compétences. Nous présentons CocoaBench, un benchmark pour agents numériques unifiés, construit à partir de tâches complexes conçues par des humains qui requièrent une composition flexible de la vision, de la recherche et du codage. Les tâches sont spécifiées uniquement par une instruction et une fonction d'évaluation automatique sur le résultat final, permettant une évaluation fiable et scalable across diverses infrastructures d'agents. Nous présentons également CocoaAgent, une architecture partagée légère permettant des comparaisons contrôlées entre différents modèles de base. Les expériences montrent que les agents actuels restent loin d'être fiables sur CocoaBench, le meilleur système évalué n'atteignant qu'un taux de réussite de 45,1%. Notre analyse souligne en outre une marge d'amélioration substantielle dans le raisonnement et la planification, l'utilisation et l'exécution d'outils, ainsi que l'ancrage visuel.

Nous présentons Audio Flamingo Next (AF-Next), la prochaine génération et le modèle audio-langage le plus performant de la série Audio Flamingo, conçu pour faire progresser la compréhension et le raisonnement sur la parole, les sons environnementaux et la musique. Par rapport à Audio Flamingo 3, AF-Next introduit : (i) un modèle audio-langage fondamental plus robuste qui améliore significativement la précision sur diverses tâches de compréhension audio ; (ii) des stratégies évolutives pour construire des données de compréhension et de raisonnement audio à grande échelle au-delà des benchmarks académiques existants ; (iii) la prise en charge d'entrées audio longues et complexes jusqu'à 30 minutes ; et (iv) le Temporal Audio Chain-of-Thought, un nouveau paradigme de raisonnement qui ancre explicitement les étapes de raisonnement intermédiaires à des horodatages dans les longs segments audio, permettant un alignement temporel fin et une meilleur interprétabilité. Pour permettre ces capacités, nous menons d'abord une analyse systématique d'Audio Flamingo 3 pour identifier les lacunes clés en compréhension et raisonnement audio. Nous sélectionnons ensuite et mettons à l'échelle de nouveaux jeux de données massifs totalisant plus d'un million d'heures pour résoudre ces limitations et étendre les jeux de données existants AudioSkills-XL, LongAudio-XL, AF-Think et AF-Chat. AF-Next est entraîné en utilisant une stratégie curriculaire couvrant les phases de pré-entraînement, d'entraînement intermédiaire et de post-entraînement. Des expériences approfondies sur 20 benchmarks de compréhension et de raisonnement audio, incluant des tâches audio longues difficiles, montrent qu'AF-Next surpasse largement les modèles ouverts de taille similaire et reste très compétitif, surpassant parfois des modèles ouverts à poids libres et des modèles fermés bien plus grands. Au-delà des performances sur les benchmarks, AF-Next démontre une forte utilité en conditions réelles et se transpose bien à des tâches non vues, soulignant sa robustesse et sa capacité de généralisation. En plus de toutes les données, du code et des méthodes, nous ouvrons l'accès à 3 variantes d'AF-Next, incluant AF-Next-Instruct, AF-Next-Think et AF-Next-Captioner.

L'apprentissage par renforcement sur-politique est devenu le paradigme dominant pour raisonner sur l'alignement des grands modèles de langage, mais ses récompenses éparses, basées sur le résultat final, rendent l'attribution de crédit au niveau des tokens notoirement difficile. La Distillation sur Politique (On-Policy Distillation, OPD) atténue ce problème en introduisant une supervision dense de divergence KL au niveau des tokens à partir d'un modèle enseignant, mais elle l'applique généralement de manière uniforme sur toutes les trajectoires, ignorant les différences fondamentales dans la qualité du signal. Nous proposons SCOPE (Signal-Calibrated On-Policy Distillation Enhancement), un cadre d'entraînement adaptatif à double voie qui achemine les trajectoires sur-politiques selon leur exactitude vers deux voies de supervision complémentaires. Pour les trajectoires incorrectes, SCOPE effectue une distillation KL pondérée par la perplexité de l'enseignant pour privilégier les instances où l'enseignant démontre une réelle capacité corrective, tout en réduisant le poids des conseils peu fiables. Pour les trajectoires correctes, il applique un apprentissage par maximum de vraisemblance (MLE) pondéré par la perplexité de l'étudiant, afin de concentrer le renforcement sur les échantillons de faible confiance à la frontière des capacités plutôt que de renforcer excessivement ceux déjà maîtrisés. Les deux voies utilisent une normalisation au niveau du groupe pour calibrer de manière adaptive les distributions de poids, tenant compte de la variance intrinsèque de la difficulté entre les prompts. Des expériences approfondies sur six benchmarks de raisonnement montrent que SCOPE obtient une amélioration relative moyenne de 11,42 % en Avg@32 et de 7,30 % en Pass@32 par rapport à des bases de référence compétitives, démontrant son efficacité constante.

Les modèles de langage par diffusion promettent une génération parallèle, mais restent encore inférieurs en qualité aux modèles autorégressifs (AR). Nous attribuons cet écart à un manque de cohérence introspective : les modèles AR sont cohérents avec leurs propres générations, tandis que les modèles de diffusion linguistique (DLM) ne le sont souvent pas. Nous définissons le taux d'acceptation introspective, qui mesure si un modèle accepte ses tokens précédemment générés. Cela révèle pourquoi l'entraînement AR présente un avantage structurel : le masquage causal et le décalage des logits appliquent implicitement une cohérence introspective. Motivés par cette observation, nous présentons Introspective Diffusion Language Model (I-DLM), un paradigme qui conserve le décodage parallèle de type diffusion tout en héritant de la cohérence introspective de l'entraînement AR. I-DLM utilise un nouvel algorithme de décodage en pas introspectif (ISD), qui permet au modèle de vérifier les tokens précédemment générés tout en en produisant de nouveaux dans la même passe avant. D'un point de vue système, nous construisons le moteur d'inférence d'I-DLM sur des optimisations héritées des modèles AR et le personnalisons davantage avec un ordonnanceur à lots stationnaires. À notre connaissance, I-DLM est le premier DLM à égaler la qualité de son homologue AR de même échelle tout en surpassant les DLM antérieurs en qualité de modèle et en efficacité pratique de service sur 15 benchmarks. Il atteint 69,6 sur AIME-24 et 45,7 sur LiveCodeBench-v6, dépassant LLaMA-2.1-mini (16B) de plus de 26 et 15 points respectivement. Au-delà de la qualité, I-DLM est conçu pour répondre à la demande croissante de service à grande concurrence, offrant un débit environ 3 fois supérieur à celui des DLM antérieurs les plus performants.

Les données post-entraînement jouent un rôle déterminant dans le façonnement des capacités des grands modèles de langage (LLM), pourtant les jeux de données sont souvent traités comme des artefacts isolés, négligeant les connexions systémiques sous-jacentes à leur évolution. Pour démêler ces relations complexes, nous introduisons le concept de lignée des données dans l'écosystème des LLM et proposons un cadre multi-agent automatisé pour reconstruire le graphe évolutif du développement des jeux de données. Par une analyse à grande échelle des lignées, nous caractérisons des motifs structurels spécifiques à des domaines, tels que le raffinement vertical dans les jeux de données orientés mathématiques et l'agrégation horizontale dans les corpus du domaine général. De plus, nous mettons en lumière des problèmes systémiques persistants, incluant la redondance structurelle induite par des intersections implicites de jeux de données et la propagation de la contamination des benchmarks le long des chemins de lignée. Pour démontrer la valeur pratique de l'analyse de lignée pour la construction des données, nous utilisons le graphe de lignée reconstruit pour créer un jeu de données axé sur la diversité et conscient des lignées. En ancrant l'échantillonnage d'instructions à des sources racines amont, cette approche atténue l'homogénéisation en aval et la redondance cachée, produisant un corpus post-entraînement plus diversifié. Nous soulignons en outre l'analyse centrée sur la lignée comme une alternative topologique robuste et efficace à la comparaison de jeux de données au niveau de l'échantillon pour les écosystèmes de données à grande échelle. En fondant la construction des données sur des structures de lignée explicites, notre travail fait progresser la curation des données post-entraînement vers un paradigme plus systématique et contrôlable.

Si l'Experience Replay – pratique consistant à stocker des épisodes d'interaction et à les réutiliser plusieurs fois pendant l'entraînement – est une technique fondamentale en apprentissage par renforcement général, elle reste largement inexplorée dans le post-entraînement des LLM en raison de la croyance dominante que des données fraîches et on-policy sont essentielles pour des performances élevées. Dans ce travail, nous remettons en cause cette hypothèse. Nous présentons une étude systématique des mémoires de replay pour le post-entraînement des LLM, en formalisant la conception optimale comme un compromis entre la variance induite par l'obsolescence des données, la diversité des échantillons et le coût computationnel élevé de la génération. Nous montrons qu'un échantillonnage strictement on-policy est sous-optimal lorsque la génération est coûteuse. Empiriquement, nous démontrons qu'une mémoire de replay bien conçue peut réduire considérablement le calcul d'inférence sans dégrader – et dans certains cas même améliorer – les performances finales du modèle, tout en préservant l'entropie de la politique.

Nous avons assisté à des progrès remarquables dans les capacités de raisonnement des LLM avec l’avènement de DeepSeek-R1. Cependant, une grande partie de ces avancées a été alimentée par l’abondance de paires question-réponse (QR) disponibles sur Internet, ce qui constitue un goulot d’étranglement majeur pour l’avenir, car ces données sont limitées en volume et concentrées principalement dans des domaines comme les mathématiques. En revanche, d’autres sciences telles que la physique manquent de jeux de données QR à grande échelle pour entraîner efficacement des modèles capables de raisonnement. Dans ce travail, nous montrons que les simulateurs physiques peuvent servir de source alternative puissante de supervision pour l’entraînement des LLM au raisonnement physique. Nous générons des scènes aléatoires dans des moteurs physiques, créons des paires question-réponse synthétiques à partir d’interactions simulées, et entraînons les LLM en utilisant l’apprentissage par renforcement sur ces données synthétiques. Nos modèles présentent un transfert zero-shot du simulateur vers la réalité sur des benchmarks de physique du monde réel : par exemple, un entraînement exclusivement sur des données simulées synthétiques améliore les performances sur les problèmes des Olympiades Internationales de Physique (IPhO) de 5 à 10 points de pourcentage, quelle que soit la taille des modèles. Ces résultats démontrent que les simulateurs physiques peuvent agir comme des générateurs de données évolutifs, permettant aux LLM d’acquérir des compétences profondes en raisonnement physique au-delà des limitations des données QR à l’échelle d’Internet. Code disponible à l’adresse : https://sim2reason.github.io/.

Les modèles de diffusion vidéo ont réalisé des progrès remarquables dans la génération de vidéos de haute qualité. Cependant, ces modèles peinent à représenter la succession temporelle de multiples événements dans les vidéos du monde réel et manquent de mécanismes explicites pour contrôler quand les concepts sémantiques apparaissent, combien de temps ils persistent, et l'ordre dans lequel les événements multiples se produisent. Un tel contrôle est particulièrement important pour la synthèse de vidéos de qualité cinématographique, où la cohérence narrative dépend du timing précis, de la durée et des transitions entre les événements. Lorsqu'une seule invite de type paragraphe est utilisée pour décrire une séquence d'événements complexes, les modèles présentent souvent un enchevêtrement sémantique, où les concepts destinés à différents moments de la vidéo fusionnent les uns avec les autres, entraînant une mauvaise alignement texte-vidéo. Pour résoudre ces limitations, nous proposons Prompt Relay, une méthode plug-and-play utilisable lors de l'inférence, qui permet un contrôle temporel fin dans la génération vidéo multi-événements, sans nécessiter de modifications architecturales ni de surcharge computationnelle supplémentaire. Prompt Relay introduit une pénalité dans le mécanisme d'attention croisée, de sorte que chaque segment temporel ne prête attention qu'à l'invite qui lui est assignée, permettant au modèle de représenter un concept sémantique à la fois, améliorant ainsi l'alignement temporel des invites, réduisant les interférences sémantiques et rehaussant la qualité visuelle.

Nous étudions le passage à l'échelle parallèle au moment des tests pour les tâches agentiques de long horizon, telles que la recherche agentique et la recherche approfondie, où plusieurs déploiements sont générés en parallèle et agrégés en une réponse finale. Bien que cette mise à l'échelle se soit avérée efficace pour le raisonnement par chaîne de pensée, les tâches agentiques présentent des défis uniques : les trajectoires sont longues, multi-tours et enrichies par des outils, et les résultats sont souvent ouverts. Agréger uniquement les réponses finales revient à ignorer les informations riches des trajectoires, tandis que concaténer toutes les trajectoires dépasse la fenêtre de contexte du modèle. Pour résoudre ce problème, nous proposons AggAgent, un agent d'agrégation qui traite les trajectoires parallèles comme un environnement. Nous le dotons d'outils légers pour inspecter les solutions candidates et effectuer des recherches à travers les trajectoires, lui permettant de naviguer et de synthétiser l'information à la demande. Sur six benchmarks et trois familles de modèles (GLM-4.7, Qwen3.5, MiniMax-M2.5), AggAgent surpasse toutes les méthodes d'agrégation existantes – jusqu'à 5,3 % en valeur absolue en moyenne et 10,3 % sur deux tâches de recherche approfondie – tout en ajoutant une surcharge minimale, car le coût d'agrégation reste borné par un seul déploiement agentique. Nos résultats établissent l'agrégation agentique comme une approche efficace et économique pour le passage à l'échelle parallèle au moment des tests.

L'apprentissage par renforcement (RL) pour les grands modèles de langage (LLM) repose de plus en plus sur des récompenses éparses et basées sur le résultat – pourtant, déterminer quelles actions au sein d'une longue trajectoire ont causé le résultat reste difficile. Ce problème d'attribution de crédit (CA) se manifeste dans deux régimes : le RL de raisonnement, où le crédit doit être distribué entre les tokens et les étapes d'une seule génération de chaîne de pensée (500 à 30 000+ tokens) ; et le RL agentique, où l'interaction multi-tours avec l'environnement introduit des transitions stochastiques, une observabilité partielle et des horizons de 100+ tours (100 000 à 1 million de tokens), rendant le crédit au niveau de l'épisode de moins en moins informatif. Nous passons en revue 47 méthodes de CA (41 principales, 6 facilitateurs adjacents) publiées entre 2024 et début 2026, en les organisant selon une taxonomie bidimensionnelle basée sur la granularité de l'attribution (token, segment, étape, tour, multi-agent) et la méthodologie (Monte Carlo, différence temporelle, basée sur un modèle, théorie des jeux, théorie de l'information). Au-delà de l'étude elle-même, nous contribuons par trois ressources réutilisables : (1) un inventaire structuré et machine-readable des articles avec des labels taxonomiques, des familles de base de référence et des niveaux de preuve ; (2) une liste de contrôle pour la publication future d'articles sur le CA, validée par rapport à la littérature examinée pour identifier les lacunes méthodologiques systématiques ; et (3) une spécification de protocole de benchmark avec des familles de tâches, des exigences de métadonnées et des tâches de bifurcation contrôlée, accompagnée d'un arbre de décision pour la sélection des méthodes. Notre synthèse suggère que le passage du RL de raisonnement au RL agentique complète et remodelle le paysage de l'attribution de crédit : le CA pour le raisonnement arrive à maturité autour des modèles de récompense de processus et de la comparaison de groupe sans critique, tandis que le CA agentique stimule des approches véritablement nouvelles – l'analyse contrefactuelle a posteriori, les critiques asymétriques privilégiées et les reformulations MDP au niveau du tour – qui n'ont pas de précédent direct dans le RL de raisonnement.

Les modèles de langage de grande taille (LLM) déployés dans des environnements agentiels doivent mobiliser de multiples capacités à travers différentes instances de tâches, une capacité étant définie comme l'exécution d'une ou plusieurs actions dans une trajectoire qui sont nécessaires pour résoudre avec succès un sous-ensemble de tâches dans l'environnement. De nombreuses approches existantes reposent soit sur des données d'entraînement synthétiques qui ne ciblent pas les déficits réels de capacité du modèle dans l'environnement cible, soit sur un entraînement direct dans l'environnement cible, où le modèle doit apprendre implicitement les capacités à travers les tâches. Nous présentons TRACE (Transformer les Échecs Agentiels Récurrents en Environnements d'Entraînement Ciblés sur les Capacités), un système end-to-end pour l'auto-amélioration d'agents spécifiques à un environnement. TRACE compare les trajectoires réussies et échouées pour identifier automatiquement les capacités déficitaires, synthétise un environnement d'entraînement ciblé pour chacune d'elles qui récompense l'exercice de la capacité, et entraîne un adaptateur LoRA par apprentissage par renforcement sur chaque environnement synthétique, en acheminant vers l'adaptateur pertinent lors de l'inférence. Empiriquement, TRACE généralise à travers différents environnements, améliorant l'agent de base de +14,1 points sur τ²-bench (service client) et de +7 scores parfaits sur ToolSandbox (utilisation d'outils), surpassant respectivement la baseline la plus forte de +7,4 points et +4 scores parfaits. Pour un nombre identique de déploiements, TRACE s'adapte plus efficacement que les baselines, surpassant GRPO et GEPA de +9,2 et +7,4 points sur τ²-bench.

Les agents d'interface graphique mobile alimentés par des modèles de langage multimodaux (MLLM) peuvent exécuter des tâches complexes sur les appareils mobiles. Malgré ces progrès, la plupart des systèmes existants optimisent encore la réussite ou l'efficacité des tâches, négligeant la personnalisation de la confidentialité des utilisateurs. Dans cet article, nous étudions le problème souvent négligé de la personnalisation des agents. Nous observons que la personnalisation peut induire une hétérogénéité structurelle systématique dans les trajectoires d'exécution. Par exemple, les utilisateurs privilégiant la confidentialité préfèrent souvent des actions protectrices, comme refuser les autorisations, se déconnecter et minimiser l'exposition, conduisant à des trajectoires d'exécution logiquement différentes de celles des utilisateurs privilégiant l'utilité. Ces trajectoires de longueur variable et structurellement différentes rendent l'optimisation standard des préférences instable et moins informative. Pour résoudre ce problème, nous proposons l'Optimisation des Préférences Induite par la Trajectoire (TIPO), qui utilise une pondération d'intensité des préférences pour mettre en évidence les étapes clés liées à la confidentialité et un verrouillage de remplissage pour supprimer le bruit d'alignement. Les résultats sur notre jeu de données Privacy Preference montrent que TIPO améliore l'alignement et la distinction des personnalités tout en préservant une forte exécutabilité des tâches, atteignant 65,60 % de taux de réussite, 46,22 % de conformité et 66,67 % de distinction des préférences, surpassant les méthodes d'optimisation existantes sur diverses tâches d'interface graphique. Le code et le jeu de données seront publiés publiquement à l'adresse https://github.com/Zhixin-L/TIPO.

Le décodage spéculatif (DS) est devenu une technique essentielle pour accélérer l'inférence des grands modèles de langage (LLM). Contrairement aux optimisations système déterministes, la performance du DS est intrinsèquement dépendante des données, ce qui signifie que des charges de travail diverses et représentatives sont cruciales pour mesurer avec précision son efficacité. Les benchmarks existants souffrent d'une diversité de tâches limitée, d'un support inadéquat pour l'évaluation axée sur le débit, et d'une dépendance à des implémentations de haut niveau qui ne reflètent pas les environnements de production. Pour remédier à cela, nous présentons SPEED-Bench, une suite complète conçue pour standardiser l'évaluation du DS sur divers domaines sémantiques et dans des régimes de service réalistes. SPEED-Bench propose une division qualitative des données soigneusement constituée, sélectionnée en priorisant la diversité sémantique des échantillons. De plus, elle inclut une division axée sur le débit, permettant l'évaluation des gains de vitesse sur une gamme de concurrences, allant des configurations à faible lot sensibles à la latence jusqu'aux scénarios à charge élevée optimisés pour le débit. En s'intégrant à des moteurs de production comme vLLM et TensorRT-LLM, SPEED-Bench permet aux praticiens d'analyser des comportements système souvent masqués par d'autres benchmarks. Nous illustrons cela en quantifiant comment les entrées synthétiques surestiment le débit en conditions réelles, en identifiant les longueurs optimales des brouillons qui dépendent de la taille des lots et les biais dans les données à faible diversité, et en analysant les mises en garde concernant l'élagage du vocabulaire dans les générateurs de brouillons les plus avancés. Nous publions SPEED-Bench pour établir une norme d'évaluation unifiée permettant des comparaisons pratiques des algorithmes de DS.

Les grands modèles de langage (LLM) contemporains ont démontré des capacités de raisonnement remarquables, particulièrement dans des domaines spécialisés comme les mathématiques et la physique. Cependant, leur capacité à généraliser ces compétences de raisonnement à des contextes plus généraux et étendus - souvent qualifiée de raisonnement général - reste peu explorée. Contrairement au raisonnement spécifique à un domaine, le raisonnement général s'appuie moins sur des connaissances expertes mais présente néanmoins des défis redoutables, tels que des contraintes complexes, des branches logiques imbriquées et des interférences sémantiques. Pour combler cette lacune, nous présentons General365, un benchmark spécifiquement conçu pour évaluer le raisonnement général des LLM. En limitant les connaissances de base à un niveau lycée, General365 dissocie explicitement le raisonnement de l'expertise spécialisée. Le benchmark comprend 365 problèmes de base et 1 095 problèmes variantes répartis en huit catégories, garantissant à la fois une haute difficulté et une grande diversité. Les évaluations sur 26 LLM leaders révèlent que même le modèle le plus performant n'atteint que 62,8% de précision, contrastant fortement avec les performances quasi parfaites des LLM dans les benchmarks de mathématiques et de physique. Ces résultats suggèrent que les capacités de raisonnement des LLM actuels sont fortement dépendantes du domaine, laissant une marge d'amélioration significative pour des applications plus larges. Nous envisageons General365 comme un catalyseur pour faire progresser le raisonnement des LLM au-delà des tâches spécifiques à un domaine vers des scénarios réels robustes et polyvalents. Code, jeu de données et classement : https://general365.github.io

Les récents progrès des modèles de langage à diffusion masquée (MDLM) réduisent l'écart de qualité avec les modèles autoregressifs, mais leur échantillonnage reste coûteux car la génération nécessite de nombreuses passes de dé-bruitage de séquence complète avec un grand Transformer et, contrairement au décodage autoregressif, ne peut pas bénéficier de la mise en cache KV. Dans ce travail, nous exploitons la flexibilité du cadre de diffusion et étudions l'ordonnancement de modèles, où un MDLM plus petit remplace le modèle complet à un sous-ensemble des étapes de dé-bruitage. Sur des modèles entraînés sur OpenWebText et LM1B, nous montrons que les premières et dernières étapes de dé-bruitage sont nettement plus robustes à un tel remplacement que les étapes intermédiaires, permettant une réduction allant jusqu'à 17% des FLOPs avec seulement une dégradation modeste de la perplexité générative en génération non conditionnelle et conditionnée par un préfixe, tout en préservant la diversité des échantillons. Nous étayons ces résultats par une analyse d'importance des étapes basée sur la perte et la divergence KL entre petits et grands modèles à travers les pas de temps, ainsi qu'une recherche exhaustive sur des segments d'étapes grossiers, qui identifient tous deux le milieu de la trajectoire de diffusion comme étant le plus sensible, de manière cohérente entre les jeux de données. Nos résultats suggèrent que des règles d'ordonnancement simples et indépendantes de l'architecture peuvent accélérer significativement l'échantillonnage des MDLM tout en préservant largement la qualité de la génération.

Nous proposons les modèles de flux adversariaux continus, un type de modèle de flux en temps continu entraîné avec un objectif adversarial. Contrairement au flux matching, qui utilise un critère fixe d'erreur quadratique moyenne, notre approche introduit un discriminateur appris pour guider l'entraînement. Ce changement d'objectif induit une distribution généralisée différente, qui produit empiriquement des échantillons mieux alignés avec la distribution cible des données. Notre méthode est principalement proposée pour le post-entraînement de modèles de flux matching existants, bien qu'elle puisse également entraîner des modèles à partir de zéro. Sur la tâche de génération d'images ImageNet 256px, notre post-entraînement améliore considérablement le FID sans guidage du SiT en espace latent de 8,26 à 3,63 et du JiT en espace pixel de 7,17 à 3,57. Il améliore également la génération guidée, réduisant le FID de 2,06 à 1,53 pour SiT et de 1,86 à 1,80 pour JiT. Nous évaluons en outre notre approche sur la génération texte-image, où elle obtient des résultats améliorés sur les benchmarks GenEval et DPG.

Les jeunes enfants démontrent des capacités précoces à comprendre leur monde physique, en estimant la profondeur, le mouvement, la cohérence des objets, les interactions et de nombreux autres aspects de la compréhension des scènes physiques. Les enfants sont des systèmes cognitifs à la fois efficaces en données et flexibles, développant des compétences malgré des données d'entraînement extrêmement limitées, tout en généralisant à une myriade de tâches non entraînées – un défi majeur même pour les meilleurs systèmes d'IA actuels. Nous présentons ici une nouvelle hypothèse computationnelle pour ces capacités : le Modèle de Monde Visuel Zéro-shot (ZWM). Le ZWM repose sur trois principes : un prédicteur factorisé temporellement et parcimonieux qui découple l'apparence de la dynamique ; une estimation zéro-shot par inférence causale approximative ; et la composition d'inférences pour construire des capacités plus complexes. Nous montrons que le ZWM peut être appris à partir de l'expérience en première personne d'un seul enfant, générant rapidement des compétences sur plusieurs benchmarks de compréhension physique. Il reproduit également largement les signatures comportementales du développement de l'enfant et construit des représentations internes similaires à celles du cerveau. Notre travail propose une feuille de route pour un apprentissage efficace et flexible à partir de données à l'échelle humaine, faisant progresser à la fois une explication computationnelle de la compréhension physique précoce des enfants et une voie vers des systèmes d'IA efficaces en données.

Les récents progrès des modèles multimodaux unifiés (UMM) ont conduit à une prolifération d'architectures capables de comprendre, générer et éditer des contenus à travers les modalités visuelles et textuelles. Cependant, le développement d'un cadre unifié pour les UMM reste difficile en raison de la diversité des architectures de modèles et de l'hétérogénéité des paradigmes d'entraînement et des détails de mise en œuvre. Dans cet article, nous présentons TorchUMM, la première base de code unifiée pour l'évaluation complète, l'analyse et le post-entraînement de diverses architectures de base d'UMM, de tâches et de jeux de données. TorchUMM prend en charge un large éventail de modèles couvrant une vaste gamme d'échelles et de paradigmes de conception. Notre benchmark englobe trois dimensions de tâches principales : la compréhension, la génération et l'édition multimodales, et intègre à la fois des jeux de données établis et novateurs pour évaluer les capacités de perception, de raisonnement, de compositionnalité et de suivi d'instructions. En fournissant une interface unifiée et des protocoles d'évaluation standardisés, TorchUMM permet des comparaisons équitables et reproductibles entre des modèles hétérogènes et favorise une compréhension plus approfondie de leurs forces et limites, facilitant ainsi le développement de systèmes multimodaux unifiés plus performants. Le code est disponible à l'adresse : https://github.com/AIFrontierLab/TorchUMM.

Comprendre et prédire le mouvement est une composante fondamentale de l'intelligence visuelle. Bien que les modèles vidéo modernes démontrent une compréhension solide de la dynamique des scènes, l'exploration de multiples futurs possibles via la synthèse complète de vidéos reste prohibitivement inefficace. Nous modélisons la dynamique des scènes de manière bien plus efficace en opérant directement sur un embedding de mouvement à long terme, appris à partir de trajectoires à grande échelle obtenues via des modèles de suivi. Cela permet la génération efficace de mouvements longs et réalistes qui satisfont des objectifs spécifiés par des invites textuelles ou des interactions spatiales. Pour y parvenir, nous apprenons d'abord un embedding de mouvement hautement compressé avec un facteur de compression temporelle de 64x. Dans cet espace, nous entraînons un modèle de "flow-matching" conditionnel pour générer des latents de mouvement conditionnés par des descriptions de tâches. Les distributions de mouvement qui en résultent surpassent celles des modèles vidéo à la pointe ainsi que des approches spécialisées spécifiques à une tâche.

Le développement de la série Bielik v3 PL, comprenant les variantes à 7B et 11B de paramètres, représente une étape importante dans le domaine de l'optimisation des grands modèles de langage (LLM) spécifiques à une langue. Bien que les modèles généralistes affichent souvent des capacités multilingues impressionnantes, ils souffrent fréquemment d'une inefficacité architecturale fondamentale : l'utilisation de tokenizers universels. Ces tokenizers, généralement conçus pour couvrir un large spectre de langues, échouent souvent à capturer les nuances morphologiques de langues spécifiques comme le polonais, entraînant des ratios de fertilité plus élevés, des coûts d'inférence accrus et une réduction de la fenêtre de contexte effective. Ce rapport détaille la transition de la tokenisation universelle basée sur Mistral vers un vocabulaire dédié et optimisé pour le polonais pour les modèles Bielik v3, en explorant l'initialisation des embeddings basée sur FOCUS, le curriculum d'appréhension multi-étapes, et l'alignement post-entraînement subséquent incluant le Fine-Tuning Supervisé, l'Optimisation Directe des Préférences et l'Apprentissage par Renforcement via l'Optimisation de Politique Relative par Groupe avec récompenses vérifiables.

Bien que les grands modèles de langage présentent un potentiel pour les applications médicales complexes, leur développement est freiné par la rareté des données de raisonnement de haute qualité. Pour résoudre ce problème, les approches existantes distillent généralement des traces de raisonnement en chaîne à partir de grands modèles propriétaires via un fine-tuning supervisé, puis mettent en œuvre un apprentissage par renforcement (RL). Ces méthodes montrent une amélioration limitée dans les domaines sous-représentés comme les maladies rares, tout en entraînant des coûts substantiels liés à la génération de chaînes de raisonnement complexes. Pour améliorer efficacement le raisonnement médical, nous proposons MedSSR, un cadre de Synthèse de données améliorée par les Connaissances Médicales et d'Apprentissage par Renforcement Semi-Supervisé. Notre cadre utilise d'abord les connaissances sur les maladies rares pour synthétiser des questions de raisonnement à distribution contrôlable. Nous utilisons ensuite le modèle de politique lui-même pour générer des pseudo-labels de haute qualité. Cela permet un paradigme d'entraînement en deux étapes, de l'intrinsèque à l'extrinsèque : un RL auto-supervisé sur les données synthétiques pseudo-labellisées, suivi d'un RL supervisé sur les données réelles annotées manuellement. MedSSR permet une mise à l'échelle efficace de l'entraînement des modèles sans dépendre d'une distillation de traces coûteuse. Des expériences approfondies sur Qwen et Llama démontrent que notre méthode surpasse les approches existantes sur dix benchmarks médicaux, atteignant un gain allant jusqu'à +5,93 % sur les tâches liées aux maladies rares. Notre code est disponible à l'adresse https://github.com/tdlhl/MedSSR.

L'accélération des découvertes scientifiques nécessite d'identifier au préalable les expériences qui produiront les meilleurs résultats avant d'engager des ressources dans une validation physique coûteuse. Si les benchmarks existants évaluent les LLM sur leurs connaissances et leur raisonnement scientifiques, leur capacité à prédire les résultats expérimentaux - une tâche où l'IA pourrait surpasser significativement les capacités humaines - reste largement inexplorée. Nous présentons SciPredict, un benchmark comprenant 405 tâches dérivées d'études empiriques récentes dans 33 sous-domaines spécialisés de la physique, de la biologie et de la chimie. SciPredict aborde deux questions critiques : (a) les LLM peuvent-ils prédire le résultat d'expériences scientifiques avec une précision suffisante ? et (b) ces prédictions peuvent-elles être utilisées de manière fiable dans le processus de recherche scientifique ? Les évaluations révèlent des limitations fondamentales sur ces deux aspects. Les précisions des modèles sont de 14 à 26 % et la performance des experts humains est d'environ 20 %. Bien que certains modèles de pointe surpassent les performances humaines, la précision des modèles reste bien en deçà de ce qui permettrait un guidage expérimental fiable. Même dans le cadre de performances limitées, les modèles échouent à distinguer les prédictions fiables des non fiables, n'atteignant qu'environ 20 % de précision, quels que soient leur niveau de confiance ou leur jugement sur la prédictibilité des résultats sans expérimentation physique. Les experts humains, en revanche, démontrent une forte calibration : leur précision augmente d'environ 5 % à environ 80 % à mesure qu'ils jugent les résultats plus prévisibles sans mener l'expérience. SciPredict établit un cadre rigoureux démontrant qu'une performance surhumaine en science expérimentale nécessite non seulement de meilleures prédictions, mais aussi une meilleure conscience de la fiabilité des prédictions. Pour la reproductibilité, toutes nos données et notre code sont disponibles à l'adresse https://github.com/scaleapi/scipredict.

Les approches représentatives antérieures de type ReAct dans le domaine de l'ingénierie logicielle autonome (SWE) manquent généralement du raisonnement explicite de type Système 2 nécessaire pour une analyse approfondie et la gestion de cas limites complexes. Si les modèles de raisonnement récents démontrent le potentiel des chaînes de pensée (CoT) étendues, leur application à la tâche SWE multi-tours crée un dilemme fondamental : conserver l'intégralité de l'historique de raisonnement entraîne une explosion du contexte et une dégradation du type « perte au milieu », tandis que l'ignorer forcerait l'agent à raisonner de manière redondante à chaque étape. Pour relever ces défis, nous proposons SWE-AGILE, un nouveau cadre d'agent logiciel conçu pour combler le fossé entre la profondeur du raisonnement, l'efficacité et les contraintes de contexte. SWE-AGILE introduit une stratégie de Contexte de Raisonnement Dynamique, maintenant une « fenêtre glissante » de raisonnement détaillé pour assurer la continuité immédiate et éviter les ré-analyses redondantes, tout en compressant le contenu raisonné historique en des Bilan de Raisonnement concis. Empiriquement, SWE-AGILE établit une nouvelle référence pour les modèles 7B-8B sur SWE-Bench-Verified en utilisant seulement 2,2k trajectoires et 896 tâches. Le code est disponible à l'adresse https://github.com/KDEGroup/SWE-AGILE.

Récemment, la mise à l'échelle de l'apprentissage par renforcement avec récompenses vérifiables (RLVR) pour les grands modèles de langage (LLM) est apparue comme un paradigme d'entraînement efficace pour améliorer significativement les capacités des modèles. Cette approche nécessite de guider le modèle pour qu'il effectue une exploration et un apprentissage approfondis, ce qui entraîne des coûts de calcul substantiels et constitue un défi majeur. Pour réduire le nombre d'étapes d'entraînement, les travaux antérieurs ont recours à l'extrapolation linéaire des paramètres du modèle. Cependant, la dynamique des mises à jour des paramètres du modèle durant l'entraînement RLVR reste insuffisamment comprise. Pour étudier plus avant l'évolution des LLM pendant l'entraînement RLVR, nous menons des expériences empiriques et constatons que le sous-espace de rang 1 du modèle n'évolue pas linéairement, et sa dominance sur les paramètres originaux est encore amplifiée lors de l'entraînement LoRA. Sur la base de ces observations, nous proposons l'Extrapolation Non Linéaire des trajectoires de faible rang (NExt), un nouveau cadre qui modélise et extrapole les trajectoires des paramètres de faible rang de manière non linéaire. Concrètement, nous entraînons d'abord le modèle en utilisant LoRA et extrayons le sous-espace de rang 1 des différences de paramètres à plusieurs étapes d'entraînement, qui est ensuite utilisé pour l'extrapolation non linéaire subséquente. Ensuite, nous utilisons le sous-espace de rang 1 extrait pour entraîner un prédicteur, capable de modéliser la trajectoire des mises à jour des paramètres durant le RLVR, puis nous effectuons le processus de prédiction-extension pour extrapoler les paramètres du modèle, permettant ainsi d'accélérer le RLVR. Pour approfondir l'étude et la compréhension de NExt, nous menons des expériences complètes qui démontrent l'efficacité et la robustesse de la méthode. Notre méthode réduit les coûts de calcul d'environ 37,5 % tout en restant compatible avec un large éventail d'algorithmes et de tâches RLVR. Nous publions notre code sur https://github.com/RUCAIBox/NExt.

Alors que les grands modèles de langage (LLM) deviennent le moteur des systèmes conversationnels, leur capacité à raisonner sur les intentions et les états de leurs partenaires de dialogue (c'est-à-dire à former et à utiliser une théorie de l'esprit, ou TdE) devient de plus en plus cruciale pour une interaction sécurisée avec des partenaires potentiellement adversariaux. Nous proposons un nouveau défi de TdE sur le thème de la confidentialité, la TdE pour l'Orientation des Croyances (ToM-SB), dans lequel un défenseur doit agir en tant qu'Agent Double pour orienter les croyances d'un attaquant disposant d'une connaissance préalable partielle au sein d'un univers partagé. Pour réussir dans ToM-SB, le défenseur doit interagir avec l'attaquant et former une TdE de celui-ci, avec pour objectif de tromper l'attaquant en lui faisant croire qu'il a réussi à extraire des informations sensibles. Nous constatons que des modèles de pointe comme Gemini3-Pro et GPT-5.4 peinent sur ToM-SB, échouant souvent à tromper les attaquants dans des scénarios difficiles avec une connaissance préalable partielle de l'attaquant, même lorsqu'ils sont incités à raisonner sur les croyances de l'attaquant (prompting TdE). Pour combler cette lacune, nous entraînons des modèles sur ToM-SB à agir en tant qu'Agents Doubles IA en utilisant l'apprentissage par renforcement, en testant à la fois des récompenses pour la tromperie et pour la TdE. Notamment, nous découvrons une relation émergente bidirectionnelle entre la TdE et la tromperie de l'attaquant : récompenser uniquement le succès de la tromperie améliore la TdE, et récompenser uniquement la TdE améliore la tromperie. Sur quatre attaquants de forces différentes, six méthodes de défense, et des évaluations en distribution conforme et hors distribution (OOD), nous constatons que les gains en TdE et en tromperie de l'attaquant sont bien corrélés, soulignant que la modélisation des croyances est un facteur clé de réussite sur ToM-SB. Les Agents Doubles IA qui combinent à la fois les récompenses de TdE et de tromperie offrent les performances de tromperie et de TdE les plus solides, surpassant Gemini3-Pro et GPT-5.4 avec prompting TdE sur des scénarios difficiles. Nous montrons également que ToM-SB et les Agents Doubles IA peuvent être étendus à des attaquants plus forts, démontrant la généralisation à des contextes OOD et l'évolutivité de notre tâche.

Les grands modèles de langage sont de plus en plus déployés dans des contextes multi-tours comme le tutorat, le support et le conseil, où la fiabilité dépend de la préservation de rôles, de personnages et d'objectifs cohérents sur de longues horizons. Cette exigence devient critique lorsque les LLM sont utilisés pour générer des dialogues synthétiques destinés à l'entraînement et à l'évaluation, car les conversations LLM–LLM peuvent accumuler des défaillances liées à l'identité telles que la dérive du personnage, la confusion des rôles et l'"écho", où un agent finit par refléter progressivement son partenaire. Nous présentons SPASM (Stable Persona-driven Agent Simulation for Multi-turn dialogue generation), un framework modulaire axé sur la stabilité qui décompose la simulation en (i) la création de personnages via l'échantillonnage de schémas, la validation de la plausibilité et l'élaboration de personnages en langage naturel, (ii) la génération de dialogues Client–Répondeur, et (iii) la détection de terminaison pour un arrêt cohérent. Pour améliorer la stabilité à long terme sans modifier les poids du modèle, nous proposons la Projection Egocentrique du Contexte (ECP) : l'historique du dialogue est stocké dans une représentation agnostique de la perspective et projeté de manière déterministe dans la vue égocentrique de chaque agent avant la génération. Sur trois architectures de LLM (GPT-4o-mini, DeepSeek-V3.2, Qwen-Plus) et neuf paires Client–Répondeur, nous avons constitué un jeu de données de 4 500 personnages et 45 000 conversations (500 personnages X 10 conversations par paire). Les ablations montrent que l'ECP réduit considérablement la dérive du personnage et, sous validation humaine, élimine l'écho ; les analyses d'embedding reconstituent la structure des personnages et révèlent une géométrie d'interaction fortement pilotée par le répondeur. Notre code est disponible à l'adresse https://github.com/lhannnn/SPASM.

Alors que les modèles génératifs permettent la création rapide d'images haute fidélité, les préoccupations sociétales concernant la désinformation et l'authenticité se sont intensifiées. Une solution prometteuse est le tatouage d'image multi-bits, qui intègre un message multi-bits dans une image afin qu'un vérificateur puisse ultérieurement détecter si l'image a été générée par quelqu'un et identifier la source en décodant le message intégré. Les approches existantes sont souvent limitées en capacité, en résilience aux distorsions d'image courantes et en justification théorique. Pour résoudre ces limitations, nous proposons ADD (Add, Dot, Decode), une méthode de tatouage d'image multi-bits en deux étapes : l'apprentissage d'un tatouage à combiner linéairement avec le message multi-bits et à ajouter à l'image, et le décodage via des produits scalaires entre l'image tatouée et le tatouage appris. Sur le benchmark standard MS-COCO, nous démontrons que pour la tâche difficile du tatouage 48-bits, ADD atteint une précision de décodage de 100 %, avec une baisse de performance d'au plus 2 % sous une large gamme de distorsions d'image, ce qui est substantiellement inférieur à la baisse moyenne de 14 % des méthodes de l'état de l'art. De plus, ADD réalise des gains computationnels substantiels, avec une intégration 2 fois plus rapide et un décodage 7,4 fois plus rapide que la méthode existante la plus rapide. Nous fournissons également une analyse théorique expliquant pourquoi le tatouage appris et la règle de décodage correspondante sont efficaces.

Les progrès récents des modèles vision-langage (VLM) ont révolutionné la compréhension visuelle générale. Cependant, leur application dans le domaine alimentaire reste limitée par des benchmarks qui reposent sur des catégories grossières, des images monovues et des métadonnées imprécises. Pour combler cette lacune, nous présentons DiningBench, un benchmark hiérarchique et multivue conçu pour évaluer les VLM à trois niveaux de complexité cognitive : la classification fine, l'estimation nutritionnelle et le question-réponse visuel. Contrairement aux jeux de données antérieurs, DiningBench comprend 3 021 plats distincts avec une moyenne de 5,27 images par entrée, intégrant des négatifs "difficiles" à granularité fine provenant de menus identiques et des données nutritionnelles rigoureuses basées sur la vérification. Nous menons une évaluation approfondie de 29 modèles open-source et propriétaires de pointe. Nos expériences révèlent que si les VLM actuels excellent en raisonnement général, ils éprouvent des difficultés significatives avec la discrimination visuelle fine et le raisonnement nutritionnel précis. De plus, nous étudions systématiquement l'impact des entrées multivues et du raisonnement en chaîne de pensée, identifiant cinq modes d'échec principaux. DiningBench sert de banc d'essai exigeant pour stimuler la prochaine génération de recherches VLM centrées sur l'alimentation. Tous les codes sont disponibles sur https://github.com/meituan/DiningBench.

Les représentations structurées de la mémoire, telles que les graphes de connaissances, sont essentielles pour les agents autonomes et autres systèmes à longue durée de vie. Cependant, la plupart des approches existantes modélisent le temps comme des métadonnées discrètes, soit en triant par récence (enfouissant les connaissances anciennes mais permanentes), soit en écrasant simplement les faits obsolètes, ou en nécessitant un appel coûteux à un LLM à chaque étape d'ingestion, ce qui les empêche de distinguer les faits persistants des faits évolutifs. Pour résoudre ce problème, nous présentons RoMem, un module temporel de graphe de connaissances prêt à l'emploi pour les systèmes de mémoire structurée, applicable à la mémoire agentique et au-delà. Une « Semantic Speed Gate » pré-entraînée mappe l'embedding textuel de chaque relation à un score de volatilité, apprenant à partir des données que les relations évolutives (par exemple, « président de ») doivent tourner rapidement tandis que les relations persistantes (par exemple, « né en ») doivent rester stables. Combinée à la rotation de phase continue, cela permet l'*ombre géométrique* : les faits obsolètes sont mis en déphasage dans l'espace vectoriel complexe, de sorte que les faits temporellement corrects surpassent naturellement les contradictions sans suppression. Sur la tâche de complétion de graphes de connaissances temporels, RoMem obtient des résultats state-of-the-art sur ICEWS05-15 (MRR de 72,6 %). Appliqué à la mémoire agentique, il offre une multiplication par 2 à 3 du MRR et de la précision des réponses sur le raisonnement temporel (MultiTQ), domine un benchmark hybride (LoCoMo), préserve la mémoire statique sans aucune dégradation (DMR-MSC) et généralise zero-shot à des domaines financiers non vus (FinTMMBench).

Les modèles vision-langage (VLM) obtiennent des performances impressionnantes sur des tâches de raisonnement multimodal complexes, mais ils échouent encore sur des compétences de base comme le décompte d'objets. Les évaluations existantes se limitent souvent à juger les sorties finales, offrant ainsi une vision limitée de l'origine de ces échecs au sein du modèle. Dans ce travail, nous présentons une étude empirique du comportement des VLM pour le décompte via des analyses comportementales et mécanistes. Nous introduisons COUNTINGTRICKS, une suite d'évaluation contrôlée basée sur des cas simples de décompte de formes, conçue pour révéler les vulnérabilités sous différentes dispositions de patchs et conditions d'invite adverses. En utilisant l'analyse d'attention et des sondages par composant, nous montrons que les preuves visuelles pertinentes pour le décompte sont plus fortes au stade de projection des modalités, mais se dégradent substantiellement dans les couches langagières ultérieures, où les modèles deviennent plus sensibles aux préjugés textuels. Motivés par cette observation, nous évaluons ensuite le Modality Attention Share (MAS), une intervention légère qui encourage un budget minimal d'attention visuelle durant la génération de la réponse. Nos résultats suggèrent que les échecs de décompte des VLM proviennent non seulement de limites de perception visuelle, mais aussi d'une sous-utilisation des preuves visuelles lors du raisonnement au stade langagier. Le code et le jeu de données seront publiés à l'adresse https://github.com/leduy99/-CVPRW26-Modality-Attention-Share.

La localisation précise des points clés humains en 3D est une technologie essentielle permettant aux robots d'atteindre une interaction physique naturelle et sûre avec les utilisateurs. Les méthodes conventionnelles d'estimation des points clés humains en 3D se concentrent principalement sur la qualité de reconstruction du corps entier par rapport à l'articulation racine. Cependant, dans les scénarios pratiques d'interaction humain-robot (HRI), les robots sont davantage préoccupés par la localisation spatiale précise à l'échelle métrique des parties du corps pertinentes pour la tâche, dans le système de coordonnées 3D de la caméra égocentrique. Nous proposons TAIHRI, le premier modèle vision-langage (VLM) conçu pour la perception HRI à courte distance, capable de comprendre les commandes de mouvement des utilisateurs et d'orienter l'attention du robot vers les points clés les plus pertinents pour la tâche. En quantifiant les points clés 3D dans un espace d'interaction fini, TAIHRI localise avec précision les coordonnées spatiales 3D des parties corporelles critiques par raisonnement sur les points clés 2D via la prédiction du token suivant, et s'adapte de manière transparente aux tâches en aval telles que le contrôle par langage naturel ou la reconstruction du maillage humain dans l'espace global. Les expériences sur des benchmarks d'interaction égocentrique démontrent que TAIHRI atteint une précision d'estimation supérieure pour les parties du corps critiques pour la tâche. Nous pensons que TAIHRI ouvre de nouvelles voies de recherche dans le domaine de l'interaction humain-robot incarnée. Le code est disponible à l'adresse : https://github.com/Tencent/TAIHRI.

Dans ce travail, nous introduisons une nouvelle perspective pour l'évaluation comparative d'images en représentant une paire d'images comme une composition structurée de ses régions. En revanche, les méthodes existantes se concentrent sur l'analyse de l'image entière tout en s'appuyant implicitement sur une compréhension au niveau régional. Nous étendons la notion intra-image de graphe de scène à l'inter-image, et proposons une nouvelle tâche appelée Graphe de Distorsion (GD). Le GD traite les images appariées comme une topologie structurée ancrée dans les régions, et représente des informations de dégradation denses telles que le type de distorsion, la sévérité, la comparaison et le score de qualité dans une structure graphique compacte et interprétable. Pour concrétiser la tâche d'apprentissage d'un graphe de distorsion, nous contribuons par (i) un jeu de données au niveau régional, PandaSet, (ii) une suite de référence, PandaBench, avec des niveaux de difficulté régionaux variables, et (iii) une architecture efficace, Panda, pour générer des graphes de distorsion. Nous démontrons que PandaBench représente un défi significatif pour les modèles de langage de grande taille multimodaux (MLLM) de pointe, car ils échouent à comprendre les dégradations au niveau régional même lorsqu'ils reçoivent des indices régionaux explicites. Nous montrons que l'entraînement sur PandaSet ou l'utilisation du GD comme prompt suscite une compréhension des distorsions région par région, ouvrant une nouvelle voie pour une évaluation par paires d'images fine et structurée.

La synthèse de données de réglage fin supervisé (SFT) à partir de modèles de langage (LM) pour enseigner des tâches multilingues à des modèles plus petits est de plus en plus courante. Cependant, la sélection du modèle enseignant est souvent ad hoc, se limitant généralement à l'option la plus grande disponible, même si ces modèles peuvent présenter des lacunes importantes dans les langues non anglaises. Cette pratique peut entraîner une qualité médiocre des données synthétiques et des performances sous-optimales des modèles étudiants en aval. Dans ce travail, nous caractérisons systématiquement ce qui fait un enseignant multilingue efficace. Nous mesurons des indicateurs intrinsèques de qualité des données avec les performances extrinsèques du modèle étudiant dans une métrique que nous appelons le Score Polyglotte ; évaluant 10 LM à travers 6 langues typologiquement diversifiées, générant plus de 1,4 million d'exemples SFT et entraînant 240 modèles étudiants. Parmi les modèles testés, Gemma 3 27B et Aya Expanse 32B émergent comme des enseignants constamment efficaces across différentes familles de modèles étudiants de base. Des analyses plus poussées révèlent que l'échelle du modèle seule ne prédit pas significativement l'efficacité de l'enseignant ; à la place, des qualités des données telles que la diversité des invites, la longueur et la fluidité des réponses capturent plus de 93,3 % de la variance dans la qualité intrinsèque des données et prédisent les performances des étudiants. Enfin, nous fournissons des recommandations pratiques, notamment l'appariement des familles de modèles des paires enseignant-étudiant et la traduction à partir d'invites existantes ou la réponse à celles-ci, ce qui peut apporter des améliorations pour les langues moins dotées en ressources. Nous espérons que notre travail fera progresser la recherche centrée sur les données dans le développement des données synthétiques multilingues et des LM.

La recherche en musique symbolique s'est appuyée presque exclusivement sur des jeux de données MIDI ; les formats de gravure textuels comme LilyPond restent inexplorés pour la compréhension musicale. Nous présentons BMdataset, un jeu de données musicologiquement constitué de 393 partitions LilyPond (2 646 mouvements) transcrites par des experts directement à partir de manuscrits baroques originaux, avec des métadonnées couvrant le compositeur, la forme musicale, l'instrumentation et les attributs sectionnels. S'appuyant sur cette ressource, nous introduisons LilyBERT (les poids sont disponibles à l'adresse https://huggingface.co/csc-unipd/lilybert), un encodeur basé sur CodeBERT adapté à la musique symbolique par extension du vocabulaire avec 115 tokens spécifiques à LilyPond et par un pré-entraînement de modèle de langue masqué. Une évaluation par sondage linéaire sur le corpus Mutopia hors domaine montre que, malgré sa taille modeste (~90M tokens), le réglage fin sur BMdataset seul surpasse le pré-entraînement continu sur l'intégralité du corpus PDMX (~15B tokens) pour la classification des compositeurs et des styles, démontrant que de petits jeux de données expertisés peuvent être plus efficaces que de grands corpus bruités pour la compréhension musicale. Combiner un pré-entraînement large avec un réglage fin spécifique au domaine produit les meilleurs résultats globaux (84,3 % de précision sur les compositeurs), confirmant que ces deux régimes de données sont complémentaires. Nous publions le jeu de données, le tokeniseur et le modèle pour établir une base de référence pour l'apprentissage de représentations sur LilyPond.

Le cache clé-valeur (KV) joue un rôle crucial dans l'accélération de l'inférence des grands modèles de langage (LLM) en stockant les états d'attention intermédiaires et en évitant les calculs redondants lors de la génération auto-régressive. Cependant, son empreinte mémoire augmente linéairement avec la longueur des séquences, entraînant souvent des goulots d'étranglement sévères sur le matériel aux ressources limitées. Les travaux antérieurs ont exploré le déchargement du cache KV vers le CPU tout en ne conservant qu'un sous-ensemble sur le GPU, mais ces approches reposent souvent sur une sélection imprécise des tokens et subissent une dégradation des performances dans les tâches de génération longue telles que le raisonnement en chaîne de pensée. Dans cet article, nous proposons une nouvelle stratégie de gestion du cache KV, IceCache, qui intègre le regroupement sémantique de tokens avec PagedAttention. En organisant les tokens sémantiquement liés dans des régions mémoire contiguës gérées par une structure de données hiérarchique et dynamiquement actualisable, notre méthode permet une sélection plus efficace des tokens et une meilleure utilisation de la bande passante mémoire lors des transferts CPU-GPU. Les résultats expérimentaux sur LongBench montrent qu'avec un budget de 256 tokens, IceCache maintient 99 % de la précision originale obtenue par le modèle utilisant le cache KV complet. De plus, par rapport aux autres méthodes basées sur le déchargement, IceCache atteint une latence et une précision compétitives, voire supérieures, tout en n'utilisant que 25 % du budget token du cache KV, démontrant son efficacité dans les scénarios à longues séquences. Le code est disponible sur notre site web de projet à l'adresse https://yuzhenmao.github.io/IceCache/.

Ce rapport technique intermédiaire présente la famille de modèles de base SHARE et l'interface utilisateur MIRROR. Les modèles SHARE constituent les premiers modèles de langage causal entièrement pré-entraînés par et pour les sciences sociales et humaines (SSH). Leur performance dans la modélisation des textes SSH est proche de celle des modèles généralistes (Phi-4) utilisant 100 fois plus de tokens, comme le démontre notre benchmark SSH Cloze personnalisé. L'interface utilisateur MIRROR est conçue pour examiner les entrées textuelles des disciplines SSH tout en préservant l'esprit critique. En prototypant une interface d'IA générative qui ne génère aucun texte, nous proposons une méthode pour exploiter les capacités des modèles SHARE sans compromettre l'intégrité des principes et normes des SSH.

Nous présentons ATANT (Automated Test for Acceptance of Narrative Truth), un cadre d'évaluation ouvert pour mesurer la continuité dans les systèmes d'IA : la capacité à maintenir, mettre à jour, désambiguïser et reconstruire un contexte significatif dans le temps. Bien que l'industrie de l'IA ait produit des composants de mémoire (pipelines RAG, bases de données vectorielles, fenêtres de contexte longues, couches de profil), aucun cadre publié ne définit ou ne mesure formellement si ces composants produisent une véritable continuité. Nous définissons la continuité comme une propriété du système avec 7 exigences, introduisons une méthodologie d'évaluation à 10 points de contrôle fonctionnant sans LLM dans la boucle d'évaluation, et présentons un corpus de test narratif de 250 histoires comprenant 1 835 questions de vérification couvrant 6 domaines de vie. Nous évaluons une implémentation de référence sur 5 itérations de la suite de test, progressant de 58% (architecture héritée) à 100% en mode isolé (250 histoires) et 100% en mode cumulatif sur 50 histoires, avec 96% à l'échelle cumulative de 250 histoires. Le résultat cumulatif est la mesure principale : lorsque 250 récits de vie distincts coexistent dans la même base de données, le système doit récupérer le fait correct pour le contexte approprié sans contamination croisée. ATANT est agnostique au système, indépendant du modèle, et conçu comme une méthodologie séquencée pour construire et valider des systèmes de continuité. Les spécifications du cadre, des exemples d'histoires et le protocole d'évaluation sont disponibles à l'adresse https://github.com/Kenotic-Labs/ATANT. Le corpus complet de 250 histoires sera publié de manière progressive.

Ce travail localise le mécanisme d'acheminement stratégique dans les modèles de langage alignés par entraînement. Une porte d'attention en couche intermédiaire lit le contenu détecté et déclenche des têtes amplificatrices plus profondes qui amplifient le signal vers le refus. Dans les modèles plus petits, la porte et l'amplificateur sont des têtes uniques ; à plus grande échelle, ils deviennent des bandes de têtes réparties sur des couches adjacentes. La porte contribue à moins de 1 % du DLA en sortie, mais des tests d'interchange (p<0,001) et une cascade de knock-out confirment qu'elle est causalement nécessaire. Un criblage par interchange sur n>=120 détecte le même motif dans douze modèles de six laboratoires (2B à 72B), bien que les têtes spécifiques diffèrent selon le labo. L'ablation par tête affaiblit jusqu'à 58x sur le modèle 72B et ne détecte pas les portes que l'interchange identifie ; l'interchange est la seule méthode d'audit fiable à grande échelle. Moduler le signal de la couche de détection contrôle continûment la politique, d'un refus catégorique à l'esquive puis à une réponse factuelle. Sur des invites de sécurité, la même intervention transforme le refus en conseil nuisible, montrant que la capacité entraînée pour la sécurité est contrôlée par l'acheminement plutôt que supprimée. Les seuils varient selon le sujet et la langue d'entrée, et le circuit se déplace entre les générations d'une même famille tandis que les benchmarks comportementaux n'enregistrent aucun changement. L'acheminement est à engagement précoce : la porte s'engage à son propre niveau avant que les couches plus profondes n'aient fini de traiter l'entrée. Sous un chiffrement par substitution contextuel, la nécessité de la porte par interchange s'effondre de 70 à 99 % sur trois modèles et le modèle bascule vers la résolution d'énigme. Injecter l'activation de la porte en texte clair dans la passe avant chiffrée restaure 48 % des refus dans Phi-4-mini, localisant le contournement au niveau de l'interface de routage. Une seconde méthode, l'analyse de contraste chiffré, utilise les différences de DLA texte clair/chiffré pour cartographier le circuit de routage sensible au chiffrement en O(3n) passes avant. Tout encodage qui neutralise la reconnaissance de motifs au niveau de la couche de détection contourne la politique, indépendamment du fait que les couches plus profondes reconstruisent ou non le contenu.