Articles du Jour

Nous présentons Orca, une première instanciation d’un modèle fondation général du monde. Orca apprend un espace latent unifié du monde à partir de signaux mondiaux multimodaux et l’expose via des interfaces de lecture multimodales. Plutôt que d’optimiser des prédictions isolées de token suivant, d’image suivante ou d’action suivante, nous nous concentrons sur la modélisation par Prédiction du Prochain État (Next-State-Prediction), offrant une voie unifiée de modélisation des transitions d’état pour comprendre, prédire et agir sur le monde. Orca apprend via deux paradigmes complémentaires : l’apprentissage inconscient capture les transitions d’état naturelles denses à partir de vidéos continues, et l’apprentissage conscient modélise les transitions d’état significatives et éparses à l’aide d’événements décrits par le langage et d’une supervision par VQA. Pour le pré-entraînement, nous construisons un vaste ensemble de données d’inventaire pour l’apprentissage du monde, comprenant 125 000 heures de vidéo et 160 millions d’annotations d’événements. Après le pré-entraînement, Orca apprend un espace latent unifié du monde. Pour examiner si ce latent appris soutient les tâches en aval, nous l’évaluons via trois lectures en aval représentatives : la génération de texte, la prédiction d’image et la génération d’actions incarnées. Le backbone d’Orca est gelé et seuls les décodeurs légers spécifiques aux modalités sont entraînables. Les expériences montrent la scalabilité du paradigme proposé et confirment qu’un latent monde plus fort permet des lectures en aval plus performantes. Orca surpasse les bases de référence spécialisées de taille similaire. Ces résultats montrent qu’Orca, en tant que modèle fondation général du monde, constitue une approche prometteuse pour comprendre, prédire et agir sur le monde. Enfin, nous discutons des limitations actuelles, dans le but d’offrir des perspectives et des inspirations utiles à la communauté.

Les vérificateurs de programmes jouent un rôle central dans l’entraînement des agents de codage, notamment pour la sélection de trajectoires dans le cadre du réglage fin supervisé (SFT) et pour l’attribution de récompenses lors de l’apprentissage par renforcement (RL). La vérification standard par exécution nécessite de lancer des tests unitaires dans des environnements propres à chaque dépôt, comme des images Docker, ce qui entraîne des coûts substantiels de configuration d’environnement. Nous proposons Dockerless, un vérificateur de correctifs agentique sans environnement, qui évalue les correctifs de code générés sans les exécuter. Plutôt que de simplement faire correspondre des correctifs candidats à des références, Dockerless juge la correction des correctifs en utilisant des preuves rassemblées grâce à une exploration agentique du dépôt. Sur un benchmark d’évaluation de vérificateurs, Dockerless surpasse le vérificateur open source le plus performant de 14,3 points d’AUC. En utilisant Dockerless à la fois comme filtre de trajectoires pour le SFT et comme récompense pour le RL, nous obtenons un pipeline de post-entraînement entièrement sans environnement. Le modèle résultant atteint des taux de résolution de 62,0 %, 50,0 % et 35,2 % sur SWE-bench Verified, Multilingual et Pro respectivement. Il dépasse la baseline Qwen3.5-9B de 2,4, 8,7 et 2,9 points, égalant ainsi les performances du post-entraînement basé sur environnement.

La distillation sur politique (DSP) offre un transfert de capacité supérieur en supervisant les trajectoires échantillonnées par l'étudiant à l'aide de signaux denses au niveau des tokens. Afin de fournir des sources de supervision de haute qualité et d'élever ainsi la frontière de performance de la distillation, une direction intuitive consiste à injecter des informations privilégiées, soit au professeur, soit à l'étudiant lui-même. Cependant, cette entrée supplémentaire induit un mode de défaillance potentiel que nous appelons l'illusion de privilège : un schéma qui confond l'écart de capacité transférable que les étudiants sont censés combler avec l'écart d'asymétrie d'information qui ne peut être qu'imité, jamais reproduit. Ce problème est amplifié par la non-uniformité inhérente de la supervision au niveau des tokens, où seule une petite partie des tokens porte des signaux porteurs de capacités cruciales. À cette fin, nous proposons DOPD, un paradigme de double distillation sensible à l'avantage qui achemine dynamiquement la supervision au niveau des tokens entre les politiques du professeur privilégié et de l'étudiant privilégié, en fonction de leur écart d'avantage et de leurs probabilités relatives. Chaque token reçoit une supervision de force, d'objectif et de stratégie différents, provenant soit du professeur, soit de l'étudiant lui-même, ce qui transfère une capacité crédible tout en recevant simultanément des signaux auxiliaires, atténuant ainsi l'illusion de privilège. Des expériences approfondies, à la fois sur des modèles de langage de grande taille (LLM) et sur des modèles vision-langage (VLM), montrent que DOPD surpasse systématiquement la DSP standard et d'autres approches comparables. Des résultats supplémentaires sur la stabilité, la robustesse, l'apprentissage continu et les tâches hors distribution confirment sa supériorité.

Le décodage spéculatif accélère l'inférence en utilisant un modèle de brouillon léger pour générer des tokens candidats en parallèle, qui sont ensuite vérifiés par le modèle cible, permettant une accélération sans perte. Récemment, le décodage spéculatif basé sur la diffusion a encore amélioré le parallélisme en générant plusieurs tokens par passage avant via une diffusion au niveau des blocs, atteignant des performances de pointe (SOTA). Cependant, les méthodes existantes adoptent une taille de bloc d'inférence fixe et supposent une stratégie de décodage optimale uniforme pour toutes les entrées. Dans cet article, nous montrons que cette hypothèse est sous-optimale, car la taille de bloc optimale varie selon les échantillons et joue un rôle critique dans les performances du décodage spéculatif. De plus, ces valeurs présentent une structure locale claire, se concentrant autour de la taille de bloc d'entraînement, ce qui réduit le problème à un espace de décision structuré et de faible dimension. Sur la base de ces observations, nous proposons BlockPilot, une politique adaptative à l'échantillon qui prédit la taille de bloc optimale à partir de la représentation du préremplissage. Plus précisément, nous formulons la sélection de la taille de bloc comme un problème d'apprentissage de politique léger et proposons un mécanisme de décision adaptatif à l'instance qui prédit la taille de bloc optimale à partir de la représentation de la phase de préremplissage. La prédiction n'est effectuée qu'une seule fois après le préremplissage, permettant une intégration transparente. Des expériences approfondies démontrent que notre méthode est prête à l'emploi, introduit une surcharge minimale et améliore constamment l'efficacité, atteignant une longueur d'acceptation de 5,92 et une accélération de 4,20 fois sur Qwen3-4B à température T=1.

Les modèles Vision-Langage-Action (VLA) incarnés sont généralement obtenus en affinant de puissants modèles VLM pré-entraînés sur des données robotiques, mais il n'est pas clair dans quelle mesure ils conservent les connaissances communes et factuelles après l'adaptation. Les échecs sur des tâches sensibles aux connaissances sont ambigus, confondant un manque de connaissances avec une mauvaise généralisation du contrôle de bas niveau. Nous introduisons Act2Answer, un protocole léger qui adapte les références de connaissances VLM à l'évaluation VLA en exigeant que les agents répondent par l'action. Chaque question devient un court épisode de table où l'agent effectue une action unique de placement d'objet pour sélectionner une réponse parmi les candidates, produisant un taux de succès ancré dans l'action avec des confusions de contrôle réduites. Nous constituons une suite de tests de ces environnements dans diverses catégories de sens commun et de connaissance du monde, et introduisons un sondage d'intention par couche pour localiser les informations pertinentes à la réponse à travers le backbone VLM et la tête d'action. Dans une étude à grande échelle de 7 modèles VLA et 9 modèles de base VLM, nous classons systématiquement les modèles par catégories, constatant que les VLA montrent des performances solides sur les concepts simples tout en présentant des écarts plus importants sur les catégories sémantiques riches par rapport à leurs VLM sources, que le co-entraînement VQA est associé à une meilleure rétention des connaissances, et que les signaux pertinents pour la réponse culminent dans les couches intermédiaires des VLA mais s'atténuent dans les couches supérieures. Act2Answer est disponible à l'adresse https://tttonyalpha.github.io/act2answer/.

Une scène 3D se comprend à travers ses objets, et non par les primitives qui les composent. Pourtant, les méthodes de reconstruction feed-forward produisent des ensembles denses et non structurés de points ou de Gaussiennes, laissant la structure au niveau des objets à reconstruire a posteriori. Nous proposons un cadre feed-forward qui décompose une scène en groupes de tokens 3D structurés par instance directement à partir d’images multi-vues non positionnées — des unités compactes centrées sur les objets à partir desquelles découlent reconstruction, segmentation et manipulation. Chaque groupe de tokens associe un token d’instance capturant l’identité au niveau de l’entité avec des tokens d’ancrage qui encodent la géométrie et l’apparence locales, décodés ensuite en un ensemble de Gaussiennes 3D. Cette factorisation à deux niveaux dissocie l’identité de l’objet de son apparence locale, faisant des instances d’objets une interface native de la représentation plutôt qu’un produit dérivé. Les groupes de tokens sont appris par rendu différentiable avec une supervision conjointe sur la reconstruction et la segmentation, sans nécessiter d’annotations 3D. Notre modèle feed-forward surpasse les bases de référence par optimisation par scène en segmentation d’instances indépendante de la classe, tout en restant compétitif en synthèse de nouvelles vues. Au-delà de ces métriques, ces mêmes groupes de tokens permettent directement l’édition de scène au niveau des instances — supprimer, translater ou insérer des objets en agissant sur leurs groupes — ainsi qu’une recherche efficace d’instances 3D à vocabulaire ouvert, dont la complexité évolue avec le nombre d’instances plutôt qu’avec celui des primitives.

Les modèles génératifs visuels sont généralement entraînés en deux étapes. Un tokenizer est d'abord entraîné pour la reconstruction puis figé, après quoi un générateur est entraîné sur ses indices discrets ou ses latents continus. Ce découplage laisse le tokenizer ignorant de ce que le générateur trouve facile à modéliser. Nous présentons GEAR (Guided End-to-end AutoRegression), qui entraîne un tokenizer quantifié vectoriellement (VQ) et un générateur autorégressif (AR) conjointement et de bout en bout, guidé par l'alignement des représentations. L'obstacle principal est que l'indice VQ fourni au modèle AR est non différentiable, de sorte que les gradients ne peuvent pas atteindre le tokenizer, et un estimateur straight-through s'effondre. GEAR résout ce problème avec une double lecture de l'affectation du codebook. Une branche dure, one-hot, entraîne l'AR avec la prédiction du jeton suivant, tandis qu'une branche souple différentiable porte une perte d'alignement des représentations qui rétropropage pour guider uniquement le tokenizer. Le modèle AR oriente ainsi son tokenizer vers une distribution d'indices qu'il peut prédire plus facilement. Cela déplace le fardeau de l'alignement du tokenizer vers l'AR : les propres caractéristiques du tokenizer deviennent moins de type DINOv2 tandis que celles de l'AR le deviennent davantage, à l'inverse des recettes côté diffusion qui rendent le latent lui-même sémantique. GEAR accélère la convergence du gFID sur ImageNet jusqu'à 10x par rapport à la baseline robuste LlamaGen-REPA, apprend des caractéristiques au niveau des patches et spatialement cohérentes nettement meilleures, et se généralise à travers les quantificateurs (VQVAE, LFQ, IBQ) et à la génération texte-à-image.

L'expérience acquise en concevant des noyaux GPU plus rapides pourrait-elle également aider à se rapprocher d'une conjecture mathématique ouverte de longue date ? Les grands modèles de langage (LLMs) intégrés dans une recherche évolutionnaire ont récemment produit des solutions de pointe sur des tâches d'optimisation, notamment les conjectures mathématiques ouvertes, la conception de noyaux GPU, la découverte de lois scientifiques et les puzzles combinatoires. Pour y parvenir, les travaux antérieurs ont appliqué des échafaudages de recherche à une seule tâche cible à la fois, de sorte que chaque nouveau problème est abordé à partir de zéro et que l'expérience accumulée durant la recherche est abandonnée une fois que le modèle termine sa tentative. Cela laisse la capacité d'évoluer itérativement une solution (par exemple, savoir quelle partie muter et comment, décider quand revenir en arrière) entièrement dans l'échafaudage plutôt que dans le modèle lui-même. La question de savoir si le modèle lui-même pourrait acquérir cette capacité et la réutiliser à travers différentes tâches est largement restée inexplorée. Pour y remédier, nous introduisons Evolution Fine-Tuning (EFT), un paradigme d'apprentissage intermédiaire qui enseigne aux LLMs à faire évoluer des solutions à travers les tâches en convertissant les trajectoires de recherche évolutionnaire en supervision. Nous construisons Finch Collection, un ensemble de données de 156 000 trajectoires couvrant 10 domaines et 371 tâches d'optimisation, et effectuons un fine-tuning de modèles LLM open source de 2 à 9 milliards de paramètres. Empiriquement, l'EFT confère une généralisation inter-tâches : sur 22 tâches mises de côté, nos modèles surpassent leurs homologues de base de 10,22 % en moyenne. De plus, lorsqu'il est associé à un RL en phase de test, notre modèle atteint des performances de pointe sur deux tâches de placement de cercles et surpasse son homologue basé sur le modèle de base sur le problème de recouvrement minimum d'Erdős. L'EFT sert ainsi de « phase de pratique » pour des agents de découverte à usage général qui ne résolvent pas de nouveaux problèmes à partir de zéro.

Les modèles de langage à diffusion par blocs (BD-LM) améliorent la génération de texte basée sur la diffusion grâce à la mise en cache KV et à la génération de longueur flexible. Une étape naturelle consiste à les étendre de la diffusion à bloc unique (SingleBD) à la diffusion multi-blocs (MultiBD), où un ensemble courant de blocs consécutifs est décodé simultanément pour un parallélisme inter-blocs. Cependant, les BD-LM existants sont principalement entraînés sous teacher forcing, où le modèle n'observe qu'un seul bloc bruité conditionné par un préfixe propre. Bien que la stratégie récente de diffusion forcing introduise une visibilité entre plusieurs blocs bruités, ses états d'entraînement diffèrent encore de l'inférence MultiBD, où le décodage opère sur un ensemble courant borné avec des motifs de bruit hétérogènes par emplacement. Pour combler cet écart, nous proposons les modèles de langage à diffusion multi-blocs (MBD-LM), obtenus par post-entraînement des BD-LM avec le teacher forcing multi-blocs (MultiTF). MultiTF intègre le teacher forcing et le diffusion forcing en s'entraînant sur des groupes de bruit bornés conditionnés par des préfixes propres, avec des planificateurs de bruit aléatoires qui correspondent mieux aux états d'inférence MultiBD. Pour rendre MultiBD exécutable en pratique, nous introduisons en outre un algorithme de décodage optimisé basé sur le mécanisme de tampon de blocs, qui préserve la réutilisation du cache de préfixe, maintient les formes d'entrée statiques et traduit un parallélisme de décodage accru en une accélération du temps réel. Empiriquement, MBD-LLaDA2-Mini augmente le nombre moyen de jetons par passe avant (TPF) de 3,47 à 6,19 et améliore la précision moyenne de 79,95 % à 81,03 % ; combiné à DMax, MBD-LLaDA2-Mini-DMax atteint un TPF moyen de 9,34 avec seulement une baisse de précision de 1,02 % sur les benchmarks de mathématiques et de code.

Les compétences des agents étendent les agents de modèle de langage avec des procédures, des scripts et des références spécifiques aux tâches, mais les tâches et les environnements qu'elles ciblent changent continuellement. Les méthodes existantes améliorent les compétences dans des exécutions bornées et ne conservent que l'artefact final, en écartant l'historique des décisions dont les agents ultérieurs ont besoin pour interpréter les révisions antérieures, les évaluations et les alternatives rejetées. Nous présentons SkillHone, un harnais pour l'évolution continue des compétences des agents ancrée dans un historique persistant des décisions. SkillHone associe les révisions de compétences à des preuves du côté de l'évaluation qui fournissent un retour d'expérience pratique, en enregistrant des historiques structurés de diagnostics, de révisions, de preuves et de résultats. Des sous-agents aux rôles séparés exécutent des compétences candidates sur des sondes d'entraînement avec des rapports expurgés et proposent des révisions éclairées par les décisions antérieures, permettant un raffinement inter-sessions sans redécouvrir les justifications passées. Sur des benchmarks de recherche approfondie, SkillHone s'exécute sans pile de recherche pré-intégrée et surpasse l'agent de recherche approfondie soutenu commercialement de 15,8 points sur GAIA et de 3,2 points sur WebWalkerQA-EN, tout en dépassant également les méthodes antérieures d'évolution des compétences. Nous déployons en outre SkillHone sur des scénarios d'analyse interne médiée par des outils, où il améliore la précision d'une moyenne de 18,8 points sur sept contextes.

Les modèles vidéo du monde sont des modèles interactifs de génération vidéo qui prédisent les états futurs du monde en fonction des actions de l'utilisateur et des images vidéo historiques. Un défi critique dans ces modèles est le manque de mémoire, qui entraîne des scènes générées incohérentes sur de longues durées. Des travaux antérieurs ont exploré la récupération de trames de contexte basée sur des règles comme forme de mémoire, mais ces approches échouent à généraliser dans des scénarios présentant des occlusions de scène et des objets dynamiques. Nous proposons MemLearner, une méthode d'interrogation de contexte adaptative fondée sur l'apprentissage, utilisant des jetons d'interrogation pour faire le lien entre les jetons de contexte et les jetons prédits. En exploitant le modèle de génération vidéo lui-même pour l'interrogation du contexte, MemLearner utilise les priors visuels pré-entraînés sans avoir à entraîner de nouveaux modules à partir de zéro, et intègre des stratégies efficaces pour l'entraînement et l'inférence. Nous constituons un ensemble de données de vidéos longues avec occlusions de scène et objets dynamiques, associées à des annotations de pose de caméra, et proposons une stratégie d'entraînement multi-ensembles de données exploitant à la fois des vidéos rendues annotées et des vidéos réelles non annotées. Des expériences approfondies montrent que MemLearner surpasse significativement les modèles vidéo du monde antérieurs en termes de cohérence de scène et de mémoire, en particulier dans les scénarios difficiles d'occlusion et de dynamique.

La génération d'images riches en texte est l'un des contextes les plus exigeants dans le domaine de la génération d'images, car les modèles doivent simultanément produire des images visuellement réalistes et rendre un texte lisible, sémantiquement aligné et cohérent en termes de mise en page. Les pipelines de données existants suivent généralement un paradigme statique de collecte-filtrage-gel. Ils collectent des échantillons candidats, les filtrent une fois, et gèlent les données acceptées pour l'entraînement. Cependant, les échantillons rejetés sont généralement écartés, bien qu'ils contiennent souvent des signaux d'échec utiles tels que des erreurs OCR et des inadéquations sémantiques. En conséquence, les cycles de construction ultérieurs peuvent répéter les mêmes modes d'échec. Pour pallier ces limitations, nous proposons DataEvolver, un cadre multi-agents auto-évolutif pour la construction de données d'images riches en texte. DataEvolver considère la construction de données comme une évolution de la politique de construction guidée par des retours. Un Récupérateur collecte des échantillons candidats, un Vérificateur attribue des scores de qualité et des causes de rejet, un Critique résume les retours au niveau du cycle en retours sémantiques, et un Générateur complète les zones sous-couvertes par une synthèse ciblée. La mémoire de retours mise à jour guide ensuite le cycle de construction suivant. Des expériences sur des bancs d'essai de génération d'images riches en texte montrent que DataEvolver produit des données d'entraînement plus utiles que les ensembles de données fixes de référence sous des budgets de données équivalents. À l'échelle de 0,75 M sur PixArt-alpha, DataEvolver améliore le score OCR-F1 de 85,3 % sur TextScenesHQ et de 35,3 % sur LongTextBench par rapport à la référence la plus forte. Les améliorations sont cohérentes sur les deux bancs d'essai évalués et se transfèrent également à Show-o2, indiquant que l'avantage de DataEvolver n'est pas lié à un seul générateur en aval. Ces résultats suggèrent que les échantillons rejetés peuvent fournir des retours exploitables pour améliorer la construction de données d'images riches en texte.

La métacognition est un élément essentiel de l'intelligence, décrivant la capacité à surveiller et à réguler ses propres processus cognitifs. Pourtant, les LLM présentent des déficiences systémiques dans des facultés métacognitives clés : ils hallucinent avec une grande confiance, échouent à reconnaître les limites de leurs connaissances et représentent mal leur incertitude interne, ce qui compromet leur fiabilité et leur crédibilité. Étant donné que la surveillance de la performance des tâches et l'adaptation du comportement en conséquence sont au cœur de la métacognition, nous postulons que les modèles capables de juger avec précision leur propre performance sont mieux placés pour l'améliorer. Nous opérationnalisons cette idée via deux mécanismes novateurs : l'apprentissage par renforcement avec retour métacognitif (RLMF), un paradigme visant à affiner les classements des complétions lors de l'optimisation des préférences en se basant sur la qualité des auto-évaluations de performance du modèle, et la sélection métacognitive de données, qui utilise des auto-évaluations similaires pour identifier les exemples d'entraînement à haute valeur, surpassant ainsi l'apprentissage actif naïf. Nous appliquons ces innovations au problème de la calibration fidèle (FC), une tâche qui est elle-même fondamentalement métacognitive : l'objectif est d'aligner l'incertitude exprimée avec l'incertitude intrinsèque, ce qui est difficile même pour les LLM de pointe. Nous adoptons une approche découplée en deux étapes, utilisant d'abord ces méthodes pour calibrer la fiabilité des scores de confiance auto-rapportés des modèles, puis en mappant ceux-ci à une incertitude linguistique naturelle et adaptable au contexte via une édition ciblée des sorties. Des expériences approfondies montrent que le RLMF atteint une FC de pointe et généralisable sur diverses tâches, tout en préservant la précision. De plus, le RLMF dépasse le RL standard jusqu'à 63 % tout en améliorant la capacité des modèles à évaluer et à exprimer leurs propres limites de capacité. Cela positionne le RLMF comme un paradigme prometteur pour améliorer la métacognition des LLM en vue de meilleures capacités et d'un meilleur alignement, et suggère que la performance métacognitive constitue un signal RL efficace pour surmonter les limites des méthodes antérieures de retour intrinsèque.

La mémoire procédurale est de plus en plus utilisée pour améliorer les agents LLM dans les tâches récurrentes en milieu professionnel, mais sa capacité à produire des compétences réutilisables reste mal comprise. Nous présentons AFTER, un benchmark composé de 382 tâches réalistes en entreprise couvrant six rôles professionnels et 22 compétences procédurales, conçu pour évaluer comment les compétences se transfèrent entre tâches, rôles et architectures de modèles. Le benchmark inclut des contextes d'évaluation contrôlés pour l'amélioration locale, le transfert inter-tâches, le transfert inter-rôles et la généralisation inter-modèles. Les expériences montrent que la mémoire procédérale apporte des gains constants dans les workflows industriels : un seul cycle d'affinage améliore la performance globale de 3,7 à 6,7 points, tandis que les compétences issues de traces d'exécution multi-modèles diversifiées atteignent une précision de test inter-modèle de 73,1 %, surpassant toutes les sources de traces issues d'un seul modèle. Nous constatons en outre que certaines compétences se généralisent largement à travers tâches et modèles, tandis que d'autres se spécialisent dans des flux de travail propres à un rôle et perdent en efficacité lors du transfert. Ces résultats fournissent des orientations pratiques pour construire, évaluer et déployer des systèmes de mémoire procédurale dans les plateformes agentiques de production.

La diversité dans le raisonnement mathématique des LLM est essentielle pour l'exploration, mais les métriques de diversité courantes capturent principalement des variations de surface plutôt que des différences dans la manière dont un problème est résolu. Nous comblons cette lacune en introduisant la diversité au niveau des approches : la variation des stratégies parmi les solutions correctes d'un même problème. En utilisant un cadre de jugement LLM calibré par des humains, nous montrons que les mesures de diversité antérieures sont des substituts peu fiables pour la diversité au niveau des approches, et ce décalage se répercute sur le RLVR tenant compte de la diversité, où les métriques cibles sont préservées tandis que la diversité d'approche diminue. En examinant quand la diversité d'approche est utile et si elle peut être induite directement, nous constatons que les ensembles de candidats diversifiés en termes d'approche améliorent le passage à l'échelle en phase de test. Cependant, l'optimisation d'une récompense de diversité basée sur un juge LLM pendant l'entraînement amène la politique à exploiter les préférences spécifiques au juge plutôt qu'à élargir ses approches, laissant l'optimisation directe de la diversité d'approche comme un problème ouvert. Ensemble, nos travaux introduisent la notion de diversité au niveau des approches et mettent en lumière une divergence systématique entre les signaux de surface et ceux d'approche, marquant une avancée vers des LLM qui raisonnent de manière véritablement diverse, à l'image des humains.

Les photomosaïques sont de grandes images dont les régions locales apparaissent comme des carreaux indépendants, tandis que leur agencement d'ensemble forme une scène cohérente. Leur génération à haute résolution, où chaque carreau est convaincant en soi, est coûteuse en calcul, car le canevas doit contenir simultanément de nombreux carreaux détaillés. Nous présentons PhotoQuilt, un cadre sans entraînement qui génère des photomosaïques à résolution arbitraire. Les modèles de diffusion peinent à satisfaire les deux échelles à la fois, car la génération directe en haute résolution est coûteuse et tend vers une image lisse plutôt qu'une mosaïque, tandis que le découpage en carreaux préserve les détails locaux mais perd la structure globale. PhotoQuilt résout ce problème par une procédure de débruitage par carreaux amorcée. Nous produisons d'abord une composition globale en basse résolution pour fixer la disposition, puis nous la suréchantillonnons dans l'espace latent et réinjectons du bruit pour restaurer la capacité générative. Le débruitage s'effectue dans des carreaux fixes, de sorte que chacun forme sa propre image tandis que la structure globale partagée les maintient dans une seule disposition. Étant donné que la génération des carreaux est traitée séparément, PhotoQuilt passe à l'échelle sur de grands canevas sans coût d'attention quadratique. Les expériences montrent que PhotoQuilt surpasse les références actuelles tant sur la structure globale que sur le réalisme local.

Les modèles vocaux sont de plus en plus déployés dans des applications réelles dans plusieurs langues. Pourtant, leur sécurité et leur équité au-delà des contextes anglophones et dans des conditions naturalistes restent peu étudiées. Nous examinons les pratiques de rapport de sécurité dans les publications de modèles vocaux de pointe et constatons que seulement 8 % d'entre elles documentent une analyse multilingue. Pour combler cette lacune, nous présentons RedVox, un benchmark multilingue de sécurité et d'équité pour l'audio et la parole, construit à partir de voix réelles, couvrant des requêtes stéréotypées dangereuses et injustes dans cinq langues (anglais, français, italien, espagnol et allemand). En évaluant huit modèles de pointe, nous constatons que les vulnérabilités persistent même dans des conditions non adversariales, s'aggravent dans les langues autres que l'anglais et sont amplifiées lorsque la requête provient d'une entrée vocale. Enfin, en interrogeant les participants ayant contribué à RedVox, nous documentons les défis personnels et de confidentialité uniques liés à la collecte de données vocales auprès de participants humains, soulignant ainsi des défis sociotechniques plus larges dans la recherche sur la sécurité de la parole en conditions naturalistes.

Alors que les corpus vidéo continuent de s’étendre en taille et en complexité des tâches, la nécessité d’approches capables de retrouver des vidéos pertinentes dans des corpus à grande échelle (raisonnement inter-vidéo) puis d’effectuer un raisonnement fin, conditionné par la requête, au sein du contenu récupéré (raisonnement intra-vidéo) — comme l’ancrage temporel — se fait de plus en plus pressante. Cependant, les approches existantes traitent généralement la recherche comme une étape de prétraitement ; en conséquence, lorsque la recherche initiale échoue, aucun mécanisme n’est prévu pour affiner celle-ci, ce qui conduit à l’échec du raisonnement intra-vidéo fin ultérieur. Par ailleurs, les récents cadres agentiques, bien qu’ayant fait progresser la compréhension vidéo, supposent typiquement que la vidéo pertinente à la requête est déjà donnée, se concentrant exclusivement sur les tâches de raisonnement intra-vidéo. Pour remédier à ces limitations, nous proposons VideoSearch-R1, un cadre agentique pour la recherche et le raisonnement itératifs de vidéos via une interaction multi-tours avec un moteur de recherche vidéo. Plus précisément, nous introduisons le Soft Query Refinement (SQR) pour affiner les tokens de requête de recherche dans un espace latent continu plutôt que de reformuler les requêtes dans l’espace textuel discret, permettant ainsi des ajustements plus efficaces et plus fins. Le SQR et son processus de raisonnement sont entraînés à l’aide de l’optimisation de politique relative par groupe (GRPO), guidée par des signaux de récompense au niveau de la tâche issus des tâches de recherche et des tâches aval. Ce fondement permet à VideoSearch-R1 d’atteindre des performances à l’état de l’art sur trois jeux de données pour la recherche de moments dans des corpus vidéo (VCMR), en récupérant itérativement des vidéos à partir de corpus à grande échelle, en affinant les requêtes de recherche, et en effectuant un ancrage temporel précis conditionné par la requête dans le contenu récupéré. Nos analyses montrent que le SQR affine efficacement la requête originale, nécessitant significativement moins de tokens générés qu’une reformulation explicite au niveau textuel. Le code et les points de contrôle du modèle sont disponibles publiquement à l’adresse mlvlab.github.io/VideoSearch-R1.

Les agents d'interface utilisateur graphique (GUI) s'appuient sur des modèles vision-langage pour accomplir des tâches utilisateur de bout en bout dans des applications réelles, via des actions d'interface telles que le tapotement, le balayage, la saisie de texte et la navigation. Cependant, les agents GUI existants sont principalement entraînés et évalués sur des trajectoires hors ligne, des environnements simulés et des benchmarks standardisés. Ceux-ci diffèrent sensiblement des applications réelles en termes de disposition d'interface, de logique d'interaction et de distribution des états anormaux, et ne peuvent pas caractériser fidèlement la stabilité d'exécution dans un usage réel, où les états de compte, les dialogues d'autorisation, l'authentification de paiement et le contrôle des risques modifient continuellement la distribution des états, creusant un écart persistant entre les scores de benchmark et l'utilisabilité réelle. Pour combler cet écart, nous proposons Xiaomi-GUI-0, un agent GUI multimodale natif pour environnements mobiles réels, entraîné et évalué au sein d'une boucle fermée sur dispositif réel. Son cœur repose sur une infrastructure hybride dominée par le dispositif réel, où les appareils physiques constituent l'environnement d'exécution principal et les bacs à sable fournissent un support auxiliaire, de sorte que la collecte de données, l'entraînement, le déploiement et l'évaluation partagent une distribution d'exécution proche du déploiement réel. Nous construisons des données d'entraînement multi-sources couvrant les tâches tête à haute fréquence, les données de haute généralisation pour les intentions longue traîne, et les données d'amélioration des capacités pour la réflexion et la mémoire, et introduisons un cycle vertueux de données piloté par les erreurs, qui transforme les trajectoires d'échec en actions corrigées, explications réflexives et démonstrations de récupération. Le modèle est entraîné via un pipeline progressif en trois étapes : fine-tuning supervisé, apprentissage par renforcement au niveau des étapes, et apprentissage par renforcement agentique. Évalué sur des benchmarks publics et notre RealMobile interne, Xiaomi-GUI-0 atteint 72,0 % de succès sur RealMobile et 78,9 % sur AndroidWorld, tout en améliorant considérablement la stabilité d'exécution et la reconnaissance des états anormaux dans des tâches réelles.

Les robots multi-doigts promettent la vitesse et la dextérité des mains humaines, mais des problèmes difficiles tels que l'assemblage de précision restent hors de portée. Ces tâches sont riches en contacts, ce qui rend la collecte de données pour l'apprentissage par imitation difficile, et les récompenses sont éparses, ce qui rend l'exploration directe par apprentissage par renforcement (RL) irréalisable. Par conséquent, les travaux antérieurs ont progressé en structurant le problème avec des pinces spécialisées, des accessoires d'outils et des dispositifs environnementaux. Dans ce travail, nous soutenons qu'avant qu'un robot ne puisse perfectionner l'assemblage de précision, il doit d'abord apprendre à jouer. Nous posons en outre la question suivante : quels facteurs dans le processus d'apprentissage du jeu sont importants pour l'assemblage de précision ? Nous proposons Play2Perfect, un cadre RL pour le pré-entraînement sans tâche spécifique via le jeu sur des objets et des objectifs variés, qui est ensuite perfectionné pour l'assemblage de précision. Le but du jeu est d'acquérir des prérequis de manipulation réutilisables, tels que la préhension, la réorientation dans la main et l'atteinte de poses. Le réglage fin adapte ensuite ces prérequis généraux à l'assemblage, en concentrant l'exploration sur les interactions finales riches en contacts et de haute précision nécessaires à la réussite. Nous étudions systématiquement les choix de conception clés dans le pré-entraînement par le jeu, notamment la diversité des objets, l'objectif d'entraînement, la diversité des trajectoires et la précision des objectifs. Nous montrons que notre prérequis est 33 fois plus efficace en termes d'échantillons que l'entraînement RL à partir de zéro, même en fournissant des récompenses denses à plusieurs étapes. Nous démontrons un transfert sim-to-real sans ajustement, atteignant 60 % de succès sur des insertions serrées avec seulement 0,5 mm de jeu de contact, et plus de 50 % de succès sur l'assemblage et le vissage multi-pièces à long terme.

Alors que les grands modèles de langage dominent actuellement le paysage de la recherche, les petits modèles de langage restent très pertinents dans divers domaines, mais bénéficient de beaucoup moins d'attention. Dans cette étude, nous examinons comment les petits modèles de langage se comportent lors de l'étape de génération au sein d'un système de Génération Augmentée par Récupération (RAG). Pour évaluer efficacement ces modèles, nous avons utilisé des ensembles de données open source et propriétaires couvrant divers domaines disciplinaires et types de questions. Nos résultats démontrent qu'un système RAG utilisant de petits modèles de langage peut être exécuté directement sur un appareil sans nécessiter de matériel GPU, en un temps raisonnable. Le code expérimental et les liens vers les documents complémentaires sont accessibles via le dépôt GitHub suivant : https://github.com/SibNN/SLM-RAG-EVAL.

Les agents LLM agissent de plus en plus sur de longs horizons, où une seule trajectoire peut contenir des centaines ou des milliers d'actions. Dans ces contextes, les récompenses basées uniquement sur le résultat fournissent un guidage trop parcimonieux, ne parvenant pas à informer le modèle de la qualité des actions intermédiaires. Les méthodes de supervision dense visent à résoudre ce problème en évaluant les étapes intermédiaires, allant de la confiance intrinsèque à l'auto-distillation et aux similarités de plongements. Cependant, il est courant de les évaluer en mesurant la performance en aval d'un pipeline d'entraînement qui les intègre. Cette approche est coûteuse, confond la qualité de la supervision avec des facteurs de confusion liés à l'ingénierie d'entraînement, et rend incomparables différentes familles méthodologiques nécessitant des configurations d'entraînement distinctes. En conséquence, les méthodes de supervision dense sont rarement évaluées sur un terrain commun. Nous introduisons QVal, un banc d'essai sans entraînement pour évaluer directement les signaux de supervision dense. Étant donné une paire état-action, QVal mesure dans quelle mesure le score d'une méthode est aligné sur Q : s'il ordonne les actions selon les valeurs Q d'une politique de référence forte. Cela nous permet de comparer les signaux avant tout entraînement et de séparer la qualité du signal des autres choix d'ingénierie. Nous instancions QVal sous la forme de QVal-v1.0, en évaluant 21 méthodes de supervision dense dans quatre environnements divers et sept familles méthodologiques, avec plus de 1 200 expériences d'évaluation sur six modèles de base à poids ouverts. Nous constatons que les lignes de base de promptification simples surpassent systématiquement les récentes méthodes de supervision dense issues de la littérature, et que les performances se regroupent fortement par famille. Ces résultats sont valables quelle que soit la taille du modèle, l'environnement ou la modalité d'observation. QVal est conçu pour être facilement extensible à de nouveaux environnements et méthodes, permettant aux chercheurs d'itérer sur les méthodes de supervision dense avant tout entraînement.

Les Transformers autorégressifs dominent la génération de maillages de haute qualité en produisant des topologies dignes d'artistes, mais leur décodage séquentiel inhérent engendre une surcharge computationnelle substantielle, étant de plusieurs ordres de grandeur plus lents que les modèles génératifs parallèles. D'autre part, bien que les méthodes continues de diffusion et d’appariement de flux (flow matching) permettent une synthèse parallèle efficace dans divers domaines, elles ne peuvent être appliquées directement aux maillages : la connectivité des maillages est intrinsèquement discrète et incompatible avec les opérations standard d’injection de bruit continu et de débruitage. Pour résoudre cette incompatibilité fondamentale, nous introduisons un plongeur de topologie compact qui projette les positions et normales discrètes des sommets du maillage en des plongements continus par sommet, où l’information d’adjacence discrète originale peut être fidèlement retrouvée par un seuillage de distance spatio-temporelle. Après pré-entraînement et gel de ce plongeur, tout maillage brut peut être entièrement converti en un espace d’état continu par sommet unifiant la position, la normale et les attributs topologiques implicites. Construit sur cette nouvelle représentation continue de maillage, nous présentons PolyFlow, un cadre d’appariement de flux basé sur un Transformateur qui réalise un débruitage entièrement parallèle des états sommets conditionné par des caractéristiques extraites du nuage de points. Pendant l’inférence, notre modèle achève rapidement la génération via un solveur d’équations différentielles ordinaires (EDO) et permet un contrôle explicite et précis de la résolution du maillage de sortie en spécifiant directement le nombre cible de sommets. Des évaluations approfondies sur le banc de test Toys4K montrent que PolyFlow surpasse les bases de référence autorégressives de pointe tant en Distance de Chamfer qu’en Distance de Hausdorff.

La littérature en science des matériaux renferme des décennies de connaissances expérimentales sous forme de figures, mais cet enregistrement visuel reste verrouillé et inaccessible à l’IA à grande échelle. La difficulté centrale est structurelle : la plupart des figures scientifiques sont composites, une seule légende décrivant simultanément plusieurs sous-panels, ce qui rend l’appariement direct image-texte peu fiable. Nous présentons MatMMExtract, un pipeline open-source de bout en bout qui résout ce problème en décomposant les figures composites en sous-panels individuels et en générant des annotations structurées et fondées à l’aide d’un grand modèle de langage guidé par une taxonomie de science des matériaux soigneusement constituée. Appliqué à 14 810 articles en libre accès, MatMMExtract produit MatSciFig : 391 606 paires image-texte au niveau des panneaux issues de 180 571 figures, chacune annotée avec une sous-légende, une catégorie de visualisation à deux niveaux comprenant 19 classes et plus de 100 sous-types, ainsi qu’un résumé scientifique. Pour permettre une localisation précise des panneaux, nous introduisons MaterialScope, un ensemble de données de détection spécifique au domaine comprenant 2 811 figures de science des matériaux annotées manuellement, sur lequel un détecteur YOLO12-m finement ajusté atteint un mAP_50 de 0,9227. Parmi six modèles de langage évalués, Gemini 3.1 Flash Lite offre le meilleur compromis coût-qualité pour la génération d’annotations, avec 82 % des sorties jugées bonnes et un taux d’hallucination de 4,8 %. Une baseline de recherche à double encodeur sur MatSciFig obtient une amélioration d’un facteur 4,4 du R@1 par rapport au CLIP zero-shot, démontrant l’utilité immédiate de l’ensemble de données pour l’apprentissage vision-langage. Toutes les ressources sont mises à disposition librement de la communauté.

L'apprentissage par renforcement agentique nécessite d'attribuer du crédit aux actions orientées vers l'environnement, telles que les recherches, les clics, les modifications, les commandes de navigation et les interactions avec les objets. La méthode GRPO standard utilise le résultat final du vérificateur comme un avantage uniforme sur tous les tokens d'action. Ce signal de résultat est utile mais structurellement incomplet : il pénalise l'exploration utile dans les déroulements échoués et renforce les actions redondantes ou régressives dans les déroulements réussis. Nous proposons TRIAGE, un cadre d'attribution de crédit typé par rôle qui ajoute un axe sémantique de rôle au crédit basé sur le résultat. Un juge structuré classifie chaque segment comme un progrès décisif, une exploration utile, une infrastructure sans progrès ou une régression, et une règle fixe conditionnée par le rôle associe ces étiquettes à des récompenses de processus bornées au niveau du segment. Cela conserve les résultats du vérificateur comme source de direction d'optimisation tout en corrigeant les deux principaux angles morts du crédit uniquement basé sur le résultat. Nous montrons en outre que le crédit conditionné par le rôle constitue la correction optimale au niveau du segment qui peut être exprimée à partir des seules étiquettes de rôle — une projection du résidu d'avantage par segment sur la variable de rôle — de sorte que les constantes de rôle fixes réduisent l'erreur d'estimation de l'avantage lorsque le juge est fiable, et nous relions cela à des gradients de politique à plus faible variance. Sur ALFWorld, Search-QA et WebShop, TRIAGE améliore les taux de succès par rapport à GRPO pour deux modèles de politique et surpasse à la fois une récompense de processus scalaire dérivée d'un juge et une ligne de base de valeur à backbone partagé supervisée par le résultat. Les ablations montrent que le gain provient du typage par rôle plutôt que de la simple addition de récompenses denses : la détection fiable de la régression à l'intérieur des trajectoires réussies est le principal contributeur, tandis que le crédit d'exploration fournit un gain secondaire constant ; sur les déroulements complets d'ALFWorld et WebShop, TRIAGE réduit également le nombre de tours orientés vers l'environnement de 10,4 % et 14,8 % supplémentaires par rapport à GRPO.

Modélisation de la correspondance bidirectionnelle entre les stimuli sensoriels externes et l'activité neuronale interne constitue une frontière cruciale en neurosciences. Cependant, les approches existantes traitent principalement l'encodage et le décodage cérébraux comme des tâches isolées, reposant fortement sur un alignement unimodal et des a priori externes, tout en négligeant la nature intrinsèque du cerveau en tant que système d'intégration multimodal. Pour pallier ces limitations, nous proposons BrainJanus, le premier modèle cérébral unifié intégrant le cerveau, la vision et le langage au sein d'un même cadre. Plus précisément, nous introduisons un tokeniseur cérébral unifié (Unified Brain Tokenizer) pour quantifier la dynamique neuronale continue en jetons discrets alignés sur les représentations visuelles et linguistiques dans un espace Omni partagé. En nous appuyant sur cela, nous utilisons une architecture autorégressive tout-en-un (All-in-One) exploitant la prédiction du jeton suivant pour permettre une génération any-to-any transparente, incluant l'encodage image-cerveau et texte-cerveau, ainsi que le décodage cerveau-image et cerveau-texte. Des expériences approfondies montrent que BrainJanus atteint des performances supérieures sur divers benchmarks. De plus, notre cadre présente une généralisation zero-shot et préserve une topographie biologique interprétable, soulignant son potentiel en tant que paradigme de modélisation cérébrale à usage général. Le code est disponible à l'adresse https://github.com/HaitaoWuTJU/BrainJanus{GitHub}.

Les grands modèles de langage (LLM) modernes s'appuient sur l'apprentissage par renforcement lors de la phase de post-entraînement pour améliorer des capacités spécifiques, mais il reste difficile d'intégrer plusieurs capacités au sein d'un même modèle. Les méthodes existantes, telles que Off-Policy Finetune et Mix-RL, sont soit inefficaces, soit entraînent une perte de performance. Dans ce travail, nous proposons la distillation multi-enseignante sur politique (MOPD), un paradigme de post-entraînement qui combine les capacités de plusieurs enseignants RL spécialisés par domaine : nous commençons par un RL spécialisé par domaine pour obtenir un ensemble d'enseignants, puis nous distillons ces enseignants dans l'étudiant en utilisant ses propres trajectoires. Cette approche élimine le biais d'exposition et fournit un signal d'optimisation dense. Sur Qwen3-30B-A3B, MOPD surpasse les références Mix-RL, Cascade RL, Off-Policy Finetune et Param-Merge, en héritant de presque toutes les capacités de chaque enseignant. MOPD permet également un développement parallèle et indépendant des enseignants par domaine, supprimant ainsi le couplage inter-domaines typique du post-entraînement multi-domaines. MOPD a été déployé dans le post-entraînement de MiMo-V2-Flash, un modèle de pointe à l'échelle industrielle, démontrant ainsi sa valeur pratique pour l'intégration des capacités dans les LLM à l'échelle de la frontière technologique.

La génération audio-vidéo a récemment suscité un intérêt de recherche sans précédent, visant à synthétiser un contenu vidéo de haute qualité sonore avec une synchronisation fine et un alignement sémantique entre les composantes auditives et visuelles. Les méthodes antérieures adoptent principalement une conception à double branche avec des modules de tokenisation et de génération séparés par modalité, négligeant l'écart de représentation tout en nécessitant des ressources informatiques intensives pour un entraînement approprié. Inspirés par les récentes avancées en tokenisation visuelle unidimensionnelle, nous présentons AVTok, un nouveau tokenizer unifié conçu pour la génération audio-vidéo holistique. AVTok présente une architecture basée sur un transformateur à double flux avec un encodeur-décodeur partagé et des requêtes apprenables spécifiques à chaque modalité pour encoder efficacement une paire audio-vidéo en une représentation latente unidimensionnelle compacte avec un codebook unifié. Pour faire face au déséquilibre d'informations hétérogènes qui empêche AVTok d'exploiter les informations audio-visuelles alignées, nous concevons une stratégie d'entraînement hiérarchique pour réaliser progressivement des capacités de reconstruction pour chaque modalité. Des expériences approfondies démontrent qu'AVTok excelle à la fois dans la reconstruction audio-vidéo et lorsqu'il est intégré dans des pipelines en aval pour la génération audio-vers-vidéo, vidéo-vers-audio et la génération conjointe audio-vidéo conditionnée par classe. AVTok ouvre la voie au défi de la tokenisation conjointe audio-vidéo et fournit une direction potentielle pour construire de grands modèles multimodaux unifiés pour la génération audio-vidéo.

Les modèles génératifs ont accompli des progrès remarquables, mais leur application à l'imagerie satellite reste difficile. Contrairement aux images naturelles, les scènes satellites sont structurées par des géométries spatialement complexes et sémantiquement distinctes. Les travaux antérieurs abordent cette complexité en adaptant les cadres d’imagerie naturelle à l’aide de rasters denses ou de prompts parcimonieux, faisant un compromis entre coût d’annotation et fidélité, tout en rompant la compatibilité avec les primitives vectorielles couramment utilisées pour représenter l’information géographique. Nous présentons TerraDiT-Ω, un cadre de contrôle spatial unifié qui génère directement des images satellite à partir de n’importe quelle primitive géospatiale native. En exploitant conjointement des annotations précises (polygones, polylignes) et d’autres plus grossières (boîtes englobantes, points), le modèle prend en charge des dispositions contrôlables avec des budgets d’annotation variables, élargissant son applicabilité à des tâches de conception comme l’urbanisme, tout en restant naturellement compatible avec les workflows GeoAI de bout en bout. Pour exploiter efficacement ces primitives durant la génération, nous proposons l’Attention Locale Sensible à la Géométrie, un mécanisme de conditionnement qui injecte des indices géométriques explicites dans l’espace d’attention. Pour tous les formats de conditionnement, notre approche surpasse systématiquement les références à contrôle dense et à contrôle parcimonieux. De plus, cette flexibilité permet une augmentation de données synthétiques contrôlable à l’aide d’un seul modèle génératif, améliorant les performances en aval sur la segmentation de l’occupation des sols, la détection d’objets, l’extraction de graphes routiers et la classification de scènes. Le code, les données et les poids sont disponibles à l’adresse https://github.com/mvrl/TerraDiT.

Les modèles fondation ont transformé le traitement de la vision et du langage en offrant des représentations riches et réutilisables qui se transfèrent à diverses tâches. La partition musicale, en tant qu’encodage visuel du langage musical, ne dispose pas d’un tel socle solide spécifique à son domaine. Nous présentons MuSViT (Music Score Vision Transformer) : le premier modèle de vision fondation pour la représentation des partitions musicales — un encodeur ViT pré-entraîné via des autoencodeurs masqués sur 9,7 millions de pages provenant de l’IMSLP. Pour gérer la complexité des partitions réelles, nous adoptons un cursus en deux étapes : un échauffement synthétique sur des partitions gravées, suivi d’un entraînement à grande échelle sur l’ensemble du corpus IMSLP. Nous évaluons MuSViT sur quatre tâches aval — reconnaissance de partitions pleine page et par portée, détection de symboles musicaux et classification de la difficulté des partitions — selon deux scénarios : sondage linéaire (encodeur figé) et ajustement fin. En sondage linéaire, MuSViT surpasse systématiquement les encodeurs de vision modernes, révélant que les représentations généralistes, quelle que soit leur échelle, sont systématiquement insuffisantes face aux propriétés symboliques structurées de la notation musicale. En ajustement fin, MuSViT améliore généralement les méthodes de pointe spécifiques aux tâches. Une analyse supplémentaire de cohérence entre plongement et transcription montre que MuSViT encode directement la structure musicale symbolique dans son espace de représentation — contrairement à d’autres encodeurs dont les plongements ne corrèlent pas avec le contenu de la notation musicale. Ces résultats établissent MuSViT comme un socle fondation pour la compréhension des partitions musicales.

Les systèmes d'exploitation actuels exposent des interfaces optimisées pour les utilisateurs humains, mais pas pour les agents d'IA. Les humains bénéficient des pixels, icônes, fenêtres, regroupements visuels, mouvements de souris et raccourcis clavier ; les agents d'IA nécessitent quant à eux un état sémantique compact, des actions ancrées et un retour fiable. Par conséquent, de nombreux agents d'interaction avec l'ordinateur sont contraints d'interpréter des captures d'écran, des résultats d'OCR et des extraits visuels, ce qui entraîne des coûts de tokens élevés, une ambiguïté visuelle, une latence et une incertitude sur les coordonnées. Cet article présente LUMOS (Language Model Unified Machine-Readable Operating-System Semantics), une couche d'interaction sémantique entre les agents d'IA et les systèmes d'exploitation. LUMOS convertit les métadonnées d'accessibilité natives et les structures d'interface utilisateur des navigateurs en plans sémantiques lisibles par machine, avec des identifiants stables, des rôles, des noms, des valeurs, des limites et des affordances d'action. Il prend également en charge l'ancrage sémantique en direct du pointeur en interrogeant l'élément d'interface utilisateur situé sous ou près du curseur via les API d'automatisation du système d'exploitation. Un LLM agit ensuite selon une boucle d'observation et d'action ancrée dans l'accessibilité, en utilisant des primitives d'interface utilisateur visibles contraintes plutôt que des scripts spécifiques à une application. LUMOS ne prétend pas remplacer les agents visuels ; il vise plutôt à réduire la dépendance aux captures d'écran lorsque les systèmes d'exploitation fournissent déjà une structure sémantique. Ces résultats suggèrent une voie vers des systèmes d'exploitation natifs pour l'IA et des couches d'interaction lisibles par machine.

Nous présentons SWE-Interact, un nouveau banc d'essai pour évaluer les agents de codage sur des tâches interactives multi-tours et pilotées par l'utilisateur en génie logiciel. Les bancs d'essai frontières existants fournissent généralement des spécifications complètes dès le départ et évaluent les agents sur une implémentation autonome. En revanche, SWE-Interact place les agents dans un flux de travail réaliste de développeur : un simulateur d'utilisateur soigneusement conçu commence par des instructions vagues ou incomplètes, révèle progressivement les exigences, inspecte l'espace de travail de l'agent, et fournit des retours ciblés, des révisions et de nouvelles contraintes jusqu'à ce que l'objectif complet de la tâche ait été transmis. Fondé sur des études à grande échelle d'interactions réelles avec des agents de codage, ce dispositif teste la capacité des agents à découvrir l'intention de l'utilisateur, à s'adapter à des exigences évolutives et à s'appuyer sur leurs propres travaux antérieurs. Sur un ensemble de modèles frontières et à poids ouverts, nous constatons que de bonnes performances sur des tâches de génie logiciel à tour unique ne se transfèrent pas de manière fiable à des flux de travail multi-tours et pilotés par l'utilisateur : les meilleurs modèles résolvent environ 50 % des tâches de base à tour unique, mais seulement 25 % des tâches correspondantes de SWE-Interact. Les modèles les plus forts de notre évaluation, notamment Opus 4.8 et GPT 5.5, démarrent bien même face à des instructions initiales vagues, persévèrent jusqu'à ce que toutes les exigences soient révélées par l'utilisateur, les intègrent mieux et écrivent un code propre. Cependant, ils souffrent encore d'un codage trop agentif, d'oubli d'exigences et d'erreurs techniques. Les modèles plus faibles commencent mal face à l'ambiguïté, abandonnent tôt, oublient ou ignorent les instructions et retravaillent davantage leur code. Dans l'ensemble, SWE-Interact mesure un axe de capacité orthogonal et réel pour le développement de modèles frontières : la découverte interactive d'objectifs et le raffinement itératif avec un utilisateur dans la boucle.

Les bibliothèques et outils open-source sont largement réutilisés, mais la maintenance de la compatibilité est coûteuse. Lorsque les mainteneurs quittent le projet, des dépôts utiles peuvent cesser de fonctionner à mesure que les environnements d'exécution et les dépendances évoluent. Nous étudions si des agents LLM peuvent adapter d'anciens dépôts à des environnements modernes, une tâche que nous appelons le sauvetage de compatibilité. Contrairement à la réparation de bugs, le sauvetage de compatibilité commence à partir d'un dépôt qui fonctionnait dans son environnement d'origine mais qui échoue après une dérive de l'écosystème. RepoRescue donne aux agents uniquement le dépôt et son environnement moderne défaillant ; l'agent doit diagnostiquer la défaillance, localiser le code affecté et produire un correctif source qui restaure la suite de tests historique. Nous construisons RepoRescue à partir de 193 dépôts Python et 122 dépôts Java, chacun vérifié comme fonctionnant historiquement et échouant après modernisation. Nous évaluons cinq systèmes d'agents déployés sur Python et trois sur Java. Au-delà du taux de réussite des correctifs complets, nous réexécutons les correctifs après avoir supprimé les modifications des fichiers de test pour mesurer la réparation uniquement source, ajoutons un régime d'exécution forcée qui bloque les modifications de test, et validons l'utilisation pratique pour les dépôts dont les suites de tests réussissent après le sauvetage. Nous constatons que les systèmes Claude Code modifient parfois les tests défaillants même lorsqu'ils sont invités à ne pas le faire ; avec le blocage à l'exécution, Kimi parvient tout de même à sauver 41,5 % des dépôts. Les systèmes sont complémentaires : leur union atteint 62,7 %, dépassant le meilleur système individuel de 10,9 points. La difficulté se concentre dans la coordination entre fichiers : sur 14 dépôts nécessitant des changements coordonnés sur l'ensemble du code, GPT-5.2 via Codex réussit les 14, tandis que chaque système Claude Code en réussit au plus deux. Enfin, une suite de tests réussie n'est qu'un signal initial : parmi 34 candidats Python non maintenus dont les suites réussissent après le sauvetage, 22 fonctionnent dans des scénarios réalistes et 12 passent une chasse aux bugs avec des correctifs qui résolvent la défaillance de compatibilité. RepoRescue évalue le sauvetage de compatibilité avec un audit source uniquement, une application à l'exécution, une validation pratique et des étiquettes de raisonnement.

Les grands modèles de langage (LLMs) sont de plus en plus utilisés pour agir dans le monde réel et soutenir la prise de décision humaine, mais la plupart des agents reposent sur des connaissances paramétriques, des données post-entraînement fixes, la recherche ou le requêtage. Ce paradigme échoue dans des domaines nouveaux et pour des requêtes sophistiquées qui ne peuvent être résolues à partir des seules connaissances antérieures. Par exemple, connaître les lois de la physique ne permet pas en soi aux LLMs de répondre à des requêtes ou d’accomplir des tâches à long horizon dans un système physique complexe. Pour y remédier, nous présentons HExA (Hierarchical Experimentalist Agents), un cadre d’auto-amélioration en contexte conçu pour apprendre par l’expérimentation active. HExA conçoit et affine de manière itérative des expériences pertinentes pour la requête, construit une bibliothèque réutilisable de compétences composables tirées de l’expérience, et intègre les preuves expérimentales pour répondre aux requêtes ou agir. HExA ne nécessite aucun entraînement, est compatible avec tout modèle boîte noire et ne dépend d’aucune supervision externe, oracle ou donnée hors ligne. Pour évaluer l’expérimentation active, nous introduisons Interphyre, un benchmark d’appel d’outils fondé sur l’environnement physique procédural 2D PHYRE, où les agents proposent des interventions et testent des hypothèses via des API de simulation. Les expériences montrent que les agents LLM actuels peinent dans ces contextes, en particulier sur les niveaux les plus difficiles d’Interphyre. Claude Sonnet 4.6 n’atteint que 2 % de réussite, tandis que HExA améliore ce même modèle jusqu’à 77 % de réussite. HExA améliore également les modèles à poids ouverts et surpasse les références agentiques telles que ReAct et Reflexion. De plus, en utilisant uniquement des compétences apprises sur des niveaux plus faciles et transférées sans expérimentation active, HExA atteint 44 % de réussite, démontrant la réutilisabilité et la généralisation de ses compétences acquises. Dans l’ensemble, HExA montre qu’apprendre par l’expérimentation active peut aider les agents à découvrir des connaissances utiles, acquérir des compétences réutilisables et progresser efficacement sur de nouvelles tâches à long horizon.

Nous présentons un cadre zéro-shot, sans apprentissage et sans optimisation pour la génération d'images et de vidéos panoramiques à 360°, en injectant directement des a priori sphériques dans des transformeurs de diffusion pré-entraînés. Les méthodes existantes reposent soit sur un réglage fin coûteux avec des données panoramiques rares, ce qui limite la généralisation, soit sur une optimisation en plusieurs étapes entraînant une latence d'inférence prohibitive. Nous observons que les modèles génératifs contemporains possèdent naturellement certains a priori panoramiques issus de l'entraînement à grande échelle. Cependant, ces capacités émergentes sont insuffisantes, car les modèles ne parviennent pas fondamentalement à satisfaire les contraintes topologiques rigoureuses imposées par la projection équirectangulaire (ERP). Nous introduisons une approche zéro-shot et sans optimisation qui résout ces contraintes au moment de l'inférence. Le Spherical RoPE remplace les embeddings de position rotatoires standards : les canaux basse fréquence sont reparamétrés en coordonnées cartésiennes 3D pour encoder naturellement la variété sphérique, tandis que les canaux haute fréquence sont quantifiés harmoniquement pour imposer une périodicité exacte. Couplée à un guidage sans classifieur (CFG) complémentaire par distorsion sémantique qui oriente explicitement la géométrie, nous évitons le réapprentissage et héritons de toute l'étendue créative des modèles de pointe. Notre approche se généralise à diverses architectures et modalités de génération 360°. Nous le démontrons à travers la génération texte-vers-panorama avec les architectures Flux.1, Flux.2 et LTX-Video, atteignant des performances compétitives par rapport aux bases de référence, tout en restant sans apprentissage. Page du projet : https://orhir.github.io/SpheRoPE

Les systèmes d’intelligence artificielle sont couramment évalués par leur performance sur des tâches et l’imitation comportementale, mais ces évaluations laissent en suspens la question de savoir si un agent artificiel peut acquérir, stabiliser et utiliser de nouvelles significations lexicales à partir d’une expérience incarnée. Cet article introduit le Consensus Lexical, un cadre expérimental pour étudier l’apprentissage lexical ancré sur un substrat perceptuel structuré. En utilisant des représentations visuelles figées de DINOv2, des mots inventés de type Carroll, des apprenants lexicaux interprétables ainsi que des modèles de base linéaires, nous testons si des agents peuvent acquérir des étiquettes artificielles pour des concepts visuels, les généraliser de manière bidirectionnelle et les stabiliser dans des contextes contrôlés. Le résultat principal est un gradient robuste de cohérence perceptuelle : les catégories natives sont les plus faciles à apprendre, les surextensions cohérentes restent apprenables, les concepts disjonctifs de niveau intermédiaire se dégradent, et les concepts fortement disjonctifs approchent le hasard. Une expérience de dissociation pré-enregistrée sur CIFAR-100 confirme que ce gradient est gouverné par la distance perceptuelle plutôt que par la proximité sémantique : la distance perceptuelle prédit la justesse d’acquisition (R² partiel = 0,245, p < 1e-7), tandis que la distance sémantique n’ajoute aucun pouvoir explicatif significatif (R² partiel = 0,002, p = 0,660). L’évaluation bidirectionnelle montre que la dénomination et le rappel sont distincts : les mécanismes fondés sur des exemplaires surpassent les prototypes centraux dans le rappel image-étiquette, révélant une dimension de fidélité mémorielle distincte de la justesse de dénomination. Les contrôles par falsification, les évaluations sur des pools de candidats homogènes et les résultats nuls concernant la restructuration représentationnelle indiquent que la géométrie perceptuelle figée permet à la fois l’ancrage lexical et limite ce qui peut être acquis sans adaptation représentationnelle.

Les ensembles de données existants pour l'édition vidéo basée sur des instructions se concentrent généralement sur l'édition d'apparence mono-tâche, ce qui ne répond pas aux exigences créatives complexes des scénarios réels. Pour combler cette lacune, nous présentons Goku, un ensemble de données à grande échelle comprenant 2 millions de paires d'édition vidéo de haute qualité et alignées sur des instructions. Il s'agit du premier à étendre les limites des tâches, passant de l'édition d'apparence basique à des manipulations multi-tâches et structurelles (par exemple, le contrôle précis du mouvement des sujets). Pour relever les défis de synthèse de données inhérents à ces tâches complexes, nous concevons un pipeline de synthèse de données efficace qui décompose les éditions complexes en sous-problèmes contrôlables, et nous introduisons un système de filtrage progressif pour garantir la fiabilité des données tout au long du processus. En outre, nous explorons les structures de réseau optimales sur Goku et proposons Goku-Edit. Afin de comprendre en profondeur des instructions d'édition complexes, Goku-Edit utilise un MLLM comme encodeur de texte et adopte une conception à deux branches découplées : une branche de masque dédiée gère le contrôle structurel, libérant ainsi la branche principale pour le rendu d'apparence. Un benchmark complet d'édition vidéo, Goku-Bench, est également proposé, avec 1 000 cas de test vérifiés par des humains et 7 nouvelles métriques spécifiques à l'édition. Évalué sur Goku-Bench, Goku-Edit obtient jusqu'à +8 % d'amélioration par rapport aux autres modèles open-source en termes de suivi des instructions.

Les modèles de langage parlé (SLM) étendent les LLM à l'entrée et à la sortie de la parole. Les SLM existants représentent la parole à des fréquences de trame fixes (par exemple, 25 ou 12,5 Hz), ignorant la densité d'information variable dans le temps de la parole et n'offrant aucune flexibilité pour compromettre la qualité au profit de la vitesse lors de l'inférence. Des recherches récentes sur les tokeniseurs audio ont proposé un codage de la parole à fréquence de trame dynamique, qui exploite cette non-uniformité et permet deux nouvelles capacités : des fréquences de trame moyennes très faibles et la contrôlabilité de la fréquence de trame. Cependant, cette technique n'a pas encore été appliquée aux SLM. Nous présentons Flexible Spoken Language Model (FlexiSLM), le premier SLM qui prend en charge des fréquences de trame dynamiques et contrôlables à la fois pour l'entrée et la sortie de la parole. En utilisant des représentations à fréquence de trame dynamique, FlexiSLM surpasse les modèles 7B à fréquence de trame fixe, notamment Qwen2.5-Omni et Kimi-Audio, à ses points de fonctionnement de haute qualité. Nous vérifions également que FlexiSLM peut être précisément orienté jusqu'à 4,0 Hz ; à 6,25 Hz, il réduit d'environ la moitié le temps d'inférence par rapport à 12,5 Hz tout en conservant une bonne qualité de parole à parole. Des échantillons audio sont disponibles sur https://flexislm.github.io .