Articles de recherche IA sélectionnés quotidiennement avec traductions
La manipulation robotique dans le monde ouvert nécessite non seulement de reconnaître l'apparence d'une scène, mais aussi d'anticiper comment sa structure 3D se déplace sous l'effet d'interactions. Nous soutenons que la synchronisation des données RVB, de profondeur et de flux optique, nommée RVB-PF (RGB-DF), offre une représentation physiquement ancrée qui capture la dynamique 4D sous-jacente d'une scène. Comparée aux vidéos en pixels 2D, cette synergie multimodale aligne l'apparence visuelle avec la structure géométrique et le mouvement temporel, créant un espace de représentation significativement plus proche des actions de l'effecteur terminal de bas niveau requises par les systèmes robotiques, réduisant ainsi l'écart entre la prédiction du monde et l'apprentissage de politiques. Forts de cette intuition, nous introduisons RynnWorld-4D, un modèle génératif qui coproduit des images RVB futures, des cartes de profondeur et des flux optiques à partir d'une seule image RVB-D et d'une instruction langagière au sein d'un unique processus de diffusion unifié. Ce modèle du monde 4D possède une architecture à trois branches qui intègre une attention cross-modale avec une RoPE 3D par trame, garantissant que l'apparence, la géométrie et le mouvement évoluent de manière cohérente. Pour fournir des données d'entraînement à grande échelle, nous élaborons Rynn4DDataset 1.0, un ensemble de données massif de plus de 254,4 millions de trames issues de vidéos de manipulation humaines et robotiques égocentriques, accompagnées de pseudo-étiquettes de haute qualité pour la profondeur et le flux optique. Nous proposons également RynnWorld-4D-Policy, une tête de dynamique inverse qui consomme les représentations 4D internes de RynnWorld-4D en un seul passage avant, contournant le débruyage multi-étapes coûteux, pour produire des actions robotiques en boucle fermée. Les expériences montrent que RynnWorld-4D génère des prédictions 4D temporellement et spatialement cohérentes, et que RynnWorld-4D-Policy atteint des performances de pointe sur des tâches de manipulation bimanuelle dextre réelles, excellant particulièrement dans les tâches exigeant une précision spatiale et une coordination temporelle.
Les mondes de jeu ont traditionnellement été construits par le biais de pipelines de production à forte intensité de main-d'œuvre, ce qui les rend coûteux à développer, difficiles à personnaliser et onéreux à modifier après déploiement. Les récentes avancées dans les modèles de mondes vidéo offrent un paradigme fondamentalement différent. Plutôt que d'élaborer explicitement chaque composant d'un environnement virtuel, ces modèles synthétisent de manière autorégressive les observations futures conditionnées par l'état actuel du monde et les interactions des utilisateurs, permettant ainsi de générer des mondes jouables en ligne. Entraînés à la fois sur des enregistrements de gameplay et des vidéos du monde réel, ils peuvent capturer diverses apparences visuelles et dynamiques physiques, ouvrant de nouvelles opportunités pour des applications interactives au-delà du jeu vidéo, y compris l'intelligence incarnée. Dans cet article, nous présentons AlayaWorld, un cadre open-source complet (full-stack) pour la construction de mondes génératifs interactifs. AlayaWorld permet une interaction en temps réel ouverte, offrant aux utilisateurs la liberté de naviguer et d'effectuer diverses actions telles que le combat, le lancement de sorts et l'invocation de monstres. Le cadre unifie l'ensemble du développement — de la préparation des données à l'architecture du modèle, l'entraînement du modèle, l'accélération de l'inférence et le déploiement — au sein d'une architecture modulaire et extensible. Parallèlement au cadre, nous publions des pipelines reproductibles, des implémentations de référence, des outils d'évaluation et une documentation complète, établissant ainsi une base pratique pour la recherche future et les applications en temps réel des modèles de mondes génératifs.
L'apprentissage robotique à grande échelle nécessite des données de trajectoire massives et diverses, mais la collecte est actuellement limitée par la téléopération physique, où chaque démonstration lie le temps de l'opérateur à un matériel et des espaces de travail spécifiques. Nous introduisons la téléopération numérique, un paradigme qui dissocie la collecte de données des contraintes physiques en remplaçant le robot réel par un modèle génératif du monde. Dans ce cadre, le flux de poses de la main d'un opérateur pilote un modèle génératif du monde centré sur le robot pour synthétiser des vidéos égocentriques de haute fidélité à partir d'une seule image de référence. Le flux de poses enregistré sert d'étiquette d'action indépendante de l'incarnation, transférable à tout robot cible via un reciblage standard, produisant des trajectoires état-action complètes pour l'apprentissage par imitation, indépendamment du matériel physique. Nous concrétisons ce paradigme dans RynnWorld-Teleop, un système qui intègre le conditionnement squelettique conscient de la profondeur, l'entraînement progressif humain-robot sur un Transformer de diffusion vidéo, et la distillation autorégressive en continu. Ce pipeline comprime le processus génératif en une inférence en un seul passage, permettant une génération interactive en temps réel à plus de 40 images par seconde sur un seul GPU H100. Les politiques entraînées exclusivement sur des données générées par RynnWorld-Teleop réalisent un transfert Sim2Real zero-shot efficace pour des tâches bimanuelles dextres et diverses. De plus, l'augmentation des ensembles de données réelles avec nos données téléopérées numériquement améliore systématiquement les taux de succès, démontrant que RynnWorld-Teleop sert de moteur de données haute-fidélité et évolutif pour la prochaine génération d'agents robotiques.
La mise à l'échelle des grands modèles de langage modernes (LLMs) pour des contextes longs est limitée par le coût de calcul quadratique et la faible extrapolation de longueur de l'attention dense. L'attention parcimonieuse par blocs offre une alternative prometteuse, mais toutes les méthodes existantes sont inférieures à l'attention complète en raison d'une sélection de blocs imprécise. Nous proposons l'attention parcimonieuse hiérarchique par points de repère (HiLS), un mécanisme d'attention parcimonieuse par blocs qui apprend la sélection de blocs de bout en bout sous la perte de modélisation du langage (LM). HiLS factorise l'attention de manière hiérarchique : chaque requête effectue une attention indépendamment avec chaque bloc récupéré pour extraire des informations spécifiques au bloc, et les sorties résultantes sont fusionnées selon les scores de récupération des blocs. En intégrant les scores de récupération dans le calcul direct de l'attention, HiLS les optimise directement avec la perte LM, permettant un apprentissage de récupération de bout en bout et un entraînement parcimonieux natif. Les résultats expérimentaux montrent que l'attention HiLS atteint des performances comparables, voire supérieures dans certains cas, à l'attention complète pour des longueurs de contexte dans le domaine d'entraînement. Par ailleurs, l'attention HiLS extrapole plus de 64 fois la longueur de contexte d'entraînement avec une précision de récupération de 90 %, bien au-delà de l'attention complète. De plus, les modèles à attention complète existants peuvent être convertis en attention HiLS grâce à un pré-entraînement continu léger, préservant les performances dans le domaine tout en acquérant une extrapolation de contexte ultra-long. Combinée à son accès et à son calcul parcimonieux pour les clés-valeurs, l'attention HiLS brise le compromis habituel entre efficacité et performance, permettant des LLMs à long contexte à la fois plus efficaces et plus performants sur les tâches générales de long contexte que leurs homologues à attention complète.
Nous formulons la vision par ordinateur comme une génération multimodale unifiée, où des tâches visuelles hétérogènes sont exprimées dans les espaces natifs de texte et de génération d'images d'un modèle multimodal unifié, sans architectures spécifiques aux tâches. Sous cette formulation, SenseNova-Vision utilise des instructions en langage naturel et des invites visuelles optionnelles pour spécifier les tâches, les régions ou vues cibles, ainsi que les conventions de décodage, et génère des réponses sous forme de texte pour les sorties symboliques, d'images pour les prédictions spatiales denses, ou de sorties mixtes texte et image pour les tâches compositionnelles. Pour soutenir l'entraînement à grande échelle, nous convertissons diverses annotations de vision par ordinateur en exemples instruction-réponse compatibles avec ces espaces de génération, ce qui donne le Corpus SenseNova-Vision, un corpus d'instructions-réponses en vision par ordinateur couvrant des cibles textuelles, images et mixtes. Partant d'un modèle multimodal unifié pré-entraîné disponible dans le commerce, SenseNova-Vision est principalement entraîné sur ce corpus, avec des données multimodales auxiliaires utilisées comme mélange préservant les capacités, et ne nécessite ni têtes de prédiction spécifiques aux tâches ni modifications architecturales. Le modèle obtenu couvre un large éventail de tâches visuelles, notamment la détection, la reconnaissance optique de caractères (OCR), l'estimation de points clés, la segmentation, l'estimation de profondeur, la prédiction de normales de surface, les cartes de points et l'estimation de pose de caméra, tout en prenant en charge des variantes définies par le langage qui combinent la catégorie, la couleur, la région et d'autres indices visuels. Les expériences montrent qu'un seul modèle unifié peut égaler les principaux systèmes spécialisés dans la compréhension structurée visuelle, la prédiction géométrique dense, la segmentation et la géométrie visuelle multi-vues. Ces résultats suggèrent que la génération multimodale unifiée constitue une voie évolutive pour intégrer les capacités de vision par ordinateur dans les modèles de base à usage général. Le modèle et le corpus sont disponibles publiquement.
Nous présentons Gemma 4, une nouvelle génération de modèles de langage multimodal nativement ouverts et à poids ouverts, appartenant à la famille de modèles Gemma. Conçue pour améliorer l’efficacité de calcul et le raisonnement, la suite de modèles Gemma 4 propose des architectures denses et Mixture-of-Experts, allant de 2,3 à 31 milliards de paramètres. En plus d’encodeurs visuels et audio améliorés pour toutes les tailles de modèles, nous proposons une architecture unifiée sans encodeur pour notre modèle de 12B, qui traite des échantillons audio bruts et des patches d’image. De plus, nous intégrons un mode de réflexion, permettant aux modèles Gemma de générer des traces de raisonnement avant de répondre. Nous améliorons la vitesse d’inférence, l’efficacité mémoire et de calcul, ainsi que les capacités de contexte long grâce à des choix de conception critiques. Gemma 4 établit un bond en matière de performance sur les benchmarks STEM, multimodaux et de contexte long, et rivalise avec des modèles ouverts de pointe plus grands dans des tâches évaluées par des humains.
La compréhension vidéo agentique dote les modèles d'une mémoire à long terme pour traiter et répondre de manière autonome à des flux multimodaux continus et à long horizon. Cependant, les agents vidéo avancés s'appuient souvent sur un raisonnement itératif "de type détective" pour le contrôle des actions (par exemple, la recherche) et l'agrégation de preuves, ce qui entraîne des coûts et une latence prohibitifs. Nous soutenons qu'un tel raisonnement lourd compense principalement le manque de contexte global et le désalignement sémantique dans la récupération. Cet article présente Light-Omni, un cadre d'agent multimodal pour une compréhension vidéo réflexive et légère. Il y parvient grâce à des états contextuels doubles qui construisent instantanément le contexte requis en un seul passage avant. Tout d'abord, nous maintenons un état global, un script multimodal de taille finie continuellement consolidé à partir de la mémoire épisodique, servant de contexte global pour Light-Omni. Par fusion hiérarchique, il préserve les détails récents tout en résumant les événements passés. Ensuite, conditionné par ce contexte global, nous générons un état latent paramétrique qui pilote directement les actions autonomes et produit des embeddings de récupération, avec une latence minimale. Grâce à cette conception couplée, Light-Omni parvient à une récupération sémantiquement alignée et à des réponses réflexes tout en évitant le raisonnement itératif. Des expériences approfondies valident l'efficacité de Light-Omni sur plusieurs benchmarks vidéo. Notamment, il surpasse M3-Agent avec un gain de précision moyen de 2,4 %, une accélération de 12,1 fois et une amélioration de l'efficacité mémoire GPU de 2,6 fois. De plus, il sert de système de mémoire pour améliorer à la fois les performances et l'efficacité des MLLMs existants. Page du projet : https://clare-nie.github.io/Light-Omni.
Le décodage spéculatif accélère l'inférence des Grands Modèles de Langage (LLM) en découplant la génération d'ébauches de la vérification cible. Bien que les récents rédacteurs parallèles proposent efficacement de longues séquences de tokens en une seule passe avant, ils souffrent d'une diminution rapide de l'acceptation en raison de l'absence de dépendances inter-tokens. De plus, vérifier indistinctement ces blocs étendus gaspille une capacité de lot critique sur des tokens présentant des risques de rejet élevés, ce qui dégrade sévèrement le débit dans les systèmes de service à forte concurrence. Nous présentons DSpark, un framework de décodage spéculatif qui unifie la génération parallèle à haut débit avec une vérification adaptative et sensible à la charge. Pour maintenir la qualité des ébauches, DSpark utilise une architecture semi-autorégressive, associant un backbone parallèle à un module séquentiel léger, afin d'introduire une modélisation des dépendances intra-blocs et d'atténuer la dégradation des suffixes. Pour optimiser l'efficacité du système, DSpark emploie une vérification programmée par confiance, ajustant dynamiquement la longueur de vérification pour chaque requête en fonction des probabilités de survie estimées du préfixe et des profils de débit propres au moteur. Sur des benchmarks hors ligne couvrant divers domaines, DSpark améliore substantiellement la longueur acceptée par rapport aux rédacteurs autorégressifs et parallèles de pointe. Déployé dans le système de service DeepSeek-V4 sous trafic utilisateur réel, DSpark parvient à atténuer le gaspillage de vérification. Comparé à la base de production établie (MTP-1), DSpark accélère les vitesses de génération par utilisateur de 60 à 85 pour cent à des niveaux de débit équivalents. Plus important encore, en empêchant une grave dégradation du débit sous des contraintes d'interactivité strictes, il permet d'atteindre des niveaux de performance auparavant inaccessibles, déplaçant ainsi la frontière de Pareto de notre système de service.
Alors que l'optimisation des compétences des agents autonomes gagne en popularité, les méthodes existantes reposent sur des pipelines complexes. Une question fondamentale reste sans réponse : quel est le pipeline minimal viable pour l'optimisation des compétences, où chaque composant est justifié par la théorie ou la nécessité empirique ? Nous formalisons l'optimisation des compétences via l'optimisation d'ordre zéro (Zeroth-Order, ZO), en faisant le lien entre les contreparties classiques (différence centrale, régions de confiance) et la littérature récente. Notant que, contrairement aux perturbations numériques aveugles de l'optimisation ZO classique, les trajectoires de compétences servent de retour d'information interprétable pour le débogage. Ancré dans la philosophie de Claude Code et l'apprentissage PAC, nous établissons trois principes pour la convergence et la généralisation : exploration de trajectoires basée sur le système de fichiers, extraction d'attributs par consensus et validation indépendante par seuillage. En éliminant les redondances, nous proposons SkillOpt-Lite. Il accélère la convergence et surpasse SkillOpt complet : amélioration de LiveMath de +8,8 points sur GPT-5.5 et de +25,4 points sur GPT-5.4-nano, permettant au modèle nano de surpasser le GPT-5.4 standard optimisé par SkillOpt. Enfin, nous intégrons notre cadre dans des agents de codage en production comme VSCode Copilot, permettant aux développeurs de faire évoluer les compétences des agents via une ligne de *vibe*. Parce que notre cadre traite tous les composants des agents simplement comme du code standard modifiable, ce pipeline minimal se généralise naturellement à l'optimisation complète du harnais (HarnessOpt). Sur SpreadsheetBench, HarnessOpt permet à GPT-5.4-nano d'atteindre une précision de 0,7758, surpassant le plus grand GPT-5.5 utilisant des pipelines standard (0,7620). Le code est disponible à l'adresse https://github.com/EvolvingLMMs-Lab/SkillOpt-Lite.
Le sous-titrage vidéo dense vise à générer des descriptions temporellement ancrées des événements vidéo, bénéficiant à la fois à la compréhension et à la génération d'événements au niveau vidéo. Dans ce domaine, les modèles de langage vidéo autorégressifs à grande échelle sont devenus un paradigme dominant en raison de leur forte capacité générative et de modélisation intermodale. Cependant, générer des légendes denses selon le paradigme token par token limite sévèrement l'efficacité de l'inférence et entrave l'évolutivité à mesure que la longueur de la vidéo et la densité des événements augmentent. Dans ce travail, nous proposons un cadre autorégressif parallélisé qui améliore non seulement l'efficacité de la génération, mais aussi les performances de sous-titrage temporellement ancré. Notre idée clé consiste à exploiter les faibles dépendances locales entre des événements temporellement distincts pour restructurer le graphe de dépendance causale, permettant ainsi une génération parallèle sans perte. Plus précisément, les tokens présentant de faibles dépendances inter-événements peuvent être décodés en parallèle, tandis que les tokens fortement couplés au sein de chaque événement conservent un décodage séquentiel pour préserver la cohérence sémantique locale. Pour concrétiser cette idée, nous introduisons deux composants clés pour un décodage parallèle sans perte : (1) un mécanisme de planification globale latente qui apprend automatiquement la structure au niveau des événements et produit des tokens compacts encodant la causalité inter-événements globale tout en agrégeant de manière adaptative la sémantique audio-visuelle au niveau des événements, guidant ainsi la restructuration des dépendances et le décodage parallèle ultérieurs ; et (2) un mécanisme de décodage parallèle factorisé par événement qui équilibre efficacement l'attention locale et la conscience inter-événements globale. Des expériences sur divers bancs d'essai démontrent l'avantage manifeste de notre approche en termes d'efficacité et de performance dans l'ancrage et le sous-titrage d'événements omni-modaux. Site web du projet : https://github.com/showlab/PadCaptioner.
Malgré les progrès récents des modèles de fondation VLA, l'écart entre les conditions de laboratoire et les applications réelles continue d'entraver leur mise en œuvre pratique. Pour combler ce fossé, nous présentons LingBot-VLA 2.0, qui fait progresser LingBot-VLA grâce à des améliorations dans trois domaines fonctionnels. (1) Généralisation à travers les tâches et les embodiments. Par rapport à la version précédente, nous avons repensé la pipeline de traitement des données et rassemblé environ 60 000 heures de données pour le pré-entraînement, incluant 50 000 heures de trajectoires robotiques couvrant 20 configurations de robots et 10 000 heures de vidéos humaines égocentriques. (2) Espace d'action élargi en plus des plateformes matérielles à deux bras. En particulier, notre système prend en compte les degrés de liberté des têtes, des torses, des bases mobiles et des mains dextres, permettant ainsi aux robots d'aborder des tâches plus complexes dans des scénarios pratiques. (3) Modélisation dynamique prédictive pour un meilleur raisonnement temporel. Plus précisément, nous formulons la prédiction future comme une tâche proxy, facilitée par un modèle de représentation vidéo pour les a priori sémantiques et un modèle d'estimation de profondeur pour les indices géométriques. Les évaluations sur le benchmark GM-100, menées dans un cadre généraliste, valident l'impact bénéfique de ces modifications proposées. De plus, grâce aux données de pré-entraînement étendues qui couvrent les degrés de liberté du corps entier, LingBot-VLA-2.0 démontre une forte capacité de manipulation mobile à long horizon inter-embodiments sur les deux plateformes robotiques.
La distillation sur politique (OPD) entraîne une politique étudiante en l’alignant sur un enseignant plus fort lors des trajectoires propres à l’étudiant, offrant ainsi un cadre prometteur pour l’apprentissage des agents langagiers. Cependant, son application aux tâches agentiques à long horizon reste insuffisamment explorée. Nous identifions deux inefficacités clés dans l’OPD agentique standard : (1) les déploiements sur horizon complet gaspillent souvent du temps réel sur les tours finaux qui fournissent une supervision KL faible et bruitée, et (2) les objectifs KL au niveau de la trajectoire concentrent la majeure partie de la perte sur les tokens superficiels, laissant les tours de décision plus profonds sous-entraînés une fois les comportements initiaux alignés. Pour relever ces défis, nous proposons TurnOPD, une stratégie de budgétisation au niveau des tours pour une distillation sur politique efficace des agents à long horizon. TurnOPD comprend deux contrôleurs de budget : un budgétisation adaptative de la profondeur de déploiement, qui utilise des statistiques de tour basées sur des sondes pour déterminer la longueur de déploiement, et un budgétisation progressive normalisée par tour de la perte, qui déplace progressivement la pondération KL d’une supervision au niveau des tokens vers un équilibre par tour. Les expériences sur ALFWorld, WebShop et Multi-Hop Search avec des modèles enseignants spécialisés par tâche montrent que TurnOPD atteint une précision de validation supérieure sous des budgets d’entraînement en temps réel égaux et repousse la frontière précision-temps au-delà de l’OPD standard.
Nous présentons MentalThink, un paradigme de raisonnement visuo-symbolique qui dote les LLM multimodaux (MLLM) d'un mécanisme exécutable de visualisation « mentale ». Le cœur de MentalThink est un pipeline de type « penser avec SVG », où le modèle apprend à générer, rendre et interpréter du code de graphiques vectoriels évolutifs (SVG) en tant que représentation visuelle intermédiaire pour un raisonnement à plusieurs tours. En créant des esquisses vectorielles structurées, le modèle peut externaliser des hypothèses spatiales, les inspecter via un rendu déterministe et raisonner dans un espace géométrique contraint, imitant ainsi efficacement le processus humain d'imagerie mentale. Nous concrétisons ce paradigme par un cadre d'apprentissage en deux étapes, combinant un ajustement fin supervisé (SFT) pour l'alignement syntaxique SVG avec un apprentissage par renforcement (RL) multi-tours afin d'encourager l'inspection, la révision et l'affinement itératifs des hypothèses visuelles intermédiaires. Des évaluations approfondies montrent que MentalThink atteint des performances supérieures sur des benchmarks de compréhension et de raisonnement spatial (par exemple, 55,1 % sur VSIBench, 76,0 % sur MindCube), démontrant que les graphiques vectoriels exécutables offrent un espace de travail visuel vérifiable pour la prise de perspective dynamique, la réflexion visuelle et la construction compositionnelle de scènes.
L'apprentissage par renforcement (RL) pour le suivi d'instructions non vérifiables repose de plus en plus sur des juges LLM avec des grilles d'évaluation spécifiques aux prompts comme signaux de récompense. Alors que les méthodes récentes adaptent ces grilles à la politique en évolution pendant l'entraînement, les prompts d'entraînement eux-mêmes restent statiques, issus de corpus fixes. Cette approche statique entraîne souvent un désalignement critique entre la difficulté du prompt et la capacité de la politique, ce qui empêche le juge de récupérer un signal de récompense discriminant lorsque les prompts ne parviennent pas à susciter une variance de qualité parmi les rollouts. Pour remédier à ce désalignement, nous introduisons LLM-as-a-Tutor, un cadre qui étend le rôle du LLM de juge à tuteur : un seul modèle sert d'examinateur qui compare par paires les rollouts de la politique pour détecter les prompts non difficiles, et de générateur qui leur ajoute des contraintes atomiques. Cette conception en appendice uniquement augmente de manière monotone la difficulté en phase avec la capacité de la politique, produisant un signal d'entraînement auto-étalonné sans calendrier de difficulté externe. Sur trois benchmarks complexes de suivi d'instructions, notre méthode surpasse systématiquement à la fois les bases de référence non conscientes de la politique et les méthodes adaptatives antérieures qui adaptent les grilles ou réécrivent les prompts, suggérant que l'adaptation des prompts est un axe manquant de conscience de la politique dans le RL non vérifiable.
Les récents progrès dans les modèles génératifs à grande échelle ont considérablement amélioré la génération vidéo, mais les méthodes existantes restent contraintes par un paradigme d'inférence rigide. Les modèles de diffusion bidirectionnels excellent en cohérence globale et en fidélité visuelle, mais souffrent d'une inférence lente, tandis que les modèles autorégressifs offrent une génération efficace et en continu au détriment de la cohérence à long terme et du biais d'exposition. Nous introduisons Flex-Forcing, un cadre unifié d'entraînement et d'inférence qui permet à un modèle de diffusion vidéo de fonctionner de manière transparente sous les régimes de génération bidirectionnelle et autorégressive. L'idée centrale est un mécanisme flexible de découpage en blocs, défini conjointement sur l'axe temporel et les étapes de débruitage. Cette conception permet au modèle (1) d'effectuer un découpage flexible en fonction des contraintes matérielles, (2) de réaliser une inférence bidirectionnelle entre les blocs pour une planification globale de la structure, tout en générant les images de manière autorégressive au sein de chaque bloc pour une synthèse efficace et fine, et (3) d'effectuer une génération autorégressive dans n'importe quel ordre et à n'importe quel pas de temps, sans la contrainte stricte de causalité. Des expériences approfondies sur plusieurs benchmarks de génération vidéo montrent que Flex-Forcing atteint une qualité vidéo et une stabilité pour les longues vidéos systématiquement meilleures que les références solides utilisant un schéma d'inférence rigide, tout en offrant une inférence plus rapide.
La création et l'édition complexes d'images nécessitent souvent plus qu'un simple modèle de génération ou d'édition unique. Une requête utilisateur peut impliquer la synthèse d'images, la localisation d'objets, la segmentation de régions, l'édition de contenu sélectionné, la composition d'actifs intermédiaires, la lecture de texte et l'amélioration du résultat final. De telles tâches font passer les agents multimodaux d'un raisonnement augmenté par la perception à une création visuelle centrée sur la manipulation, où les outils doivent transformer activement les états visuels plutôt que de simplement les inspecter. Cependant, les agents multimodaux existants utilisant des outils sont principalement optimisés pour la perception, la recherche ou l'édition spécifique à un domaine, et manquent de supervision à grande échelle pour les trajectoires exécutables de création d'images. Dans cet article, nous présentons CanvasCraft, un jeu de données multimodal à grande échelle pour la création et l'édition complexes d'images, et CanvasAgent, un agent multimodal augmenté d'outils qui apprend à orchestrer des outils visuels hétérogènes via une interaction multi-tours. CanvasCraft contient 140 000 trajectoires exécutables entièrement annotées et 10 000 spécifications de tâches RL. CanvasAgent est d'abord entraîné avec SFT pour apprendre des trajectoires raisonnement-action exécutables, puis optimisé avec GRPO en utilisant une récompense hybride combinant des signaux au niveau du résultat et du processus. Pendant le déploiement, CanvasAgent inspecte les résultats intermédiaires, suit les actifs visuels et adapte les décisions d'outils à l'état visuel en évolution. Les expériences évaluent à la fois la qualité finale de l'image et le comportement de la trajectoire, démontrant l'efficacité de CanvasAgent et du jeu de données proposé pour les workflows complexes de création d'images multi-outils.
Des défis persistent dans la génération de scènes 3D égocentriques en raison du faible chevauchement des vues et de l'influence prédominante des perspectives individuelles sur l'interprétation des scènes. Ces facteurs entravent la création de contenus visuels cohérents du point de vue et sémantiquement alignés, ainsi que la construction de structures géométriques précises. Dans cet article, nous proposons CGGS, un framework texte-à-3D visant à améliorer la conscience du contenu 3D et à corriger les distorsions géométriques dans la génération de scènes égocentriques. Premièrement, le Générateur Égocentrique est proposé en affinant un modèle de diffusion latente multi-vue avec une perte augmentée par cohérence, afin de générer un contenu 2D cohérent et de haute fidélité, aligné sur des descriptions textuelles. Ensuite, le Décorateur de Disposition exploite le flux optique et la correspondance de points pour estimer la profondeur, produisant ainsi des nuages de points denses comme esquisses grossières à partir des a priori 2D égocentriques. Sur la base de cette initialisation, le Raffineur Géométrique est proposé pour améliorer la reconstruction gaussienne 3D via une perte d'information mutuelle basée sur l'entropie (MID) combinée à un schéma d'optimisation hiérarchique, afin d'améliorer la qualité visuelle et la structure géométrique. Des expériences complètes démontrent que CGGS surpasse les méthodes antérieures dans la génération de scènes 3D cohérentes et précises pilotées par texte. Page du projet : https://cggs-26.github.io/cggs26/.
Les méthodes de reconstruction 3D à partir d’une seule image les plus avancées reposent souvent sur des architectures hybrides complexes et des fonctions de perte, ou compressent la géométrie dans des espaces latents afin d’exploiter des modèles de diffusion latents pré-entraînés. Dans ce travail, nous montrons que ces surcharges architecturales et ces formulations de perte complexes sont inutiles. Nous introduisons un transformateur de diffusion minimaliste dans l’espace des pixels, construit sur un ViT simple, qui opère directement sur des patchs de cartes de points 3D brutes et est conditionné par des tokens d’image provenant d’un DINOv3 pré-entraîné. Contrairement aux approches de diffusion latente existantes, nous entraînons notre backbone de diffusion entièrement à partir de zéro, éliminant ainsi le besoin de tokenizers de cartes de points. Malgré sa simplicité, notre approche surpasse les modèles de diffusion latents complexes tout en restant significativement plus simple que les alternatives hybrides. Notamment, elle produit des structures géométriques plus nettes et est plus robuste dans les zones très ambiguës, comme les objets transparents.
Nous présentons Nemotron-Labs-Diffusion, un modèle de langage (LM) à trois modes qui unifie le décodage AR, la diffusion et l’auto-spéculation au sein d’une seule architecture. Entraîné avec un objectif conjoint AR-diffusion, Nemotron-Labs-Diffusion peut changer de mode pour maintenir un débit élevé dans différents contextes de déploiement et niveaux de concurrence. Notre étude montre que (1) les objectifs AR et diffusion sont complémentaires : la diffusion améliore la planification anticipée, tandis que l’AR fournit des priors linguistiques de gauche à droite. (2) En mode auto-spéculation, la diffusion génère des ébauches tandis que l’AR les vérifie, surpassant les méthodes de prédiction multi-tokens (MTP) tant en taux d’acceptation qu’en efficacité réelle sur appareil. (3) Une analyse de vitesse limite révèle en outre le potentiel à long terme de la diffusion, avec jusqu’à 76,5 % de tokens supplémentaires par passage avant par rapport à l’auto-spéculation sous un échantillonneur optimal. En montant en échelle jusqu’à 3B, 8B et 14B paramètres, notre famille Nemotron-Labs-Diffusion, incluant les modèles de base, instruct et vision-langage, surpasse systématiquement les LM AR et de diffusion open source de pointe en précision comme en vitesse. Par exemple, Nemotron-Labs-Diffusion-8B décode 6 fois plus de tokens par passage avant que Qwen3-8B avec une précision comparable, ce qui se traduit par un débit 4 fois supérieur sur SPEED-Bench avec SGLang sur un GPU GB200.
L'Optimisation de Politique Relative par Groupe (GRPO) est efficace lorsque la politique courante échantillonne déjà des trajectoires de raisonnement utiles, mais elle stagne sur les prompts difficiles dont les modes de solution corrects se situent en dehors du support on-policy de l'étudiant. Nous proposons TREK (Teacher-Routed Exploration via Forward KL), une procédure simple par étapes qui utilise la distillation non pas pour l'imitation mais pour l'expansion du support d'exploration. Un avantage clé de TREK est sa généralité : comme il ne consomme que des trajectoires de sortie vérifiées, il peut utiliser un enseignant externe en boîte noire, un enseignant en boîte blanche, ou le même modèle avec un contexte de inférence supplémentaire, et il peut identifier efficacement quels échantillons de prompts difficiles valent le plus d'être consolidés, même lorsque les composants internes de l'enseignant sont indisponibles. TREK identifie d'abord les prompts pour lesquels l'étudiant seul a un très faible taux de réussite, interroge une source de propositions pour produire des solutions candidates vérifiées, conserve les r meilleures propositions classées par la vraisemblance actuelle de l'étudiant, applique une courte phase de forward-KL pour intégrer ces modes vérifiés dans le support de l'étudiant, puis revient au raffinement GRPO standard on-policy. En raisonnement mathématique, TREK avec des propositions DeepSeek-V4 améliore les modèles Qwen3 à toutes les échelles testées sur AIME 2024 et AIME 2025 ; pour Qwen3-8B, il améliore AIME 2025 de 36,9 à 40,3 et AIME 2024 de 47,9 à 51,1 (avg@16), tandis que la variante auto-contextuelle atteint 38,5 et 49,6 sans enseignant externe. Sur les tâches agentiques, TREK augmente le taux de réussite d'ALFWorld de 75,8 à 82,8 et celui de ScienceWorld de 12,5 à 26,7 ; notamment, sur les types de tâches les plus difficiles, TREK atteint des taux de réussite élevés tôt dans l'entraînement alors que GRPO non assisté nécessite beaucoup plus d'étapes d'optimisation pour atteindre des niveaux comparables.
Nous présentons Rank-Then-Act (RTA), un cadre d’apprentissage de politiques de contrôle à partir de démonstrations vidéo d’experts sans recours à des récompenses environnementales. RTA entraîne un modèle vision-langage (VLM) hors ligne en tant que scoreur ordinal basé sur la progression, en utilisant un objectif d’Optimisation Relative de Politique de Groupe (GRPO) sur des séquences d’images mélangées, ce qui contraint le modèle à retrouver l’ordre temporel à partir de la sémantique visuelle plutôt que d’indices temporels triviaux. Surtout, plutôt que d’utiliser directement le scoreur comme un modèle de récompense scalaire, nous proposons une fonction de récompense fondée sur la corrélation pour l’apprentissage par renforcement : à chaque fenêtre d’interaction, nous calculons la corrélation de rang de Spearman entre les classements de progression prédits et les indices temporels réels, produisant ainsi un signal d’apprentissage borné et invariant à l’échelle. Cette conception dissocie l’apprentissage de la récompense de l’étalonnage absolu et permet un transfert stable entre tâches et environnements. Nous évaluons RTA sur des références de contrôle discret (PyBoy : Catrap, Kirby) et des tâches de contrôle continu (PointMaze, MetaWorld). RTA égalise ou dépasse systématiquement les méthodes antérieures d’apprentissage de récompense par vidéo et les approches de référence basées sur les rangs, tout en démontrant une forte réutilisation inter-tâches d’un unique scoreur de progression pré-entraîné. Nos résultats suggèrent qu’une supervision structurée par corrélation sur des signaux ordinaux issus de vidéos est suffisante pour l’apprentissage de politiques, offrant une alternative scalable à la conception explicite de récompenses.
Les modèles de recherche à interaction tardive utilisant la fonction de similarité MaxSim ont démontré des performances empiriques solides, surpassant souvent les modèles de recherche denses et parcimonieux à vecteur unique. Malgré ces résultats empiriques, on sait peu de choses sur la puissance de représentation théorique de MaxSim et sur la façon dont elle se compare à d'autres approches de recherche. Cet article montre par construction que la similarité MaxSim peut reproduire exactement le produit scalaire entre deux vecteurs k-creux non négatifs de dimension éventuellement infinie, en ne nécessitant qu'un espace de représentation O(k). De plus, il existe des similarités que MaxSim peut exprimer alors que les produits scalaires vectoriels standard utilisant le même espace de représentation ne le peuvent pas. En exploitant notre cadre théorique, nous introduisons MaxSim signé, qui permet aux modèles à interaction tardive de reproduire exactement tout produit scalaire à valeurs réelles, ce dont MaxSim standard est incapable, comme nous le démontrons. Nous montrons également que MaxSim peut agir comme une agrégation d'opérations OU flou et comme un évaluateur d'expressions logiques en forme normale conjonctive positive. Nos résultats montrent que MaxSim est au moins aussi capable que les produits scalaires vectoriels standard pour tout vecteur non négatif, et notre extension, MaxSim signé, est aussi capable pour tout vecteur. Les deux similarités possèdent des capacités supplémentaires que le produit scalaire ne peut reproduire, ce qui constitue l'une des premières justifications et quantifications théoriques des méthodes à interaction tardive. Nos résultats théoriques sont soutenus empiriquement : sur une tâche de recherche comportant des requêtes avec négations, MaxSim signé améliore significativement les performances hors domaine par rapport à une base de référence standard ColBERT/MaxSim, avec un nDCG@10 passant de 0,597 à 1,000 sous un changement de vocabulaire et de 0,008 à 0,788 sur les requêtes uniquement négatives.
Les agents LLM s'appuient de plus en plus sur des tampons de récupération pour stocker et réutiliser l'expérience passée, mais les politiques de gestion du cache qui régissent ces tampons restent largement ad hoc. Nous formalisons ce problème comme un problème de remplacement de cache sémantique en ligne avec coûts de commutation, où les éléments sont appariés par similarité d'embedding et la qualité des hits est continue plutôt que binaire. À travers des expériences sur deux ensembles de données de MemoryBench-Full (LoCoMo, DialSim) avec 8 politiques de remplacement, nous révélons une découverte surprenante : les heuristiques classiques (LRU, LFU) performent systématiquement moins bien que la ligne de base naïve FIFO sur les charges de travail sémantiques, en raison de l'absence de localité temporelle et de concentration de fréquence. Nous proposons SOLAR, un cadre augmenté par apprentissage qui dérive le moment de modification à partir de l'accumulation de regrets (atteignant un taux de modification d'environ 17 %) et la sélection de contenu à partir d'un apprentissage bayésien en ligne sur un retour implicite de récupération. Nous prouvons que SOLAR atteint un ratio compétitif constant ≤ 3, indépendant de la taille du cache et de l'horizon (contre Ω(K) pour FIFO), et un regret d'éviction en O(KT log T), correspondant à la borne inférieure Ω(KT) à des facteurs logarithmiques près. Les expériences montrent une amélioration relative de 5 à 75 % par rapport à FIFO pour des tailles de cache serrées, avec une transition de phase clairement caractérisée à la limite de l'ensemble de travail. Des expériences synthétiques avec des pools de 5000 éléments révèlent en outre une relation en U inversé entre la taille du pool et la qualité de récupération, justifiant les contraintes de capacité comme un phénomène de bruit de récupération plutôt qu'une limitation de stockage.
Le raisonnement mathématique est devenu une tâche centrale pour évaluer et ajuster les grands modèles de langage (LLMs) de raisonnement, mais les références existantes restent fortement biaisées en faveur des langues à hautes ressources, l’anglais et le chinois dominant à la fois les corpus de pré-entraînement et les suites d’évaluation. Le jeu de données PolyMath (Wang et al., 2025), récemment publié, représente une avancée significative, mais sa couverture reste limitée à seulement 18 langues à hautes ressources. Pour combler cette lacune, nous présentons PluraMath, une extension de PolyMath à 18 langues supplémentaires sous-représentées couvrant 6 familles linguistiques – allant de ressources moyennes à des situations de très faibles ressources. Nous avons construit le jeu de données via un pipeline organisé par des humains, où des locuteurs natifs ont validé minutieusement les traductions pré-calculées. En utilisant PluraMath, nous évaluons ensuite 27 LLMs de raisonnement à travers quatre échelles de modèles – petits, moyens, grands et ensembles closed-source – sondant les capacités de raisonnement mathématique multilingue des modèles de pointe dans diverses conditions linguistiques. Notre analyse fine confirme un écart persistant dans les performances de raisonnement mathématique entre les langues à hautes ressources et les langues sous-représentées, les résultats les plus forts étant largement associés à une meilleure capacité à suivre les instructions. Nous open-sourceons intégralement notre jeu de données, notre pipeline d'acquisition de données et notre cadre d'évaluation, dans le but de réduire la barrière au développement de références multilingues pour les communautés sous-représentées.
Les modèles de langage multimodaux de grande taille (MLLMs) génèrent des réponses de manière autorégressive, en intégrant les informations visuelles et linguistiques dans un contexte en évolution. Les travaux antérieurs sur l’interprétabilité se sont concentrés sur les couches individuelles et les circuits (le « où »), laissant la dynamique au niveau des tokens du calcul multimodal pendant la génération (le « quand ») sous-explorée. Nous comblons cette lacune et étudions les déplacements d’attention en fonction du rôle sémantique, en suivant l’attention du modèle envers l’image, le texte, l’instruction et les tokens précédemment générés, un jeton à la fois (One Token at a Time, OTaT). Nous introduisons des tâches multimodales qui nécessitent une alternance explicite entre le contexte visuel et textuel au sein d’une même réponse. À travers deux familles de modèles courantes et quatre MLLMs à poids ouverts de différentes tailles, nous établissons des schémas cohérents : l’attention portée à l’image atteint son maximum pour les tokens nécessitant des informations dérivées de l’image, les tokens d’instruction sont revisités lors des transitions de tâche, et l’attention envers les tokens précédemment générés augmente à mesure que la génération progresse. Des interventions causales de blocage de l’attention valident le rôle fonctionnel de ces tendances. Nous profilons le comportement du modèle sous attention perturbée et observons des réponses qui recourent à des a priori linguistiques, ou présentent des fuites intermodales, des dénis ou des rétablissements. Enfin, éclairés par notre nouvelle analyse des dynamiques d’attention, nous proposons une intervention simple au moment du test pour renforcer l’attention sur la modalité pertinente au bon moment, améliorant significativement les performances des tâches multimodales.
Les modèles hiérarchiques Vision-Langage-Action (VLA) découplent la planification de haut niveau du contrôle de bas niveau pour améliorer la généralisation dans la manipulation robotique. Des travaux récents dans ce paradigme utilisent des trajectoires 2D de l’effecteur terminal prédites par un modèle Vision-Langage (VLM) comme guide explicite pour une politique aval. Cependant, les politiques de bas niveau les plus avancées opèrent dans un espace métrique 3D sur des nuages de points, et leur fournir un guidage 2D dépourvu de profondeur oblige chaque point de passage à se voir attribuer la profondeur de la surface de la scène située en dessous, produisant des trajectoires géométriquement déformées. Nous proposons 3D HAMSTER, un cadre hiérarchique qui comble cet écart en faisant en sorte que le planificateur produise directement des trajectoires 3D métriquement fiables. Nous augmentons un VLM avec un encodeur de profondeur dédié et un objectif de reconstruction dense de profondeur pour prédire des séquences de points de passage 3D, qui sont directement intégrées dans une politique de bas niveau basée sur des nuages de points. Sur les plans de la prédiction de trajectoire 3D, de la simulation et de la manipulation réelle, 3D HAMSTER surpasse systématiquement les VLM propriétaires et les approches de référence guidées en 2D, avec les gains les plus importants sous des décalages d’apparence et des conditions linguistiques, spatiales et visuelles inédites. La page du projet est disponible à l’adresse https://davian-robotics.github.io/3D_HAMSTER/.
Nous présentons HunyuanOCR-1.5, un modèle vision-langage léger spécialisé en OCR de bout en bout. HunyuanOCR unifie l'analyse de documents, le repérage de texte, l'extraction d'informations, la traduction texte-image et la compréhension de documents multi-images au sein d'un unique VLM de bout en bout. S'appuyant sur l'architecture légère de HunyuanOCR-1.0, HunyuanOCR-1.5 ne reconçoit pas l'architecture de base, mais améliore systématiquement à la fois l'efficacité et la capacité. Pour l'efficacité, nous adaptons DFlash au décodage OCR, réduisant significativement la latence des sorties structurées longues telles que les documents denses, les tableaux et les formules, tout en préservant la distribution des sorties. Propulsé par DFlash, HunyuanOCR-1.5 atteint une accélération de 6,37× de l'inférence Transformer et une accélération de 2,14× sous vLLM, offrant l'inférence la plus rapide parmi les VLM OCR légers. Pour la capacité, nous proposons Agentic Data Flow, un système de construction de données piloté par des agents qui transforme les faiblesses du modèle en exigences de données exécutables et effectue de manière autonome la recherche de matériel, la vérification de qualité et le développement de pipelines. Il améliore substantiellement les capacités de long-tail en OCR d'écritures anciennes, l'analyse fine des graphiques et tableaux, le question-réponse textocentrique multi-images, l'analyse multilingue à faibles ressources et l'évaluation des hallucinations documentaires. HunyuanOCR-1.5 se classe parmi les solutions OCR de bout en bout de premier plan sur OmniDocBench v1.6 tout en atteignant de nouveaux jalons de performance dans ces tâches de long-tail. Combiné à une recette de pré-entraînement et de post-entraînement améliorée, HunyuanOCR-1.5 étend encore ses capacités dans les scénarios haute résolution, long contexte et multi-tâches. Les expériences démontrent une inférence plus rapide, une couverture plus large des capacités OCR et les avantages de déploiement d'un modèle léger de bout en bout. Nous publierons les poids du modèle et le code d'entraînement pour soutenir la recherche future et les applications OCR réelles.
L'apprentissage par renforcement (RL) est devenu un composant central du post-entraînement des grands modèles de langage (LLMs), mais on comprend encore peu comment l'adaptation par RL se répartit entre les couches du transformeur. Les approches existantes mettent généralement à jour uniformément tous les paramètres du modèle, en supposant implicitement que chaque couche contribue de manière similaire aux gains obtenus lors du post-entraînement par RL. Dans ce travail, nous remettons en question cette hypothèse à travers une étude systématique, couche par couche, de l'entraînement RL. De manière surprenante, nous découvrons que l'entraînement d'une seule couche du transformeur peut récupérer la plupart des gains obtenus par un entraînement RL complet sur tous les paramètres, et dans certains cas même le surpasser. Pour quantifier ce phénomène, nous introduisons la quantité *contribution des couches*, qui mesure la fraction de l'amélioration complète du RL récupérée en entraînant une couche isolément. À travers sept modèles appartenant à deux familles (Qwen3, Qwen2.5), trois algorithmes de RL (GRPO, GiGPO, Dr. GRPO), et plusieurs domaines de tâches incluant le raisonnement mathématique, la génération de code et la prise de décision agentique, nous observons un motif remarquablement stable : les gains du RL sont fortement concentrés dans un petit sous-ensemble de couches du transformeur, et souvent même dans une seule couche. Plus frappant encore, le même motif structurel émerge systématiquement : les couches à forte contribution se concentrent au milieu de la pile du transformeur, tandis que les couches proches des extrémités d'entrée et de sortie contribuent beaucoup moins. Les classements de couches qui en résultent restent fortement corrélés entre les ensembles de données, les tâches, les familles de modèles et les algorithmes de RL.
Les agents de codage génèrent de plus en plus de pull requests (PR) pour des problèmes logiciels réels, mais la génération ponctuelle de PR reste en boucle ouverte : la PR est proposée sans examen, diagnostic ou révision systématique. Nous présentons SWE-Review, un cadre pour fermer cette boucle grâce à une revue de code agentique. Étant donné un problème et une PR générée par IA, un agent relecteur explore le dépôt, décide si la PR doit être acceptée et fournit un retour structuré pour la révision. Nous évaluons ce cadre avec notre SWE-Review-Bench proposé pour mesurer à la fois la justesse de la revue et l'utilité de la révision en aval. Nous élaborons également le jeu de données SWE-Review-Traj pour étudier des applications plus larges de la revue agentique et combler le manque de données pour l'entraînement ouvert de relecteurs. Les expériences montrent que la revue agentique améliore continuellement les PR via une boucle génération-révision-correction, surpasse la revue à contexte fixe en un seul tour tant en précision de décision qu'en taux de résolution après révision, se transpose au-delà de la revue pour améliorer les modèles de résolution de problèmes, et permet une mise à l'échelle efficace et efficiente au moment du test. Ces résultats positionnent la revue de code agentique comme un mécanisme pratique pour faire passer les agents de codage IA d'une génération ponctuelle de PR vers une résolution de problèmes en boucle fermée.
Les arts audiovisuels englobent diverses disciplines créatives, incluant le cinéma, les arts visuels, la performance scénique et la conception de jeux, où le sens artistique émerge de combinaisons délibérées d'éléments visuels, auditifs et narratifs (par exemple, la peur amplifiée par un cadrage claustrophobique, ou le chagrin transmis par le silence et des gros plans prolongés). La véritable compréhension artistique dépasse la simple reconnaissance de ce qui est représenté pour raisonner sur pourquoi cela est exprimé à travers des choix créatifs particuliers. Malgré les progrès importants des modèles de langage multimodaux de grande taille (MLLMs), cet aspect critique de la compréhension artistique reste sous-exploré, car les référentiels existants mesurent principalement la reconnaissance perceptuelle tout en négligeant le raisonnement sur l'intention créative. Pour combler cette lacune, nous présentons Musebench, un référentiel complet conçu pour évaluer les MLLMs sur la compréhension artistique nuancée. Il comprend 4 016 questions couvrant les arts cinématographiques, les arts visuels statiques, les arts de la scène et les arts du jeu, distillées à partir de plus de 10 000 essais vidéo candidats associant commentaires professionnels et démonstration visuelle. Pour capturer la nature ouverte de l'analyse artistique à grande échelle, le référentiel combine des questions à choix unique et des questions à choix multiples à options variables. Toutes les questions sont générées et affinées via un pipeline itératif en quatre phases combinant filtrage des raccourcis, distracteurs adversariaux et validation experte. Une évaluation complète en zero-shot de 28 MLLMs de pointe révèle que même le modèle le plus performant atteint seulement 48,29 % de précision, bien en dessous de la performance d'expert humain de 87,18 %, exposant un écart significatif dans l'expertise du domaine créatif des modèles actuels.
Les modèles Vision-Langage-Action (VLA) sont généralement entraînés par apprentissage par imitation sur des ensembles de données de démonstrations robotiques à grande échelle, mais davantage de données ne conduit pas nécessairement à de meilleures politiques en raison de la redondance, du bruit et d'une couverture inégale. Les méthodes existantes de sélection de données évaluent souvent les démonstrations soit au niveau de la trajectoire, soit au niveau état-action, manquant ainsi les structures réutilisables qui composent les comportements à long terme. Dans cet article, nous proposons SIEVE, une méthode de sélection de données sensible à la structure pour l'apprentissage par imitation VLA. SIEVE considère les démonstrations comme des compositions de primitives réutilisables et d'interfaces de transition. Elle découvre d'abord les primitives visuo-motrices à partir de trajectoires segmentées, puis alloue des budgets de sélection aux schémas de composition en maximisant l'exposition structurelle tenant compte de la réutilisabilité sous des rendements décroissants. Enfin, elle sélectionne les trajectoires médoïdes au sein de chaque groupe de schémas de composition afin de conserver des démonstrations centrales, stables et favorables à l'imitation. Des expériences menées sur plusieurs ensembles de données, bancs d'essai et modèles VLA montrent que SIEVE surpasse systématiquement les références concurrentes de sélection de données. Notamment, SIEVE peut surpasser un entraînement sur l'ensemble des données tout en utilisant seulement 50 % des démonstrations et 50 % des étapes d'entraînement, ce qui suggère que la structure réutilisable, capturée par les primitives et les transitions, constitue un signal important pour un apprentissage par imitation VLA efficace.
Chaque modèle de langage chimique lisant des SMILES commence par un tokeniseur, mais le domaine a hérité du codage par paires d'octets (BPE) issu du langage naturel avec peu d'examen critique. En langage naturel, la principale alternative au BPE, Unigram-LM, est reconnue pour construire des vocabulaires structurellement différents. La question de savoir si cette distinction persiste en chimie restait ouverte. Nous présentons une comparaison contrôlée entre BPE et Unigram-LM sur une base chimique fixe de 165 tokens, pour les petites tailles de vocabulaire où les plongements de tokens sont apprenables, à travers trois typologies de corpus (diversifié, de type médicament, produits naturels) et les deux politiques de limites de pré-tokenisation. Les deux méthodes ne convergent pas. Dans les 22 conditions appariées, elles construisent des vocabulaires de sous-mots quasi disjoints : le chevauchement de Jaccard inter-algorithmes sur les pièces apprises ne dépasse jamais 0,161, et au maximum 0,05 une fois pondéré en faveur des pièces à haute fréquence qu'un modèle met le plus à jour. Unigram-LM segmente également les molécules exclues en 29 à 41 % de tokens supplémentaires ; les deux méthodes s'accordent largement sur l'endroit où couper, mais pas sur la profondeur, de sorte que la segmentation de BPE est un épaississement strict de celle d'Unigram-LM sur 80 à 99 % des molécules. La séparation se maintient à travers le corpus, la limite et la taille du vocabulaire, persistant même à huit fois cette échelle. L'algorithme de sous-mots constitue donc une décision de modélisation, et non un choix par défaut libre. L'étude n'entraîne aucun modèle de langage.
Il existe des disparités significatives dans le diagnostic et la présentation clinique de la dépression selon les populations linguistiques. La détection de la dépression basée sur la parole fonctionne bien en contexte monolingue, mais la généralisation cross-lingue demeure un défi ouvert. Une raison clé est que les travaux antérieurs utilisent des divisions aléatoires au niveau des segments sans regroupement par locuteur, ce qui entraîne une fuite d'identité gonflant artificiellement les métriques rapportées. Nous proposons CLeaD, un cadre d'alignement contrastif supervisé qui projette les plongements WavLM issus de l'anglais et du mandarin dans un espace clinique partagé, sans données parallèles ni fine-tuning sur la langue cible. En évaluant 52 locuteurs mandarins, l'alignement contrastif surpasse modestement le baseline (F1 : 0,640 contre 0,622) dans une évaluation leave-one-speaker-out. Il améliore également le rappel de la classe dépressive aux couches intermédiaires (7-8), bien que la petite taille de l'ensemble de test limite la généralisabilité. Deux résultats restent robustes : le passage à l'échelle du modèle dégrade la performance cross-lingue tout en améliorant la performance monolingue en anglais, et la fuite d'identité du locuteur a artificiellement gonflé les scores F1 précédemment rapportés pour le mandarin à 0,954, artefact que nous reproduisons et quantifions.
La production académique s'effectue au sein d'une chaîne d'outils fragmentée : la découverte de la littérature dans une application, la gestion des références dans une autre, la rédaction dans un éditeur LaTeX, la mise en forme manuelle selon les modèles des conférences, et la soumission via un portail supplémentaire. Chaque passage d'un outil à l'autre impose un changement de contexte, une conversion de format ou un copier-coller manuel, et le coût cumulé domine le temps que les chercheurs consacrent à des activités qui ne relèvent pas de la recherche. Nous présentons Bibby AI, une plateforme intégrée à l'éditeur qui condense cette chaîne d'outils en un pipeline unique Recherche-Rédaction-Publication, bâti autour d'un éditeur LaTeX cloud. Contrairement aux assistants qui se greffent à un éditeur existant via une extension de navigateur, Bibby AI possède l'intégralité de l'état du document, de la chaîne de compilation et de l'historique des révisions, ce qui permet à ses agents d'effectuer l'insertion de citations fondée sur la recherche, les modifications structurelles et le reformatage conforme aux modèles comme des opérations vérifiables de premier ordre, et non de simples suggestions textuelles. La plateforme intègre (i) des pipelines d'ingestion qui convertissent les fichiers PDF, DOCX et les mathématiques manuscrites en LaTeX propre ; (ii) une couche de recherche sur les métadonnées savantes, enrichie de signaux de citation entre brevets et articles provenant de USPTO PatentsView et du corpus de citations Marx-Fuegi, mettant en lumière l'impact translationnel des références candidates ; et (iii) des agents spécialisés par tâche pour le tri de la littérature, la rédaction, la révision et la mise en forme selon les modèles de conférence, qui opèrent directement sur la représentation syntaxique abstraite du document. Bibby AI est déployé en production et sert plus de 5 000 chercheurs actifs dans plus de 50 universités abonnées. Nous décrivons l'architecture, les décisions de conception rendues possibles par l'intégration à l'éditeur, et le cadre d'évaluation des gains de temps au niveau du flux de travail que nous utilisons pour comparer la plateforme aux approches fragmentées de référence.
Nous présentons RuleChef, un cadre qui utilise les grands modèles de langage (LLMs) pour générer des règles exécutables destinées à des tâches de traitement du langage naturel (TAL) telles que la classification de texte, la reconnaissance d’entités nommées (NER) ou l’extraction de relations. Les règles sont générées à partir d’une description de la tâche et d’un ensemble d’exemples étiquetés, puis améliorées de manière itérative en s’appuyant à la fois sur des exemples supplémentaires et sur les retours humains concernant les règles existantes. RuleChef peut également être utilisé pour amorcer des règles en utilisant les paires entrées-sorties observées issues de tout modèle existant pour une tâche donnée. Les LLMs ne sont utilisés qu’en phase d’apprentissage, pour synthétiser des règles et les corriger de manière itérative en fonction des échecs mesurés sur un sous-ensemble de validation. Le résultat de ce processus est un système de règles rapide, déterministe et inspectable. Une évaluation préliminaire est effectuée à la fois sur des tâches de classification et de NER. Nous publions RuleChef en tant que logiciel open source sous licence Apache 2.0.
La génération de scènes 3D conditionnée par la géométrie permet de créer des environnements 3D à partir d'une géométrie fournie par l'utilisateur, offrant un contrôle direct sur la structure de la scène et la disposition des objets. Pour générer de telles scènes 3D, les méthodes actuelles adoptent généralement une conception en trois étapes : d'abord, définir un plan de vues, puis synthétiser des observations multi-vues le long des vues planifiées, et enfin reconstruire une représentation 3D à partir des images générées. Cependant, la définition du plan de vues devient un goulot d'étranglement majeur pour les scènes extérieures, où une géométrie vaste, non structurée et illimitée rend difficile l'obtention de vues offrant une couverture suffisante tout en soutenant une génération stable. Pour remédier à ce goulot d'étranglement, nous présentons SceneFrom3D, un framework qui planifie automatiquement les vues à partir de géométries d'entrée extérieures. SceneFrom3D construit un graphe de génération dirigé dont les nœuds représentent des vues d'ancrage et les arêtes des trajectoires d'interpolation, définissant quelles vues synthétiser, quelles paires de vues interpoler, et dans quel ordre la génération doit se dérouler. Au-delà de la planification automatique des vues, SceneFrom3D améliore encore la contrôlabilité via un conditionnement au niveau des objets, en attribuant à chaque objet une image d'identité pour guider l'apparence et un paramètre d'adhérence à la géométrie pour un contrôle régional sur la géométrie d'entrée. Les expériences montrent que SceneFrom3D atteint un état de l'art en matière de génération de scènes 3D extérieures conditionnée par la géométrie, produisant des scènes de haute qualité avec une apparence d'objet contrôlable et une adhérence à la géométrie.
La navigation incarnée vise à construire des agents capables d'interpréter des objectifs multimodaux, de raisonner dans l'espace 3D et d'atteindre des destinations cibles de manière fiable dans le monde réel. Cependant, les progrès restent limités par le manque d'environnements interactifs extensibles, à haute fidélité et physiquement fondés. Bien que les ensembles de données numérisées du monde réel offrent un réalisme visuel, leur échelle est limitée. En revanche, les simulateurs synthétiques passent à l'échelle plus facilement, mais présentent souvent des écarts importants entre simulation et réalité. Nous présentons Image2Sim, un cadre de simulation neuronale en temps réel qui construit des environnements interactifs de haute qualité à partir de séquences d'images RVB-D posées. L'idée centrale consiste à découpler l'ancrage spatial 3D de la synthèse d'observations photoréalistes. Pour la construction de scènes, Image2Sim utilise un modèle de Gaussienne de caractéristiques par propagation avant qui transforme les observations RVB-D posées en une représentation 3D de Gaussienne de caractéristiques en un seul passage. Pour le rendu, nous proposons un modèle de Flux de Pixels en une étape sensible à la géométrie qui transforme des projections de Gaussiennes clairsemées et bruitées en observations RVB-D panoramiques de haute qualité. Image2Sim sert également de moteur de données incarné entièrement automatisé qui génère à grande échelle des observations haute fidélité, des actions exécutables et des instructions de navigation variées. Il convertit de grandes collections de vidéos et d'images en près de 20 000 scènes interactives et synthétise plus de 10 millions d'échantillons d'apprentissage de navigation. Les modèles de navigation entièrement entraînés dans ces environnements neuronaux obtiennent des améliorations significatives sur les principaux benchmarks et se transfèrent efficacement à des configurations zero-shot réelles. Ces résultats suggèrent que la simulation neuronale extensible peut servir de substrat pratique d'entraînement pour la navigation incarnée à grande échelle.
Récemment, les Architectures Prédictives par Plongement Conjoint (JEPA) ont suscité un intérêt considérable dans les communautés de la vision par ordinateur et de l'apprentissage automatique en tant que cadre prometteur pour l'apprentissage de représentations auto-supervisé. Contrairement aux autoencodeurs masqués qui reconstruisent les pixels, les modèles JEPA apprennent des représentations en prédisant les plongements latents des régions masquées. Les méthodes existantes basées sur JEPA, telles que I-JEPA et V-JEPA, utilisent généralement un seul encodeur dans le réseau étudiant. En revanche, l'utilisation d'encodeurs siamois pour le réseau étudiant est plus naturellement alignée avec les cadres d'apprentissage de représentations inspirés du cerveau, mais leur rôle dans les modèles JEPA reste largement inexploré. Dans cet article, nous étudions l'effet des encodeurs étudiants siamois dans l'apprentissage de représentations basé sur JEPA. À cette fin, nous proposons SiamJEPA, des encodeurs étudiants siamois masqués équipés d'un réseau professeur à moyenne mobile exponentielle (EMA). SiamJEPA peut également être vu comme une formulation JEPA du modèle d'apprentissage de représentations inspiré du cerveau PhiNet. Grâce à des expériences approfondies de sondage linéaire sur ImageNet, nous démontrons que les encodeurs siamois agissent comme un régularisateur efficace pour l'objectif JEPA, améliorant la séparabilité des représentations et accélérant l'apprentissage pendant les premières étapes de l'entraînement. De plus, SiamJEPA surpasse systématiquement les variantes JEPA comparables à encodeur unique sous des budgets d'entraînement limités et atteint une précision de sondage linéaire plus élevée que les Autoencodeurs Masqués (MAE) qui nécessitent un entraînement plus long. Nos résultats révèlent que les encodeurs étudiants siamois ne sont pas simplement un choix architectural mais constituent un biais inductif important pour l'apprentissage de représentations prédictif. Ces résultats fournissent de nouvelles perspectives pour la conception de modèles basés sur JEPA et suggèrent que l'incorporation d'architectures étudiantes siamoises offre une approche simple mais efficace pour améliorer l'apprentissage de représentations auto-supervisé.
Les modèles Audio-Langage de Grande Taille (LALMs) sont de plus en plus intégrés dans les applications quotidiennes, mais leurs biais génératifs restent peu explorés. Les référentiels existants d'équité pour la parole reposent sur la parole synthétique et des questions à choix multiples (QCM), offrant tous deux une vision fragmentée de l'équité. Nous proposons VIBE, un cadre qui évalue le biais génératif à travers des tâches ouvertes telles que les recommandations personnalisées, en utilisant la parole enregistrée par des humains. Contrairement aux QCM, notre méthode permet aux associations stéréotypées de se manifester organiquement sans options prédéfinies, ce qui la rend facilement extensible à de nouvelles tâches. L'évaluation de 12 LALMs de pointe révèle des biais systématiques dans des scénarios réalistes. Les indices de genre et d'accent déclenchent des changements distributionnels statistiquement significatifs, et l'ampleur des biais est fortement dépendante de la tâche.