Articles du Jour

Les agents LLM sont censés agir sur plusieurs tours, en utilisant la recherche, les interfaces de navigation et les outils de terminal pour atteindre les objectifs des utilisateurs. Pourtant, tous les objectifs ne sont pas bien spécifiés ou réalisables dans l'environnement disponible. Dans de tels cas, un agent fiable devrait reconnaître qu'une interaction supplémentaire est peu susceptible d'aider et s'abstenir d'appels d'outils supplémentaires. Nous définissons l'abstention agentique, le problème de décider quand un agent doit cesser d'agir sous incertitude. Contrairement à l'abstention standard des LLM, qui est généralement évaluée comme une décision de réponse ou d'abstention en un seul tour, l'abstention agentique est un problème de décision séquentielle : un agent peut répondre, s'abstenir ou recueillir plus d'informations à chaque tour, et la nécessité de s'abstenir peut ne devenir claire qu'après avoir interagi avec l'environnement. Nous étudions ce problème dans des contextes de shopping en ligne, d'environnements de terminal et de réponse à des questions, en évaluant 13 systèmes agents basés sur des LLM et 2 échafaudages d'agents sur plus de 28 000 tâches. Nos résultats montrent que le principal défi n'est pas seulement de savoir si les agents peuvent s'abstenir, mais aussi quand ils le font. Certains agents ne s'abstiennent jamais quand ils le devraient, tandis que d'autres ne le font qu'après de nombreuses interactions inutiles. Cet écart est particulièrement important pour les tâches où l'instruction semble réalisable jusqu'à ce que l'environnement révèle le contraire (par exemple, aucun résultat valide ne correspond à l'instruction). Nous constatons en outre que l'échelle du modèle, le raisonnement et l'échafaudage de l'agent affectent l'abstention de différentes manières, où des modèles plus grands ou plus performants obtiennent parfois de moins bons résultats en matière d'abstention opportune. Enfin, nous présentons CONVOLVE, une méthode d'ingénierie contextuelle pour améliorer l'abstention agentique qui distille des trajectoires d'interaction complètes en règles d'arrêt réutilisables. Sur WebShop, CONVOLVE améliore considérablement l'abstention opportune sans mettre à jour les paramètres du modèle, faisant passer le taux de rappel opportun de Llama-3.3-70B de 26,7 à 57,4. Notre ensemble de données et notre code sont disponibles à l'adresse https://lhannnn.github.io/agentic-abstention

Le montage vidéo en continu a réalisé des progrès rapides, mais son déploiement pratique reste limité par deux problèmes fondamentaux : le maintien de fonds stables et de régions non modifiées dans le temps, et l'obtention de la faible latence requise pour les scénarios interactifs en temps réel. Parallèlement, les récentes méthodes de génération vidéo en continu sont principalement développées pour la synthèse et ne peuvent pas être directement appliquées au montage en raison de l'exigence stricte de préservation et du contrôle spécifique aux régions. Dans ce travail, nous présentons un nouveau cadre de montage vidéo en continu qui effectue un montage causal, image par image, avec une forte préservation du contenu et une réactivité en temps réel. Notre conception clé est un pipeline de distillation en trois étapes qui transfère progressivement la capacité de montage d'un puissant modèle de base bidirectionnel à un éditeur de streaming unidirectionnel efficace, permettant des montages stables sur de longs horizons sans sacrifier la fidélité visuelle. Pour soutenir davantage le déploiement en temps réel, nous introduisons un cache de masque orienté RA qui réutilise les calculs liés aux régions entre les images, réduisant considérablement le traitement redondant et accélérant l'inférence. Enfin, nous établissons un référentiel dédié pour le montage vidéo en continu. Des évaluations approfondies démontrent que notre méthode atteint une qualité visuelle de pointe parmi les références de streaming tout en augmentant considérablement la vitesse d'inférence à 12,66 FPS, la rendant adaptée aux applications interactives et de réalité augmentée.

Nous présentons Agents-A1, un modèle agentique à mixture d’experts de 35 milliards de paramètres qui atteint des performances de niveau trillion de paramètres en passant à l’échelle l’horizon agent. Nous étudions le passage à l’échelle de l’horizon agent sous deux angles : la mise à l’échelle des trajectoires à long horizon et celle des capacités hétérogènes des agents. Pour soutenir cet objectif, nous construisons une infrastructure connaissance-action à long horizon qui relie connaissances externes, actions, observations et résultats des vérificateurs, produisant des trajectoires agentiques d’une longueur moyenne de 45 000 tokens. Sur cette base, nous entraînons Agents-A1 selon un processus en trois étapes. Premièrement, nous effectuons un fine-tuning supervisé tous domaines pour aligner le modèle de base sur des comportements agentiques larges. Deuxièmement, nous entraînons des modèles enseignants au niveau domaine afin de capturer une expertise spécialisée dans chaque domaine. Troisièmement, nous proposons une distillation sur politique routée par domaine multi-enseignant, avec alignement du vocabulaire saillant, pour améliorer l’efficacité du transfert de connaissances entre différents domaines, unifiant six domaines hétérogènes en un seul modèle étudiant déployable. Agents-A1 obtient des performances solides et étendues sur les benchmarks à long horizon. Comparé à des modèles à 1 trillion de paramètres comme Kimi-K2.6 et DeepSeek-V4-pro, Agents-A1 atteint des résultats de premier plan sur SEAL-0 (56,4), IFBench (80,6), HiPhO (46,4), FrontierScience-Olympiad (79,0) et MolBench-Bind (56,8), tout en restant très compétitif sur SciCode (44,3), HLE (47,6) et BrowseComp (75,5). Nous espérons que ce travail offre à la communauté une voie pratique pour passer à l’échelle l’horizon à l’aide d’un agent de 35B capable d’atteindre ou d’égaler les performances de modèles de 1T sur des tâches à long horizon.

Alors que les grands modèles de langage et les cadres d'évaluation continuent de progresser, les agents opérant dans des terminaux sont de plus en plus capables d'effectuer un éventail plus large de tâches générales d'utilisation d'ordinateur au-delà du codage. Cependant, les benchmarks existants n'évaluent pas correctement les agents polyvalents d'utilisation d'ordinateur via terminal (TUAs) : les benchmarks d'utilisation générale d'ordinateur ciblent principalement les interfaces utilisateur graphiques (GUIs), tandis que les benchmarks basés sur le terminal mettent largement l'accent sur les flux de travail techniques et centrés sur la programmation, historiquement natifs du shell. Nous présentons TUA-Bench, un benchmark à usage général pour les agents utilisant des terminaux. TUA-Bench comprend 120 tâches du monde réel réparties en cinq familles de tâches, couvrant les activités numériques courantes — y compris l'édition de documents, la gestion des courriels et la recherche d'informations sur le web en temps réel — ainsi que des flux de travail scientifiques et d'ingénierie co-conçus avec des experts de domaine de niveau doctorat, qui nécessitent des logiciels spécialisés. Cette ampleur distingue TUA-Bench des benchmarks précédents axés sur le shell ou spécifiques à un domaine. Chaque tâche est conçue manuellement, s'exécute dans un terminal réel avec un script de configuration déterministe, et est évaluée par un protocole de notation basé sur l'exécution. Nous constatons que l'agent de pointe le plus performant, Claude Code avec Claude Opus 4.8 en effort de raisonnement maximal, atteint une performance globale de 65,8 %, avec des écarts substantiels dans les deux volets. En fournissant une évaluation large et réaliste des capacités d'utilisation du terminal, TUA-Bench vise à accélérer la transition d'assistants étroits et spécifiques à une tâche vers des agents polyvalents capables d'opérer de manière fiable dans divers environnements numériques.

Pour réduire la consommation mémoire lors de l'inférence des grands modèles de langage, plusieurs méthodes ont été proposées pour l'élagage du cache KV. Bien que ces techniques puissent réaliser une réduction mémoire sans perte sur de nombreux jeux de données, elles reposent souvent sur une condition sous-estimée : un seuil spécifique à l’entrée/au domaine pour le budget du cache KV doit être prédéfini afin d’atteindre la performance optimale. Cependant, une telle conception sensible aux entrées peut être considérablement limitée dans des scénarios réels, car les entrées de domaines ouverts couvrent des domaines, des longueurs et des niveaux de difficulté variés, sans limites claires pour la sélection des seuils. Par conséquent, la dépendance à ce seuil sensible aux entrées peut constituer une limitation fondamentale entraînant une dégradation importante sur des entrées arbitraires. Dans ce travail, nous proposons un nouvel objectif qui lève les contraintes de seuil pour une compression robuste du cache KV, prônant des méthodes « sans seuil » qui ajustent de manière adaptative l’allocation du budget tout en préservant la performance du cache complet. Nous proposons ensuite une nouvelle méthode, ReFreeKV, comme première instanciation de cet objectif. Des expériences approfondies sur 13 jeux de données avec des longueurs de contexte, des types de tâches et des tailles de modèle variés démontrent son efficacité et son efficience. Notre code est publié publiquement à l’adresse https://github.com/Patrick-Ni/ReFreeKV.

Les modèles de fondation pour l'apprentissage automatique prédictif sur données tabulaires ont récemment suscité un intérêt considérable dans le monde académique et industriel. Les communautés de recherche de différentes disciplines évaluent de plus en plus ces modèles sur des ensembles de données et des tâches variés. Cependant, ces évaluations spécifiques à une tâche ou à une discipline restent largement inaccessibles aux chercheurs en modélisation, car les logiciels de référence et les protocoles d'évaluation sont fragmentés. En conséquence, les chercheurs en modélisation se tournent vers des benchmarks standards, qui sont principalement définis pour des tâches où les modèles de fondation tabulaires excellent déjà. Les scénarios les plus difficiles sont exclus, ce qui limite les progrès significatifs dans le domaine en privilégiant des améliorations marginales sur des données i.i.d. plutôt que des défis plus larges et exigeants. Pour surmonter cela, nous présentons BeyondArena, le premier benchmark unifié et holistique pour données tabulaires, prenant en charge divers types de tâches (i.i.d., temporelles, groupées), à différentes échelles de taille d'échantillon et de dimensionnalité de caractéristiques, avec des types de caractéristiques variés (texte, haute cardinalité) provenant d'un large éventail de disciplines. Pour permettre une évaluation unifiée au-delà des benchmarks standards, nous introduisons Data Foundry, un framework Python et un schéma de métadonnées pour la curation d'ensembles de données tabulaires destinés à l'apprentissage automatique prédictif. Nos résultats, portant sur 11 modèles et 142 ensembles de données curatés, montrent que les modèles de fondation tabulaires existants excellent sur les données i.i.d. de petite à moyenne taille, tandis que les modèles traditionnels basés sur les arbres et d'apprentissage profond dominent encore sur les ensembles de données non i.i.d., de grande taille et à haute dimensionnalité. BeyondArena oriente la recherche en modélisation vers les défis les plus exigeants dans le domaine des données tabulaires, permettant des progrès vers des modèles tabulaires véritablement fondamentaux.

Les interactions physiques suivent une distribution à longue traîne : un ensemble d'interactions courantes et régulières domine l'expérience humaine et les données visuelles, tandis qu'un large éventail d'interactions rares et irrégulières reste sous-représenté. Bien que les modèles visuels du monde récents, y compris les modèles de génération d'images et de vidéos, atteignent un réalisme impressionnant sur les référentiels existants, ils se concentrent principalement sur la simulation d'interactions physiques communes. Cela soulève une question centrale : les modèles visuels du monde actuels intériorisent-ils et généralisent-ils les principes physiques ? Dans ce travail, nous introduisons Tailor-Bench, un benchmark qui met au défi les modèles du monde de simuler des interactions physiques irrégulières. Pour permettre une évaluation systématique, nous concevons trois modes de scénarios qui mettent progressivement à l'épreuve le raisonnement du modèle : les scénarios Réguliers reflètent des paires outil-tâche courantes, les scénarios Non conventionnels remplacent les outils usuels par des substituts compatibles en termes d'attributs pour tester la généralisation des affordances, et les scénarios Impossibles introduisent des outils violant les attributs pour sonder la conscience des contraintes. De plus, nous concevons deux configurations complémentaires sous un protocole d'évaluation unifié : la génération prédictive exige d'inférer les résultats sans guidance, tandis que la génération descriptive spécifie le résultat cible pour une réalisation fidèle. Nos résultats expérimentaux révèlent un net fossé de longue traîne dans la modélisation du monde physique : les performances se dégradent des scénarios Réguliers aux scénarios Non conventionnels et Impossibles, indiquant une généralisation limitée au-delà des interactions courantes. L'analyse des échecs montre en outre que les modèles s'appuient sur des motifs visuels superficiels : les modèles d'images ne parviennent pas à réaliser des changements d'état corrects, tandis que les modèles vidéo souffrent en plus d'incohérences temporelles.

L'intérêt récent pour les modèles de langage multimodaux de grande taille (MLLMs) soulève une question centrale : ces modèles peuvent-ils raisonner sur des preuves visuelles dynamiques, plutôt que de simplement reconnaître des objets ou des événements dans des images individuelles ? Cette capacité, que nous appelons raisonnement temporel-logique vidéo, exige que les modèles maintiennent, mettent à jour et composent des preuves à mesure que les états visuels évoluent entre les images. Les bancs d'essai vidéo existants confondent souvent cette capacité avec la complexité des scènes, la reconnaissance statique ou une variation temporelle non contrôlée. Afin d'isoler cette capacité, nous introduisons Video-MME-Logical, un banc d'essai contrôlé organisé autour de cinq opérations temporelles-logiques : suivi d'état, comptage séquentiel, ordonnancement temporel, spatialité dynamique et composition structurelle. Ce banc d'essai contient 25 catégories de tâches à granularité fine, générées avec des états d'objets contrôlés, des transitions, des dépendances temporelles et des compositions logiques. Il permet une évaluation finale avec difficulté contrôlée en faisant varier l'horizon temporel et la complexité du raisonnement, et prend en charge un diagnostic intermédiaire des états en vérifiant si les modèles reconstituent la trace de raisonnement logique requise avant de produire la réponse finale. Les expériences menées avec des MLLMs de pointe révèlent un écart important entre l'humain et le modèle, surtout lorsque la complexité temporelle-logique augmente. Un ajustement supervisé sur jusqu'à 500 000 échantillons générés améliore les performances, mais reste insuffisant pour combler l'écart de raisonnement, positionnant Video-MME-Logical comme un banc d'essai évolutif pour analyser et améliorer le raisonnement temporel-logique dans les MLLMs.

La distillation sur politique (OPD) entraîne un élève sur ses propres déroulements guidés par les retours de l'enseignant et devient de plus en plus importante pour le post-entraînement des grands modèles de langage (LLM). Cependant, comme l'apprentissage par renforcement (RL), l'OPD fait face à un goulot d'étranglement système sur politique, car les déroulements peuvent dominer le temps d'entraînement pour les charges de travail de raisonnement. Les pipelines d'entraînement asynchrones peuvent atténuer ce goulot d'étranglement en découplant la génération de déroulements des mises à jour de l'apprenant, mais cela introduit des données de politique obsolète. Bien que des travaux antérieurs aient étudié les données obsolètes dans le RL asynchrone, leurs effets dans l'OPD restent sous-explorés. Nous présentons la première étude systématique de l'obsolescence dans l'OPD asynchrone, en nous concentrant sur un cadre pratique où les retours de l'enseignant sont implémentés via des pertes KL locales et où les logits complets de l'enseignant sont trop coûteux à stocker ou transférer, nécessitant des caches finis de scores de l'enseignant. Nous montrons d'abord que la direction de la divergence KL modifie le problème des données obsolètes : la KL directe pondérée par l'enseignant est plus robuste aux déroulements obsolètes, tandis que la KL inverse pondérée par l'élève est vulnérable. Deuxièmement, pour ce cas vulnérable de KL inverse, nous étudions si des méthodes conçues pour stabiliser le RL asynchrone peuvent atténuer l'obsolescence de l'OPD. Dans nos expériences, elles ne s'améliorent pas par rapport à une solution de substitution plus simple spécifique à l'OPD : recalculer le signal KL inverse sous l'élève actuel au moment de l'apprenant. Troisièmement, nous analysons comment les caches finis de scores de l'enseignant créent un compromis biais-variance pour les estimateurs OPD de KL inverse parcimonieux et échantillonnés. Cela motive le Monte Carlo multi-échantillons (MC), qui préserve la corrigibilité MC tout en réduisant la variance d'un seul échantillon. Enfin, nous présentons et publions en open source AsyncOPD, un pipeline d'entraînement OPD entièrement asynchrone construit à partir de ces choix d'estimateurs. Les expériences montrent qu'AsyncOPD améliore le débit d'entraînement de 1,6 à 3,8 fois par rapport à un entraînement strictement synchrone tout en atteignant une précision comparable.

La compréhension vidéo est une capacité fondamentale pour l'intelligence multimodale, et les récents Modèles de Langage Multimodaux de Grande Taille (MLLMs) ont obtenu des performances remarquables sur les benchmarks de Réponse à des Questions Vidéo (VideoQA). Cependant, les benchmarks existants évaluent principalement si les modèles perçoivent des indices visuels superficiels, et examinent rarement si les MLLMs peuvent acquérir des connaissances plus profondes ou des compétences procédurales à partir de tutoriels vidéo et les généraliser à des tâches agentiques à long terme en aval. Pour combler cette lacune, nous introduisons VG-GUIBench (Video-Guided GUI Benchmark), un nouveau benchmark conçu pour évaluer si les agents GUI basés sur les MLLMs peuvent suivre des tutoriels vidéo pour accomplir les tâches interactives GUI correspondantes. De plus, nous observons que la performance des modèles sur les benchmarks VideoQA et les tâches agentiques guidées par vidéo dépend crucialement d'une extraction efficace d'images-clés. Sur la base de cette observation, nous proposons TASKER (Task-driven And Scene-aware Keyframe searchER), un algorithme d'extraction d'images-clés qui considère conjointement la pertinence par rapport à la tâche et les dynamiques de la scène pour identifier les images informatives. Les résultats expérimentaux montrent que TASKER obtient des améliorations significatives de performance sur les benchmarks VideoQA et les benchmarks de tâches agentiques guidées par vidéo, dépassant la meilleure référence de 2,0 % sur l'ensemble complet d'EgoSchema et de 1,8 % sur le jeu de données NExT-QA, respectivement. Ces résultats soulignent en outre le potentiel des méthodes généralisées d'extraction d'images-clés pour les tâches de compréhension vidéo. Notre code et nos données sont disponibles à l'adresse https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

L'entraînement préalable des LLM à grande échelle bénéficie de l'utilisation du parallélisme de pipeline ; cependant, les implémentations synchrones laissent les GPU inactifs pendant les bulles de pipeline, gaspillant ainsi les ressources de calcul. Le parallélisme de pipeline asynchrone élimine ces bulles, maximisant le débit au prix d'une obsolescence du gradient. Parmi les ordonnancements asynchrones, PipeDream-2BW est particulièrement attrayant : contrairement à l'ordonnancement original de PipeDream, il garantit un délai constant d'un pas de gradient, quelle que soit la profondeur du pipeline. Cependant, son adoption reste limitée en raison de la croyance répandue selon laquelle l'optimisation sous obsolescence est fondamentalement instable. Dans ce travail, nous remettons en question cette hypothèse, en démontrant que la dégradation sous un délai d'un pas dépend fortement du choix de l'optimiseur plutôt que d'être une limitation intrinsèque. Nous fournissons la première analyse empirique complète montrant que, tandis qu'AdamW, l'optimiseur prédominant à l'époque où PipeDream-2BW a été introduit, souffre effectivement d'une dégradation sévère, des méthodes récentes comme Muon présentent une robustesse marquée sous un délai d'un pas. Nous introduisons une correction inspirée du retour d'erreur, indépendante de l'optimiseur, pour atténuer davantage les effets du délai. Nous fournissons une analyse théorique de soutien démontrant la convergence de Muon avec et sans cette correction. Une évaluation approfondie sur des modèles allant jusqu'à 10 milliards de paramètres confirme que nos stratégies comblent l'écart de performance avec l'entraînement synchrone, mettant en lumière le potentiel pratique du parallélisme de pipeline asynchrone à grande échelle.

Différentes applications de parole en temps réel imposent des budgets de latence distincts, nécessitant souvent des modèles d’amélioration entraînés séparément pour chaque scénario. Dans cet article, nous proposons un modèle universel d’amélioration de la parole en temps réel, conçu pour répondre à tous les cas, offrant un contrôle explicite à la fois sur la latence algorithmique et la latence de calcul. La latence algorithmique est ajustée de manière flexible grâce à des trames d’anticipation configurables. Pour éviter l’inefficacité d’apprentissage causée par des configurations de padding variables, nous introduisons des couches convolutionnelles parallèles correspondant à différents réglages d’anticipation. La latence de calcul est contrôlée via un mécanisme de sortie anticipée, permettant une inférence à différentes profondeurs du réseau. Afin de réduire l’écart de performance entre les modèles spécialisés et flexibles, nous proposons une stratégie d’entraînement en deux étapes avec une transition d’un décodeur partagé à plusieurs décodeurs. Globalement, le cadre proposé permet de déployer un seul modèle sur divers budgets de latence sans avoir à réentraîner des modèles distincts.

Les récentes avancées dans le Gaussian Splatting 3D ont démontré un succès sans précédent pour la synthèse de nouvelles vues. Cependant, le surcoût important d'inférence et de stockage induit par les harmoniques sphériques (SH) d'ordre élevé constitue un obstacle majeur pour les plateformes mobiles. Dans cet article, nous présentons Flux-GS, une méthode de Gaussian Splatting en temps réel conçue pour produire un rendu haute-fidélité avec un surcoût considérablement réduit pour les plateformes mobiles aux ressources limitées. Nous proposons d'abord un agrégateur d'énergie spéculaire de Monte Carlo, qui échantillonne les résidus de radiance de troisième ordre et agrège l'énergie spéculaire dans un espace latent compact. Ainsi, notre méthode préserve efficacement les caractéristiques d'éclairage visuellement saillantes dans les bandes d'ordre inférieur, sans distillation coûteuse ni pré-entraînement. Pour atténuer la perte de détails haute fréquence lors de la compression, nous introduisons un module d'amélioration des SH conditionné par les attributs. Ce module prédit des décalages basés sur les attributs intrinsèques des gaussiennes, ce qui améliore la représentation SH de premier ordre avant l'inférence, sans coût d'inférence supplémentaire. De plus, la densification originale basée sur le gradient d'une seule vue tend à produire un nombre excessif de gaussiennes et à surapprendre une certaine vue. Nous répondons à ces limitations en proposant une stratégie de densification et d'élagage multi-vues basée sur l'alpha. En exploitant le guidage multi-vues, nous garantissons la cohérence structurelle multi-vues et la suppression précise des primitives redondantes. Des expériences approfondies montrent que Flux-GS parvient à une réduction substantielle des paramètres tout en maintenant une qualité visuelle compétitive, offrant une solution robuste et extensible pour le rendu mobile en temps réel. Code : magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

Les modèles multimodaux agentifs effectuent diverses opérations sur une image via du code et raisonnent sur la vue renvoyée, un paradigme efficace pour la réponse à des questions visuelles à granularité fine. Cependant, les opérations de code peuvent être utiles, redondantes ou trompeuses. Les récompenses basées uniquement sur le résultat ne permettent pas de distinguer précisément ces cas, et les récompenses de processus existantes soit ne parviennent pas à attribuer la justesse finale à des appels d'outils individuels, soit nécessitent un modèle de jugement externe. Pour y remédier, nous introduisons l'Optimisation de Crédit Augmentée par Outil (TACO), une variante de GRPO pour les agents code-outil construite sur deux canaux d'avantage couplés. Le premier, la Récompense Différentielle par Sondage de Réponse (DAPR), est un avantage de contribution d'outil auto-supervisé et sans juge qui crédite chaque appel d'outil par son propre effet sur la réponse correcte. Des jetons de sondage insérés dans le raisonnement du modèle suscitent ses prédictions avec et sans l'outil, et la différence de récompense de résultat est prise comme valeur de l'appel : positive pour un appel utile, négative pour un appel trompeur, et nulle pour un appel qui ne change rien. Cela réutilise le vérificateur de réponse existant sans juge auxiliaire, et, étant une différence plutôt qu'un score de sondage absolu, est naturellement robuste au piratage de sondage. Le second est l'avantage de résultat provenant de la réponse finale, distribué par le Routage d'Avantage avec Porte de Résultat (OGAR) : une règle sans paramètre qui, conditionnée par le résultat de l'appel, délivre ce crédit uniquement aux segments responsables, supprimant les appels d'outils gaspillés sans aucun terme de coût. Nous entraînons TACO via un pipeline SFT+RL en deux étapes. Des expériences approfondies sur des benchmarks de perception, de raisonnement et multimodaux généraux montrent qu'il produit des gains de précision constants et apprend à invoquer ses outils uniquement lorsqu'ils aident.

Les benchmarks existants d'utilisation d'ordinateur ne parviennent pas à capturer le réalisme, la complexité et les exigences à long terme de l'utilisation réelle d'un ordinateur, limitant ainsi leur capacité à révéler les limitations des agents de pointe. Nous présentons OSWorld 2.0, un benchmark composé de 108 flux de travail d'utilisation d'ordinateur de longue durée, couvrant des tâches quotidiennes et professionnelles, conçu pour capturer des phénomènes réels complexes et difficiles. Chaque tâche représente un flux de travail réaliste de bout en bout dont la réalisation prend en médiane environ 1,6 heure aux utilisateurs humains et nécessite en moyenne 318 appels d'outils avec Claude Opus 4.7 en mode de réflexion maximale, contre environ 30 dans OSWorld 1.0. OSWorld 2.0 cible des phénomènes de défi courants dans les flux de travail réels mais sous-représentés dans les benchmarks antérieurs, couvrant des défis de conception d'interaction tels que l'interaction en continu et les environnements dynamiques, ainsi que des défis de schémas d'agents tels que le raisonnement multi-source, l'inférence d'état implicite et la précision visuo-spatiale. Les tâches sont ancrées dans des artefacts d'entrée authentiques et recoupées avec des données de profil utilisateur réalistes et contextualisées, et incluent des rapports de sécurité distincts auditant les exécutions sensibles en matière de sécurité. Selon notre métrique principale de complétion binaire à 500 étapes, Claude Opus 4.8 avec réflexion maximale et appels d'outils par lots obtient le meilleur score, mais ne termine que 20,6 % des tâches avec un score partiel de 54,8 % ; GPT-5.5 est bien plus économique en tokens mais plafonne près de 13 %. Ces résultats montrent que les agents actuels sont encore loin d'une utilisation informatique de niveau professionnel : plutôt que de buter sur le contrôle GUI de base ou le codage, ils perdent le fil des contraintes, manquent des informations qui arrivent en cours de tâche, devinent plutôt que de demander à l'utilisateur et sautent la vérification, rencontrant le plus de difficultés lorsqu'une tâche repose sur un état caché qu'ils doivent retrouver.

La plupart des benchmarks d'agents de codage sont statiques : un agent reçoit une description complète de la tâche dès le départ et n'est évalué que sur son code final. L'assistance au codage réelle est interactive, les utilisateurs clarifiant les objectifs, ajoutant des contraintes et corrigeant les erreurs au fil de plusieurs échanges. Nous présentons SWE-Together, un benchmark multi-tours reconstruit à partir de sessions de codage réelles entre utilisateurs et agents. Pour rendre les interactions réelles vérifiables, nous sélectionnons 109 tâches au niveau du dépôt à partir de 11 260 sessions enregistrées, en choisissant des sessions avec des états de dépôt récupérables, des objectifs utilisateur clairs et des résultats observables. Pour rejouer ces interactions sur différents agents, nous construisons un simulateur d'utilisateur réactif basé sur un LLM qui préserve les intentions des utilisateurs originaux et fournit des retours lorsque la progression de l'agent de codage le nécessite. Pour évaluer les agents en tant que collaborateurs, nous mesurons à la fois la correction finale du dépôt et le nombre de tours de retour correctifs nécessaires lors de l'interaction. Les expériences avec des agents de codage de pointe montrent que les agents plus forts obtiennent généralement des taux de succès finaux plus élevés tout en nécessitant moins d'interventions, ce qui suggère une meilleure expérience utilisateur.

Les modèles de langage vocal (MLV) ont été largement étudiés, le paradigme courant intégrant des données textuelles et des MLV textuels pré-entraînés. Une approche dominante est l'entrelacement parole-texte, où les modèles sont entraînés sur des séquences contenant à la fois des tokens de parole et de texte, dans le but d'améliorer même les capacités purement vocales. Pourtant, la manière dont ces deux modalités interagissent dans l'espace latent du modèle reste floue. Dans ce travail, nous analysons des MLV entrelacés parole-texte de différentes familles et tailles de modèles à travers le prisme de la lentille logit afin d'apporter un tel éclairage. Nous révélons que ces modèles traversent une phase de transcription implicite au cours de laquelle le token textuel du mot parlé devient décodable dans les couches intermédiaires, bien qu'ils n'aient pas été entraînés pour la reconnaissance vocale. La transcription du mot apparaît comme l'un des mots candidats les mieux classés pour jusqu'à 77 % des données. Après cette étape, les modèles procèdent à la prédiction du mot suivant dans l'espace textuel avant de revenir au domaine de la parole. Enfin, nous analysons le rôle des données d'entrelacement et de l'initialisation à partir de MLV textuels dans la genèse de ce comportement, ainsi que la corrélation de ce dernier avec les capacités de connaissances orales. Notre analyse éclaire les mécanismes internes sous-tendant la relation entre les modalités parole et texte et pourrait orienter l'optimisation des MLV.

Les données, en tant que substrat fondamental de l'intelligence moderne, ont largement stimulé le développement des modèles fondamentaux actuels. Naturellement, les chercheurs cherchent à étendre ce paradigme au domaine des agents GUI, espérant construire des agents GUI robustes via un paradigme similaire. Cependant, les données des agents GUI ne peuvent pas être directement collectées sur Internet, ce qui les rend coûteuses et difficiles à obtenir à grande échelle. En conséquence, les agents GUI actuels souffrent d'une faible généralisation inter-appareils et d'une capacité d'ancrage visuel limitée pour les éléments GUI fins. Pour tenter de relever le défi des données dans les agents GUI, nous proposons GUICrafter, un agent GUI faiblement supervisé exploitant des captures d'écran massives non annotées pour réduire considérablement la dépendance aux annotations humaines coûteuses. GUICrafter explore un cadre d'apprentissage par curriculum pour former les agents GUI à travers deux étapes progressives. Dans un premier temps, le modèle apprend l'ancrage visuel à partir de captures d'écran et de pages web à grande échelle non annotées, en exploitant les signaux contextuels riches inhérents aux interactions GUI sans annotations humaines. Ensuite, dans la deuxième étape, nous utilisons une petite quantité de données de haute qualité pour calibrer le modèle via un apprentissage par renforcement. Les expériences montrent que GUICrafter atteint des performances compétitives, voire supérieures, à celles de systèmes avancés comme UI-TARS, tout en n'utilisant que 0,1 % de ses données. De plus, avec la même quantité de données annotées, GUICrafter surpasse toutes les méthodes précédentes telles que GUI-R1. Le code, les données et les modèles sont disponibles à l'adresse https://github.com/fansunqi/GUICrafter.

Nous présentons DreamForge-World 0.1 Preview, un modèle de monde fondamental en aperçu pour la simulation interactive en temps réel. Le système adapte le pipeline vidéo autorégressif LongLive 1, lui-même dérivé de Wan2.1-T2V-1.3B, avec une voie d'action résiduelle inspirée de la famille Matrix-Game. DreamForge-World 0.1 Preview se concentre sur un axe complémentaire aux simulateurs de monde de pointe : adaptation à faible calcul, exécution sur GPU grand public, et couverture étendue des capacités interactives. Il prend en charge le contrôle en direct par clavier et souris, l'initialisation multimodale, le ré-invitation en cours de flux, le fonctionnement à deux vues, et des déploiements interactifs à l'échelle de la minute en résolution 480p native, atteignant de 14 à 15 FPS sur un seul RTX 4090 avec une faible empreinte mémoire. En exploitant des backbones vidéo ouverts et en appliquant des exécutions d'adaptation ciblées, nous construisons le système d'aperçu avec un haut rapport coût-efficacité. DF-World 0.1 Preview n'est pas encore un simulateur de monde à mémoire complète ou de qualité de pointe, mais il démontre une voie pratique à faible calcul vers des aperçus de modèles de monde contrôlables en temps réel sur des GPU grand public.

Malgré les avancées impressionnantes dans le détourage d'image, le détourage vidéo reste difficile en raison du fossé inhérent entre le suivi de haut niveau, qui nécessite une compréhension image par image, et le détourage de bas niveau, qui se concentre sur des détails extrêmement fins. Les méthodes existantes abordent ce problème avec des ensembles de données de détourage vidéo coûteux et au champ d'application restreint, ce qui peut limiter la généralisation hors domaine et compromettre la robustesse du suivi. Nous repensons le paradigme avec SAM2Matting, un cadre de type tracker-à-détourage qui fait progresser les trackers de segmentation d'objets vidéo (VOS) vers un détourage vidéo haute fidélité. Plus précisément, il découple la tâche en enrichissant un tracker fondamental (par exemple, SAM2, SAM3) avec un pont de proposition de région et des têtes de détourage dédiées, permettant au tracker, sans compromis, de gérer la cohérence temporelle tandis que les composants de détourage résolvent les détails fins. Notamment, bien qu'entraîné uniquement sur des images, SAM2Matting établit de nouvelles performances de pointe en détourage vidéo, prend en charge divers types d'invites, maintient une forte cohérence temporelle et démontre une généralisation robuste à la fois dans des scénarios centrés sur l'humain et dans la nature.

Les Flots Normalisants (NFs) sont des modèles génératifs puissants capables d'estimation exacte de densité et d'échantillonnage. Cependant, leur stricte inversibilité contraint souvent le modèle à épuiser sa capacité sur les détails de pixels de bas niveau, entravant la capture des structures sémantiques de haut niveau. Bien que la Modélisation d'Images Masquées (MIM) ait excellé en apprentissage de représentations, son intégration dans les pipelines génératifs est restée largement modulaire et déconnectée. Dans cet article, nous proposons MIMFlow, un cadre unifié de bout en bout qui optimise conjointement la sémantique latente, la reconstruction des pixels et le flot génératif. En utilisant un encodeur VAE pour inférer le latent sémantique à partir d'images masquées, MIMFlow réalise un découplage de principe de la tâche générative : le Flot Normalisant se concentre sur la modélisation d'une variété sémantique simplifiée à basse fréquence, tandis qu'un décodeur spécialisé gère la synthèse à haute fréquence. Cette conception résout efficacement le goulot d'étranglement inhérent à la capacité des NFs, permettant au modèle de prioriser la cohérence structurelle globale par rapport au bruit redondant. Les résultats empiriques sur ImageNet 256×256 montrent que MIMFlow-L atteint une précision de sondage linéaire de 71,3 % et un FID de 2,50. Malgré l'utilisation de seulement 128 tokens (50 % de moins que les modèles standards), il offre un gain de performance de 32,8 % par rapport aux bases NF d'échelle similaire. Notre code est disponible à l'adresse https://github.com/MCG-NJU/MIMFlow.

La recherche en prévision de séries temporelles s'est orientée régulièrement vers des architectures plus grandes, passant des transformeurs spécialisés aux modèles de base polyvalents, en partant du principe que la capacité est ce qui déverrouille la précision. Nous adoptons la position inverse : la majeure partie de l'écart peut être comblée à un coût bien moindre en optimisant le prétraitement plutôt qu'en augmentant l'échelle des modèles. Nous utilisons la régression Ridge comme banc d'essai, car elle possède une solution de forme fermée et des poids interprétables, ce qui permet de lire directement les hyperparamètres optimaux à partir de la recherche. Nous explorons la longueur du contexte, la normalisation locale, la régularisation et l'augmentation sur huit benchmarks standards et découvrons trois tendances. (1) La longueur optimale du regard en arrière est fortement spécifique à la série et souvent non monotone par rapport à l'horizon de prévision, avec des exposants de loi de puissance ajustés allant de +0,46 sur ETTm2 à -0,19 sur Exchange et Traffic, remettant en cause la convention selon laquelle des horizons plus longs nécessitent un historique plus long. (2) Normaliser sur une fraction apprise de la fin du contexte, plutôt que sur son intégralité, est presque universellement préféré. (3) Les séries au sein d'un même ensemble de données divergent souvent sur les hyperparamètres ; le degré optimal de partage entre séries varie de complètement partagé à complètement par série. Les modèles résultants surpassent les prévisionnistes linéaires antérieurs sur la plupart des entrées ensemble de données-horizon et dépassent les lignes de base des transformeurs, MLP et CNN sur six des huit benchmarks. Les hyperparamètres optimisés servent également de diagnostic sur les données elles-mêmes, révélant des structures que les modèles plus grands absorbent silencieusement dans leurs paramètres appris.

Nous proposons Nemotron-Labs-Diffusion-Image, un modèle de diffusion discret masqué (MDM) de pointe pour la synthèse texte-image haute résolution. Par rapport aux travaux antérieurs sur la génération d'images masquées, Nemotron-Labs-Diffusion-Image répond à deux défis clés. Premièrement, contrairement aux modèles de diffusion continus qui affinent progressivement les représentations latentes sur l'ensemble de l'image, les MDM standards manquent de capacité d'auto-correction car les tokens discrets ne peuvent pas être modifiés une fois démasqués. Deuxièmement, bien que l'augmentation de la taille du vocabulaire des tokeniseurs d'images discrets améliore la fidélité de reconstruction, elle introduit des difficultés d'optimisation pour la modélisation générative car le signal d'apprentissage par token devient de plus en plus épars. Pour relever le premier défi, Nemotron-Labs-Diffusion-Image intègre un mécanisme d'édition de tokens qui permet au modèle de réviser dynamiquement les tokens déjà démasqués pendant l'inférence, à la manière d'un sculpteur qui affine itérativement son œuvre. Pour résoudre le second défi, nous proposons une objectif d'Entropie Croisée Groupée (ECG) qui attribue des signaux d'apprentissage positifs aux tokens voisins de la vérité terrain dans l'espace d'embedding, atténuant ainsi la rareté du signal. Pour améliorer encore l'efficacité de l'entraînement, nous implémentons un opérateur fusionné personnalisé pour l'ECG qui réduit considérablement l'utilisation de VRAM dans les contextes à grand vocabulaire. Les résultats expérimentaux montrent que ces innovations améliorent substantiellement à la fois l'efficacité de l'entraînement et la fidélité des images des générateurs d'images discrets masqués, atteignant un score de 0,90 sur GenEval, 86,9 sur DPG et 10,76 sur HPSv3.

Les connaissances mathématiques sont organisées autour d’énoncés et de leurs dépendances, mais cette structure est exposée de manière inégale : les articles informels citent principalement au niveau du document, tandis que les bibliothèques formelles enregistrent des dépendances à grain fin sur un corpus mathématique beaucoup plus restreint. Nous introduisons TheoremGraph, un graphe de dépendances unifié au niveau des énoncés couvrant à la fois les mathématiques informelles et formelles. Du côté informel, nous analysons 11,7 millions d’environnements de type théorème provenant d’arXiv mathématiques et récupérons 18,3 millions de dépendances candidates dirigées, chacune étiquetée par l’extracteur qui l’a proposée, afin que les utilisateurs avals puissent arbitrer entre couverture et précision. Du côté formel, nous publions LeanGraph, un extracteur au niveau de l’élaborateur Lean 4 produisant 388 105 nœuds de déclaration et 11,3 millions d’arêtes typées dans 25 projets Lean. Nous relions les deux graphes en plongeant des slogans en langage naturel générés dans un espace sémantique partagé, associant ainsi des énoncés apparentés à travers les articles et au-delà de la frontière informel/formel ; un juge LLM valide 47 952 de ces correspondances au-dessus d’un seuil cosinus de 0,8, le taux d’acceptation par le juge passant de 48 % à ce seuil à 87 % dans la tranche >=0,9. Pour la recherche de concepts formels, notre représentation par nom et signature avec expansion de graphe atteint un Recall@10 après reclassement à moins de 0,5 point près de LeanSearch v2 (0,775 contre 0,780), sans reclasseur LM. Nous publions l’ensemble de données, les extracteurs, l’API HTTP et l’interface MCP comme infrastructure pour la recherche mathématique, l’attribution et le raisonnement augmenté par recherche, disponibles sur theoremsearch.com et huggingface.co/datasets/uw-math-ai/theorem-matching.

Les agents LLM traitent les requêtes des utilisateurs pour le compte d’organisations au moyen d’appels d’outils et doivent respecter les politiques de l’entreprise énoncées dans leurs instructions système. Les travaux antérieurs abordent ce problème sous l’angle de la sécurisation – des vérifications externes qui bloquent les actions des agents non conformes. Nous soutenons que le respect des politiques est un problème plus large : les flux de travail réels se déroulent sur plusieurs tours, nécessitent une confirmation explicite de l’utilisateur et des lectures préalables, et dépendent du contenu du dialogue plutôt que de la valeur d’un seul argument. Atteindre ce niveau exige (i) un contexte conversationnel complet, (ii) un auto-raisonnement sur la politique et le dialogue en cours, et (iii) une remédiation propre à la conversation qui guide le tour suivant de l’agent – trois capacités que les travaux antérieurs sur la sécurisation ont souvent sous-estimées. Nous présentons POLICYGUARD, un vérificateur sous-agent qui partage la vision du dialogue de l’agent, raisonne sur la politique en contexte et fournit un retour d’information exploitable pour le tour suivant de l’agent. Sur le banc d’essai tau²-BENCH airline pour trois fournisseurs (GPT-5.4, Claude Sonnet 4.6, Gemini 2.5 Pro) avec quatre essais par configuration, POLICYGUARD améliore PASS4 de +12,0 / +6,0 / +12,0 points de pourcentage. Des analyses par appel montrent que POLICYGUARD obtient un meilleur rappel des violations de politique tout en bloquant environ deux fois moins souvent que les gardiens au niveau des arguments.

Les systèmes de génération vidéo interactive pour l'exploration de mondes contrôlée par caméra déploient des séquences croissantes de trames vidéo latentes, entremêlant la transition d'état avec la synthèse d'observation haute fréquence. Nous proposons *Walking in the Implicit*, un paradigme centré sur la scène qui transforme la variable de déploiement de trames latentes en un état implicite renderisable de longueur fixe, appelé Scène Implicite Neuronale (NIS). Cela factorise la génération interactive en une transition stochastique d'un état de scène compact et un rendu déterministe conditionné par la pose, à partir de l'état échantillonné. Nous concrétisons ce paradigme avec NeuWorld : un VAE transformeur apprend une NIS ancrée localement à partir de vues posées éparses, et un transformeur de diffusion fait évoluer la NIS conditionnée par les trajectoires futures de la caméra et un historique récupéré avec une prise en compte de la géométrie. En réutilisant l'encodeur VAE comme conditionneur unifié, NeuWorld projette les indices de la caméra, de l'image de référence et de l'historique dans la même modalité NIS, évitant ainsi des encodeurs hétérogènes externes. Entraîné de zéro sur des données de vues posées publiques sans backbone vidéo pré-entraîné ni reconstructeur 3D auxiliaire, NeuWorld atteint une forte cohérence à long terme avec une efficacité d'inférence favorable.

RocketSmith est un système agentique qui automatise intelligemment le processus de DFAM pour le développement de fusées de haute puissance adaptées au lancement. Le système utilise un grand modèle de langage pour orchestrer l'exécution d'outils logiciels afin de valider les caractéristiques de conception, telles que la stabilité en vol, et de générer les composants de conception paramétrique de l'assemblage de la fusée. Un ensemble de sous-agents et de compétences permet d'optimiser les paramètres de vol via des itérations dans des workflows sans intervention humaine (zero-shot) ou avec intervention humaine (human-in-the-loop). Grâce à ce système, quatre fusées de haute puissance distinctes, présentant diverses configurations de moteur et d'assemblage, ont été développées en exploitant les capacités de conception uniques de la fabrication additive. Ces composants d'assemblage ont été fabriqués à l'aide de plusieurs imprimantes FDM, évalués manuellement pour leur état de préparation au vol, et testés en vol lors d'un événement de lancement. À l'issue de ces tests, toutes les fusées ont réalisé un lancement stable et deux des quatre fusées ont été récupérées en état de réutilisation. Les données altimétriques ont confirmé que les fusées ont atteint une altitude égale à 80 % de l'apogée prévu par le système agentique, établissant ainsi une cohérence entre la simulation et l'expérimentation.

Prédire la difficulté des items pour les humains est un enjeu central de l’évaluation éducative, où des estimations fiables soutiennent l’équité et une construction efficace des tests. Les méthodes existantes dépendent souvent d’un calibrage humain coûteux ou de représentations textuelles au niveau des items, fournissant peu d’indices sur les processus cognitifs qui rendent les items difficiles. Nous soutenons que la difficulté ne doit pas être considérée uniquement comme une propriété du texte de l’item, mais aussi comme une conséquence observable de la charge de résolution de problèmes qu’un item induit. Les Grands Modèles de Raisonnement (LRM) offrent des preuves de processus à grande échelle via des traces de raisonnement, mais ces preuves doivent être structurées pour soutenir une modélisation interprétable. À cette fin, nous introduisons Epi2Diff (Épisode vers Difficulté), un cadre qui transforme les traces de raisonnement des LRM en séquences d’épisodes ancrées cognitivement. Ces épisodes regroupent des segments de traces en états fonctionnels de résolution de problèmes, permettant de modéliser la difficulté à travers l’ampleur du raisonnement, l’allocation d’effort et les transitions d’états. Epi2Diff extrait des caractéristiques compactes de dynamique d’épisodes et les combine avec des représentations sémantiques d’items pour prédire la difficulté humaine. Des expériences sur quatre ensembles de données réelles de difficulté humaine montrent qu’Epi2Diff surpasse systématiquement des bases de référence solides, incluant des petits modèles de langage finement réglés, l’apprentissage en contexte avec des LLM, et l’adaptation supervisée de LLM. Sur des tâches de classification dérivées du SAT, Epi2Diff obtient un gain relatif moyen de 8,1 % par rapport aux bases de référence de fine-tuning supervisé de LLM. Des analyses supplémentaires montrent que les items plus difficiles induisent des dynamiques d’épisodes plus exigeantes, itératives et centrées sur la mise en œuvre, plutôt que de simples réponses plus longues. Ces résultats démontrent que les épisodes cognitifs dans les traces de raisonnement des LRM fournissent une représentation prédictive et interprétable des processus pour la difficulté des items humains, offrant une nouvelle perspective pour la mesure éducative avec des modèles de raisonnement.

基于MLLM的GUI定位方法通常将目标检测建模为自回归坐标生成，使模型能够利用MLLM强大的指令跟随和语义理解能力。然而，这种设计要求模型在解码坐标令牌时保有区域级目标证据，以满足GUI点击所需的空间精度。我们的诊断分析表明，目标区域感知能力在解码器中间层出现，但既未保留也未转化为最终的坐标预测。现有的ZoomIn式方法通过外部裁剪并重新运行来应对该问题，这虽提升了定位精度，却增加了端到端延迟和计算成本。为在不增加额外成本的前提下保留两轮缩放带来的精度优势，我们提出InnerZoom——一种跨层证据桥接的单次前向框架。InnerZoom将原始前向过程中的目标相关线索转化为紧凑的跨层证据状态，并在后续解码层中持续保留、精炼并注入该状态，以引导坐标预测。大量实验结果表明，InnerZoom-4B在所有六个GUI定位基准测试中均达到最优性能：在OSWorld-G上取得64.7，在UI-Vision上取得40.2，在OSWorld-GR上取得73.1，在MMBench-GUI上取得87.6，分别超越此前最佳结果4.1、3.2、2.9和2.3个点。在受控的4B设置下，InnerZoom相比相同SFT+RL基线平均提升5.3个点，且比两轮ZoomIn平均高出1.3个点，同时将端到端延迟降低最多31.8%，TFLOPs减少约29%。代码和模型将公开提供。

Adapter un encodeur vision-langage fondamental à une tâche de recherche spécialisée crée un compromis fondamental : les gains sur la distribution cible se font au détriment de la large généralisation du modèle de fondation, et la recherche de mode en est un cas rigoureux. Nous présentons ZooClaw-FashionSigLIP2, un modèle SigLIP2-base spécialisé dans la mode, qui résout ce compromis grâce à une recette simple — un ajustement fin complet avec distillation des connaissances sur des données de domaine soigneusement sélectionnées, suivi d’une interpolation des poids \wiseft~wortsman2022wiseft avec le modèle de base — et surpasse LoRA, des architectures plus grandes (jusqu’à 1 milliard de paramètres) et des données d’entraînement externes. Dans le cadre d’une évaluation équitable, ZooClaw-FashionSigLIP2 surpasse toutes les références sur chaque benchmark de notre suite. De plus, nous publions ZooClaw-Fashion, un nouveau benchmark de haute qualité pour la recherche de mode, ainsi qu’une analyse systématique de la qualité de benchmarks largement utilisés, qui expose et atténue les biais structurels dans leur vérité de terrain publique. Nous mettons en open source les poids du modèle et tous les artefacts d’évaluation pour faciliter les recherches futures.

La génération moléculaire est façonnée par des indicateurs de substitution simples pour les propriétés de type médicament et des modèles pré-entraînés sur de vastes ensembles de données pharmaceutiques. Cette combinaison donne des métriques de référence élevées, mais limite la transférabilité à des domaines structurellement distincts de la découverte de médicaments. Pour surmonter cette limitation et orienter la découverte vers des cibles réelles et scientifiquement fondées, nous introduisons le benchmark d'optimisation moléculaire en nanotechnologie (NMO), qui fait le pont entre l'apprentissage automatique (ML) et la science des matériaux quantiques. NMO agit simultanément comme un banc d'essai rigoureux pour la communauté ML et un moteur de découverte pour la recherche en nanotechnologie. La suite remplace les oracles de substitution par des simulations quantiques et introduit des protocoles stricts qui privilégient l'utilité scientifique par rapport au surajustement axé sur les classements. Les tâches NMO basées sur la physique imposent des contraintes structurelles strictes et des paysages de fitness accidentés, posant des exigences fondamentalement nouvelles aux modèles génératifs. Notamment, les méthodes avancées d'optimisation moléculaire obtiennent des résultats inférieurs à ceux d'approches beaucoup plus simples sur les tâches NMO. Nous développons une nouvelle méthode de référence qui identifie les composants critiques pour résoudre les tâches NMO, incluant une nouvelle représentation pour modéliser les contraintes structurelles et une stratégie de pré-entraînement indépendante du domaine pour éliminer le biais des ensembles de données pharmaceutiques. Nos résultats surpassent les propriétés physiques de pointe et révèlent des motifs structurels jusqu'alors inconnus, offrant de nouvelles perspectives pour la communauté des nanotechnologies et démontrant que le ML peut conduire à une véritable découverte scientifique.

Dans les applications du monde réel, les garde-fous sont souvent censés identifier les interactions utilisateur-modèle non sécurisées conformément à des politiques de sécurité spécifiques à l'application, plutôt que de se reposer sur des taxonomies de risque prédéfinies. Dans ce travail, nous étudions ce cadre sous le paradigme du guidage par politiques en contexte, où les garde-fous prédisent les violations de sécurité en fonction de spécifications de politiques fournies en contexte. Pour évaluer systématiquement cette capacité, nous introduisons SafePyramid, un benchmark de sécurité comprenant 1 000 conversations multi-tours réparties sur 10 domaines et 3 000 politiques d'application correspondantes, qui contiennent ensemble 61 699 règles distinctes en langage naturel. SafePyramid organise l'évaluation en trois niveaux de difficulté : L0 évalue la compréhension de règles individuelles, L1 évalue le raisonnement sur les dépendances entre règles, et L2 évalue l'adaptation à des cadres politiques entièrement nouveaux définis en contexte. Pour garantir la qualité du benchmark, nous employons un pipeline rigoureux en plusieurs étapes pour le construire et le valider. À l'aide de SafePyramid, nous évaluons 10 LLMs de pointe et 5 garde-fous configurables par politiques, et constatons que le guidage par politiques en contexte reste très difficile : même le modèle le plus performant, GPT-5.5, n'identifie exactement l'ensemble complet des règles violées que dans 54,0 %, 35,3 % et 12,9 % des cas aux niveaux L0, L1 et L2 respectivement. Ces résultats soulignent les limites des garde-fous actuels et appellent à des garde-fous contextuels par politiques plus robustes, capables d'exécuter des politiques de manière fiable, de résoudre les dépendances entre règles et de s'adapter à de nouveaux cadres politiques.

L'émergence des grands modèles de raisonnement a introduit des chaînes de pensée exceptionnellement longues, créant un fardeau de transparence où la logique critique est souvent ensevelie sous une masse de texte procédural. Pour y remédier, nous présentons ReasoningLens, un framework open-source conçu pour la visualisation hiérarchique et l'audit diagnostique de chaînes de raisonnement complexes. ReasoningLens aborde la nécropsie d'information en : (1) structurant les traces en hiérarchies interactives qui séparent la stratégie de haut niveau de l'exécution de bas niveau ; (2) exploitant un auditeur agentique pour la détection automatisée d'erreurs et la vérification assistée par outils ; et (3) synthétisant des profils de raisonnement systémiques afin de révéler les angles morts propres à chaque modèle. En transformant des murs de texte non structuré en informations exploitables, ReasoningLens fournit une base modulaire pour interpréter, déboguer et optimiser la prochaine génération d'IA centrée sur le raisonnement.

Les architectures de Mélange d'Experts (MoE) sont apparues comme un paradigme puissant pour le passage à l'échelle des modèles de diffusion en génération visuelle. Les avancées récentes se sont concentrées sur l'allocation adaptative des ressources de calcul entre différents tokens afin d'améliorer l'efficacité et les performances. Cependant, nous identifions un problème d'affectation de routage dans les cadres MoE de diffusion existants : le routeur ne parvient pas à allouer précisément davantage de ressources de calcul aux tokens saillants. Notre analyse attribue cet échec au fait que le routeur s'appuie sur des caractéristiques latentes corrompues par le bruit tout au long du processus de débruitage. Ce bruit stochastique obscurcit les informations structurelles et texturales critiques, empêchant ainsi le routeur de distinguer efficacement les tokens saillants. Pour y remédier, nous proposons SharpMoE, un cadre post-entraînement doté d'un mécanisme de routage précis exploitant la saillance, qui utilise des caractéristiques latentes propres comme signal de guidage sans bruit pour le routage. En contournant les entrées déformées par le bruit, SharpMoE fournit au routeur un guidage clair en termes de saillance, permettant l'identification des tokens saillants même dans les étapes à fort bruit. De plus, nous introduisons une perte de routage de trajectoire pour contraindre l'allocation de calcul tout au long de la trajectoire de débruitage en plusieurs étapes, garantissant une répartition précise des ressources lors du déroulement de la génération. Des expériences approfondies démontrent que SharpMoE constitue une solution polyvalente et prête à l'emploi qui améliore encore les modèles MoE pré-entraînés et convergés, atteignant des performances de pointe en génération visuelle.

La reconstruction 4D du mouvement des mains à partir de vidéo égocentrique est entravée par les limitations évidentes des méthodes existantes : les pipelines basés sur l'image dépendent d'un détecteur qui échoue en cas d'occlusion importante, tandis que les méthodes basées sur la vidéo reposent sur des modules temporels appris uniquement à partir d'annotations rares de poses de mains, un signal étroit insuffisant pour modéliser la dynamique du mouvement, le raisonnement sur l'occlusion et l'interaction main-objet. Ces capacités sont pourtant exactement ce que les modèles génératifs vidéo doivent acquérir implicitement lorsqu'ils sont entraînés à synthétiser des vidéos cohérentes à l'échelle d'Internet. Motivés par ce constat, nous présentons ViDiHand, qui tire parti des représentations d'un modèle de diffusion vidéo pré-entraîné pour reconstruire la pose 4D des deux mains. Nous l'adaptons via un objectif de rendu de superposition de mains qui spécialise ses caractéristiques pour les mains tout en préservant ses a priori du monde. Un décodeur récupère ensuite la pose à l'échelle métrique à partir des caractéristiques adaptées. L'ensemble du pipeline opère directement sur les images complètes — pas de détecteur, pas de module de remplissage, et pas d'optimisation au moment du test. Sur ARCTIC, HOT3D et HOI4D, ViDiHand surpasse considérablement les méthodes antérieures, établissant les modèles de diffusion vidéo comme une nouvelle base puissante pour la reconstruction du mouvement des mains et une voie prometteuse vers une collecte de données évolutive en milieu naturel pour l'IA incarnée. Page du projet : https://vidihand.github.io.

Les modèles Vision-Langage-Action (VLA) permettent une manipulation robotique guidée par des instructions, mais ils héritent de backbones linguistiques surdimensionnés issus de VLM pré-entraînés, dont la capacité dépasse largement ce qui est nécessaire pour de courtes instructions robotiques. Cela soulève une question fondamentale : quelle part d’un modèle VLA est réellement nécessaire pour un contrôle en boucle fermée ? Dans ce travail, nous étudions la redondance architecturale des modèles VLA en utilisant la suppression de blocs de transformeurs comme intervention contrôlée. Nous introduisons Drop-Then-Recovery (DTR), un protocole d’analyse qui supprime des blocs sélectionnés d’un modèle VLA pré-entraîné, puis affine le modèle résultant pour mesurer si la capacité supprimée était nécessaire au contrôle en aval. Pour rendre cette intervention fiable, nous proposons GateProbe, une métrique de sensibilité virtuelle à un seul passage qui classe les blocs selon leur contribution à la perte d’action en aval. Sur plusieurs architectures VLA, benchmarks de manipulation et même des scénarios industriels avec robots réels, nous observons une forte asymétrie dans la récupérabilité après suppression : les backbones linguistiques sont hautement redondants pour les tâches de manipulation robotique standard, tandis que les voies visuelles et d’action tolèrent beaucoup moins bien la suppression. Sur LIBERO, supprimer la moitié des blocs LLM améliore même OpenVLA-OFT de 95,0 % à 98,3 % avec le même budget d’affinage en aval, et ne conserver que deux blocs linguistiques permet encore de retrouver les performances de référence. Ces résultats suggèrent que les benchmarks VLA actuels exercent une pression limitée sur l’ancrage linguistique profond et la compréhension compositionnelle des instructions, et que les futures architectures VLA devraient répartir la capacité de manière plus délibérée entre les composantes linguistique, visuelle et d’action. Le code est disponible à l’adresse https://github.com/s1ghhh/VLADrop.

Les systèmes multi-agents basés sur de grands modèles de langage (LLM) reposent souvent sur des agents vérificateurs et critiques pour supprimer les hallucinations, mais la vérification est retardée. Pendant ce délai, des affirmations fausses peuvent se propager à travers le réseau d'agents. Nous modélisons ce processus comme un consensus retardé sur un graphe avec des nœuds correcteurs ancrés. La décomposition spectrale par le Laplacien ancré donne un seuil de stabilité sous forme fermée pour la dose de vérification : une correction trop forte ou trop retardée peut transformer le consensus en oscillation. Le régime le plus instable se produit lorsque les délais de communication et de vérification coïncident ; pour un délai de deux, le seuil est le nombre d'or inverse. Le même cadre fournit un objectif de placement supermodulaire et une règle d'approximation gloutonne (1-1/e) pour attribuer un budget limité de correcteurs aux nœuds influents. Des expériences sur cinq modèles ouverts confirment les oscillations dose-délai prédites. En revanche, la réponse factuelle ancrée fait de la vérité une frontière absorbante et élimine l'effet, suggérant que l'instabilité est spécifique aux tâches de croyance signée tandis que la vérification ancrée reste stabilisatrice.

Des travaux récents ont démontré le potentiel des grands modèles de langage (LLM) pour l'optimisation de programmes, un défi clé dans le domaine des langages de programmation. Nous proposons une méthode d'adaptation en boîte noire appelée Retrieval Augmented Search (RAS), qui effectue une recherche par faisceau sur des optimisations candidates ; à chaque étape, elle récupère des exemples en contexte à partir d'un ensemble de données d'apprentissage de paires de programmes lents et rapides afin de guider le LLM. De manière cruciale, nous constatons que la récupération contextuelle basée sur une description en langage naturel générée par le LLM surpasse significativement la récupération basée sur le code source. Nous proposons également AEGIS, une méthode visant à améliorer l'interprétabilité en décomposant les exemples d'apprentissage en « éditions atomiques » de nature significativement plus incrémentale. Nous montrons que RAS obtient des performances jusqu'à 2,06 fois supérieures aux stratégies d'adaptation en boîte noire les plus avancées antérieures pour l'optimisation de programmes C++, et qu'AEGIS obtient des performances jusqu'à 1,37 fois supérieures tout en effectuant des éditions significativement plus petites. Nous montrons également que l'utilisation de RAS améliore le centile moyen du temps d'exécution des programmes Python de 10,27 par rapport aux approches de référence.

L'avancement des modèles d'IA générative capables de produire du texte et des images constitue une étape cruciale dans le domaine de l'intelligence multimodale, en particulier pour les tâches impliquant l'entrelacement des deux modalités. Pour faire progresser cette intelligence vers le stade suivant, il est essentiel que les modèles génèrent de manière autonome des séquences texte-image entrelacées sous forme libre. Dans cet article, nous présentons ILLUME-X, un paradigme multimodal unifié avancé qui permet la génération de séquences texte-image entrelacées de haute qualité sous forme libre, en améliorant l'efficacité des données multimodales et en stabilisant le processus d'apprentissage multimodal. ILLUME-X comprend trois composants clés : (i) un pipeline de données d'entraînement élargi, optimisé pour la génération de séquences texte-image entrelacées, (ii) une stratégie d'entraînement progressive avec des objectifs auto-adaptatifs pour les séquences de tokens multimodaux de longueur libre, et (iii) une méthode d'évaluation objective et exhaustive, ILScore, pour les séquences texte-image entrelacées. Notamment, notre ILLUME-X surpasse les modèles unifiés précédents dans plusieurs tâches de génération de séquences texte-image entrelacées, telles que le transfert de style, la décomposition d'image et la narration.

L'auto-collision reste un défi persistant dans l'estimation de pose humaine et la génération de mouvement basées sur SMPL. Sous des articulations extrêmes ou une synthèse de mouvement stochastique, les maillages générés présentent fréquemment des auto-pénétrations, conduisant à des résultats physiquement irréalistes. Nous proposons PoseShield, une contrainte de collision neuronale définie directement dans l'espace des poses SMPL. Nous formulons la correction de collision comme un problème d'optimisation sous contraintes et relions la contrainte apprise à l'équation eikonale. L'application de la régularisation eikonale garantit des gradients non nuls près de la frontière de collision, améliorant ainsi la stabilité numérique et la robustesse du processus d'optimisation. Contrairement aux méthodes antérieures qui opèrent dans l'espace du maillage ou reposent sur des pénalités heuristiques, notre approche opère directement dans l'espace de faible dimension des poses humaines et est théoriquement fondée. La même contrainte apprise s'étend aux séquences de mouvement humain, fournissant un correcteur de collisions a posteriori indépendant du générateur, sans nécessiter de réentraînement du modèle de mouvement sous-jacent. Les expériences sur un nouveau benchmark de poses SMPL montrent que notre méthode atteint un taux de succès de 95,8 % et surpasse les méthodes de référence de l'état de l'art.

Les modèles actuels de fiabilité représentationnelle dans les populations neuronales se concentrent sur la stabilité temporelle : la préservation des centroïdes de population d'une session à l'autre et d'un jour à l'autre. Ce cadre laisse une question fondamentale sans réponse : dans quelle mesure la structure des distances par paires entre stimuli se reproduit-elle de manière fiable au sein d'observations indépendantes d'une même session ? Nous soutenons que cette propriété, la stabilité géométrique, constitue un axe indépendant d'analyse représentationnelle que les cadres existants ne capturent pas. Nous formalisons la stabilité géométrique comme le coefficient de corrélation de Spearman entre des matrices de dissimilarité représentationnelles split-half (Shesha) et montrons qu'elle est empiriquement dissociable à la fois de la stabilité temporelle et de la précision de décodage. Sur 229 observations session-région couvrant 68 régions cérébrales dans une tâche de discrimination visuelle (Steinmetz et al. 2019), la stabilité géométrique prédit le couplage neural-comportemental essai par essai (ρ = 0,18 ; p = 0,005) tandis que la dérive des centroïdes ne le fait pas (ρ = 0,002 ; p = 0,976). La hiérarchie régionale, avec le striatum le plus stable (S = 0,44) et l'hippocampe le moins stable (S = 0,19), suit une direction grossièrement opposée à la hiérarchie de stabilité temporelle. Des données olfactives cohérentes en direction (Bolding & Franks 2018) motivent un modèle de réseau d'attracteurs dans lequel le couplage excitateur récurrent amplifie la cohérence des RDM split-half en complétant les motifs de stimulus à partir d'entrées feedforward clairsemées (ρ = +0,64 ; p = 0,010), fournissant une explication au niveau des circuits de la manière dont émerge la stabilité géométrique. Ces résultats établissent la stabilité géométrique comme une propriété fonctionnellement pertinente et dépendante des circuits des codes de populations neuronales, orthogonale aux mesures de dérive temporelle et complémentaire des récits récents sur la manière dont la connectivité récurrente équilibre stabilité représentationnelle et dynamiques séquentielles dans les circuits hippocampiques.

Nous étudions la modélisation du monde conditionnée par l'action comme une approche évolutive pour apprendre des a priori dynamiques transférables pour l'apprentissage robotique. En pré-entraînant un modèle à prédire comment les actions entraînent l'évolution de la scène visuelle, le modèle du monde résultant capture des dynamiques d'interaction réutilisables au-delà de la génération vidéo au niveau de l'apparence. Concrètement, nous pré-entraînons un modèle de diffusion de base interactif multi-vue du monde, A2World, sur des données de manipulation robotique à grande échelle avec des annotations d'actions réelles. Nous validons les a priori dynamiques appris sous deux perspectives complémentaires. Premièrement, nous adaptons A2World en un simulateur spécialisé pour une tâche ou une scène du monde réel, A2World-sim, dont les rollouts de long horizon soutiennent l'évaluation de politiques basée sur simulateur et l'analyse scalable de scénarios hypothétiques en remplaçant les rollouts de robots réels par des rollouts du modèle du monde. Deuxièmement, à partir des mêmes poids pré-entraînés, nous adaptons A2World en un modèle de prédiction conjointe vidéo-action, A2World-policy, qui prédit les actions sous conditionnement visuel et instructionnel. Des expériences sur des benchmarks de simulation et des configurations de robots réels démontrent que le pré-entraînement du modèle du monde conditionné par l'action produit des a priori dynamiques transférables qui bénéficient à la fois à l'apprentissage robotique centré sur le simulateur et à celui centré sur la politique.

Bien que l'édition d'images guidée par du texte ait réalisé des progrès remarquables, elle reste limitée dans le domaine de la retouche structurelle des portraits. Les descriptions textuelles peinent à transmettre des modifications fines des traits du visage et des proportions corporelles. Pour combler cette lacune, nous introduisons la retouche photographique de portrait basée sur des exemples (Exemplar-Based Portrait Photo Retouching), où le modèle reçoit une paire d'exemples et doit inférer et appliquer les mêmes opérations de retouche à une nouvelle image requête. Les méthodes existantes d'édition basée sur des exemples se concentrent principalement sur des tâches présentant des transformations visuelles prononcées. En revanche, la retouche structurelle de portrait implique des modifications extrêmement délicates et localisées, rendant difficile l'extraction et le transfert précis de ces modifications. Pour y remédier, nous proposons MirrorPPR, un nouveau cadre conçu pour capturer et transférer des opérations de retouche structurelle subtiles. Notre méthode utilise un extracteur d'opérations de retouche (Retouching Operation Extractor) pour capturer les différences subtiles entre la paire d'exemples. Les représentations extraites sont ensuite injectées dans un Transformateur de Diffusion (Diffusion Transformer, DiT) pré-entraîné via un connecteur et des modules d'adaptation de bas rang (Low-Rank Adaptation, LoRA). De plus, la construction de paires d'entraînement parfaitement alignées entre identités est sérieusement entravée par le désalignement des opérations. Pour surmonter cela, nous proposons un paradigme avancé d'auto-augmentation des données qui garantit des opérations de retouche strictement alignées. Afin de pallier la rareté des données et de soutenir cette nouvelle tâche, nous introduisons MirrorPPR47M, un ensemble de données à grande échelle comprenant plus de 47 millions de paires retouchées. En structurant l'ensemble de données en sous-ensembles simulés et professionnels, nous permettons un apprentissage curriculaire progressif pour optimiser le réseau en douceur. Des expériences approfondies démontrent que MirrorPPR surpasse significativement les références existantes tant en qualité de retouche qu'en préservation de l'identité. La page du projet est disponible à l'adresse https://sjtu-deng-lab.github.io/MirrorPPR.

Une représentation fidèle du monde en 3D doit prendre en compte la géométrie en couches, où un même rayon de caméra peut traverser plusieurs surfaces visibles et géométriquement valides. L'estimation de profondeur monoculaire réduit pourtant cette structure à une seule profondeur scalaire par pixel. Les scènes transparentes rendent cette ambiguïté mesurable : un même rayon peut traverser un verre au premier plan et observer l'arrière-plan, transformant la cible supervisée en une convention d'annotation, de données et d'entraînement plutôt qu'en une vérité intrinsèque à la scène. Un prédicteur appris révèle cette convention sous la forme de sa préférence de couche de profondeur. Nous introduisons MultiDepth-3k (MD-3k), un référentiel ordinal bicouche parcimonieux permettant de mesurer la préférence de couche de profondeur et la précision des relations spatiales multicouches (ML-SRA). Sur MD-3k, les modèles de base de profondeur dominants présentent des préférences de couche variées sous une entrée RVB standard, montrant qu'une même géométrie en couches peut être résolue différemment selon les modèles. Nous constatons en outre que l'Invitation Visuelle Laplacienne (LVP), une transformation spectrale d'entrée sans entraînement, peut modifier substantiellement la couche rapportée pour certains modèles figés. La paire RVB/LVP la plus performante, DAv2-L, atteint 75,5 % de ML-SRA. Ces résultats suggèrent que les modèles de base de profondeur peuvent exprimer des hypothèses géométriques complémentaires que l'inférence RVB standard laisse inexprimées. Nous invitons la communauté à repenser la supervision et l'évaluation de la profondeur à travers un prisme tenant compte de l'ambiguïté, où les multiples interprétations 3D valides sont traitées comme une structure géométrique à mesurer, préserver et exprimer.

L'affinage sur des données inoffensives peut partiellement annuler les comportements acquis plus tôt durant l'entraînement. La sécurité peut s'éroder sous l'effet de mises à jour bénignes post-alignement, des capacités désapprises peuvent réémerger, des traits latents peuvent se transférer via une supervision apparemment non liée, et une fragilité post-alignement apparente apparaît dans d'autres contextes génératifs. Nous soutenons que ces phénomènes sont utilement appréhendés à travers un prisme commun d'historique d'entraînement. Notre hypothèse est géométrique : les grandes phases d'entraînement précoces créent des variétés comportementales dominantes, tandis que les phases ultérieures d'alignement ou de spécialisation en sont des déplacements plus superficiels. Un affinage ultérieur peut donc hériter d'une composante de réversion persistante pointant vers un témoin de la variété dominante. Nous appelons cela l'interprétation gravitationnelle de la réversion par affinage. Dans l'ensemble de nos configurations, la dérive représentationnelle acquiert rapidement une composante le long d'une direction de réversion définie par l'historique (v_rev). Dans notre piste principale, l'alignement avec v_rev passe de cos = 0,429 ± 0,052 après la première mise à jour à 0,647 ± 0,021 à l'étape 20. Sur 24 paires d'étapes d'exécution, chaque alignement observé dépasse le p99 d'un test nul isotrope dans l'espace d'activation. Nous démontrons que le blocage sélectif du mouvement le long de v_rev modifie l'alignement final à T=100 de 0,648 ± 0,009 à -0,211 ± 0,021 et réduit la nocivité de 19,0 % ± 4,0 % à 8,5 % ± 1,5 % avec un coût de tâche minime. Ces résultats soutiennent que v_rev est un médiateur causalement pertinent de la réversion post-alignement précoce dans notre configuration. Il est important de noter que nous ne prétendons pas que v_rev soit la direction de sécurité unique, ni que la variété dominante soit directement observée ; nous identifions plutôt une direction robuste, définie par l'historique, qui explique et contrôle partiellement les dynamiques de réversion précoces.

L'inspection des tunnels hydroélectriques est cruciale pour l'intégrité des infrastructures, mais reste inefficace et dangereuse lorsqu'elle est réalisée manuellement. Nous proposons FLISP (Fast LiDAR-IMU Synchronized Path Planner), un cadre de planification sans carte pour l'inspection coopérative UGV-UAV. Contrairement aux paradigmes traditionnels basés sur une carte, FLISP apporte trois contributions principales : (1) une architecture unifiée où une seule suite LiDAR-IMU montée sur UGV pilote la génération synchronisée de trajectoires pour les deux plateformes ; (2) des solveurs spécifiques à chaque plateforme utilisant un algorithme des lucioles amélioré pour l'évitement d'obstacles de l'UGV et un optimiseur itératif dynamique pour le vol du UAV ; et (3) une stratégie de raffinement hiérarchique garantissant la faisabilité cinématique sans dérive d'estimation d'état. Les bancs d'essai dans un tunnel opérationnel de 1,2 km montrent que FLISP contourne les goulots d'étranglement structurels des méthodes basées sur une carte, éliminant le surcoût de rastérisation de carte (Fast-LIO2 + A*) et l'instabilité d'échantillonnage (LIO-SAM + RRT*). FLISP atteint un taux de succès de 100 % avec une latence de 7 ms, représentant une accélération d'un facteur 7 par rapport aux méthodes basées sur grille et une amélioration de trois ordres de grandeur par rapport aux méthodes basées sur échantillonnage. Validée dans des tunnels hydroélectriques opérationnels, cette approche offre une solution évolutive pour l'inspection robotisée dans les infrastructures linéaires à caractéristiques dégradées. Une vidéo de démonstration est disponible à https://youtu.be/Y_ezs1PfLJ4, et le code à https://github.com/ArchibaldGuo/FLISP.git.

Les modèles de fondation de vision pré-entraînés (VFMs) sont devenus centraux en vision par ordinateur moderne en raison de leurs représentations sémantiques puissantes et de leur forte capacité de généralisation. Cependant, leurs sorties sous forme de patchs ou regroupées sont intrinsèquement en basse résolution, ce qui limite leur efficacité dans les tâches nécessitant un raisonnement fin au niveau pixel. Les approches existantes de suréchantillonnage de caractéristiques soit dégradent la fidélité sémantique, soit reposent sur un réentraînement spécifique au VFM et des architectures lourdes, entravant ainsi l'efficacité et la scalabilité. Pour relever ces défis, nous proposons RaysUp, un cadre de suréchantillonnage de caractéristiques ultra-léger, agnostique à la tâche et agnostique au VFM, qui reconstruit des cartes de caractéristiques haute résolution à des résolutions arbitraires. Contrairement aux schémas conventionnels d'interpolation 2D ou basés sur l'attention, RaysUp élève la reconstruction de caractéristiques dans un domaine de rayons conscient de la géométrie. Plus précisément, nous introduisons un Encodeur de Guidage Spatialement Découplé pour un encodage de guidage sensible à la direction, un mécanisme d'Attention Croisée à Résolution Quelconque pour une reconstruction flexible en résolution, et un nouvel Encodage Positionnel de Rayon (RayPE) qui injecte des a priori géométriques 3D implicites via des coordonnées de rayon de Plücker en 6D. Enfin, un module d'Attention de Voisinage Consciente de la Géométrie assure une agrégation bilatérale adaptative au contenu tout en préservant la cohérence géométrique. Des expériences approfondies sur diverses tâches de prédiction dense montrent que RaysUp atteint des performances de pointe tout en utilisant seulement 16 % des paramètres d'AnyUp et en offrant une inférence environ 7 fois plus rapide. Ces résultats mettent en évidence un compromis précision-efficacité considérablement amélioré et établissent RaysUp comme une solution pratique et scalable pour le suréchantillonnage universel de caractéristiques. Le code est disponible à l'adresse https://github.com/MAP-RaysUp/RaysUp.

L'alignement des représentations est devenu une approche efficace pour améliorer les Modèles de Langage Multimodaux de Grande Taille (MLLMs) en régularisant leurs représentations internes vers celles d'un encodeur visuel externe. Cependant, les méthodes existantes alignent généralement une couche fixe du backbone linguistique, négligeant la structure fine des modèles Transformer. Dans ce travail, nous proposons l'Alignement des Représentations par Têtes d'Attention (HeRA), une méthode qui impose un alignement cross-modal au niveau des têtes d'attention individuelles. Notre approche s'appuie sur l'Hypothèse de la Représentation Platonicienne, en se concentrant sur la préservation de la structure topologique des représentations (c'est-à-dire leurs relations de voisinage local) entre les modalités. Suivant la métrique d'alignement des K-plus proches voisins mutuels (MKNN), nous introduisons un objectif contrastif qui agit comme un proxy différentiable pour apparier les structures locales. HeRA applique cet objectif durant l'entraînement multimodal à des têtes d'attention spécifiques du LLM, sélectionnées en fonction de leur score d'alignement selon la métrique MKNN. Contre-intuitivement, nous constatons que l'alignement des têtes les moins alignées produit les gains les plus importants. Des évaluations approfondies sur plusieurs MLLMs et 18 benchmarks montrent que HeRA améliore systématiquement les performances sur des tâches exigeantes centrées sur la vision et sert de régularisateur efficace contre les hallucinations visuelles, en limitant naturellement la dépendance excessive aux a priori linguistiques. Notre code est publié en accès libre.