Articles de recherche IA sélectionnés quotidiennement avec traductions
Un récit prédominant dans le post-entraînement des LLM affirme que le réglage fin supervisé (SFT) mémorise tandis que l'apprentissage par renforcement (RL) généralise. Nous réexaminons cette affirmation concernant le SFT pour le raisonnement avec une supervision longue par enchaînement de pensées (CoT) et constatons que la généralisation interdomaine n'est pas absente mais conditionnelle, façonnée conjointement par la dynamique d'optimisation, les données d'entraînement et la capacité du modèle de base. Certains échecs rapportés sont des artéfacts de sous-optimisation : les performances interdomaines se dégradent d'abord avant de se rétablir et de s'améliorer avec un entraînement prolongé (un schéma de chute et de récupération), ce qui signifie que les points de contrôle issus d'un entraînement court peuvent sous-estimer la généralisation. La qualité et la structure des données comptent toutes deux : des solutions de faible qualité nuisent largement à la généralisation, tandis que des traces longues de CoT vérifiées produisent des gains interdomaines constants. La capacité du modèle est essentielle : les modèles plus puissants internalisent des patterns procéduraux transférables (par exemple, le retour arrière) même à partir d'un simple jeu arithmétique, tandis que les modèles plus faibles imitent la verbosité superficielle. Cette généralisation est cependant asymétrique : le raisonnement s'améliore tandis que la sécurité se dégrade, reformulant la question de savoir non pas *si* le SFT pour le raisonnement généralise, mais *dans quelles conditions* et *à quel coût*.
Les agents de modèles de langage de grande taille (LLM) tels qu'OpenClaw s'appuient sur des compétences réutilisables pour exécuter des tâches complexes, mais ces compétences restent largement statiques après leur déploiement. Par conséquent, des workflows similaires, des modèles d'utilisation d'outils et des modes d'échec sont redécouverts de manière répétée par les utilisateurs, empêchant le système de s'améliorer avec l'expérience. Bien que les interactions de différents utilisateurs fournissent des signaux complémentaires sur le succès ou l'échec d'une compétence, les systèmes existants ne disposent pas d'un mécanisme pour convertir ces expériences hétérogènes en mises à jour fiables des compétences. Pour résoudre ces problèmes, nous présentons SkillClaw, un cadre pour l'évolution collective des compétences dans les écosystèmes d'agents multi-utilisateurs, qui traite les interactions inter-utilisateurs et temporelles comme le signal principal pour améliorer les compétences. SkillClaw agrège continuellement les trajectoires générées pendant l'utilisation et les traite avec un module d'évolution autonome, qui identifie les modèles comportementaux récurrents et les traduit en mises à jour de l'ensemble de compétences en affinant les compétences existantes ou en les étendant avec de nouvelles capacités. Les compétences résultantes sont maintenues dans un référentiel partagé et synchronisées entre les utilisateurs, permettant aux améliorations découvertes dans un contexte de se propager à l'échelle du système sans effort supplémentaire requis des utilisateurs. En intégrant l'expérience multi-utilisateur dans des mises à jour continues des compétences, SkillClaw permet un transfert de connaissances inter-utilisateurs et une amélioration cumulative des capacités. Les expériences sur WildClawBench montrent qu'avec une interaction et des retours limités, il améliore significativement les performances de Qwen3-Max dans des scénarios d'agents réels.
Les agents IA peuvent peut-être automatiser votre boîte de réception, mais peuvent-ils automatiser d'autres aspects routiniers de votre vie ? Les tâches en ligne quotidiennes offrent un banc d'essai réaliste mais non résolu pour évaluer la prochaine génération d'agents IA. À cette fin, nous présentons ClawBench, un cadre d'évaluation comprenant 153 tâches simples que les gens doivent accomplir régulièrement dans leur vie et leur travail, couvrant 144 plateformes en direct réparties dans 15 catégories, allant de la finalisation d'achats et la réservation de rendez-vous à la soumission de candidatures. Ces tâches exigent des capacités dépassant les benchmarks existants, telles que l'obtention d'informations pertinentes à partir de documents fournis par l'utilisateur, la navigation dans des flux de travail multi-étapes sur diverses plateformes, et des opérations fortement rédactionnelles comme le remplissage correct de nombreux formulaires détaillés. Contrairement aux benchmarks existants qui évaluent les agents dans des sandbox hors ligne avec des pages statiques, ClawBench fonctionne sur des sites web en production, préservant toute la complexité, la nature dynamique et les défis de l'interaction web réelle. Une couche d'interception légère capture et bloque uniquement la requête de soumission finale, garantissant une évaluation sûre sans effets secondaires dans le monde réel. Nos évaluations de 7 modèles frontière montrent que les modèles propriétaires et open-source ne peuvent accomplir qu'une petite partie de ces tâches. Par exemple, Claude Sonnet 4.6 n'atteint que 33,3%. Les progrès sur ClawBench nous rapprochent d'agents IA capables de fonctionner comme assistants généralistes fiables.
Nous présentons HY-Embodied-0.5, une famille de modèles de fondation spécialement conçus pour les agents incarnés en environnement réel. Pour combler le fossé entre les modèles vision-langage (VLM) généraux et les exigences des agents incarnés, nos modèles sont développés pour renforcer les capacités fondamentales requises par l'intelligence incarnée : la perception visuelle spatiale et temporelle, ainsi qu'un raisonnement avancé pour la prédiction, l'interaction et la planification. La suite HY-Embodied-0.5 comprend deux variantes principales : un modèle efficace avec 2 milliards de paramètres activés conçu pour le déploiement en périphérie de réseau, et un modèle puissant avec 32 milliards de paramètres activés destiné au raisonnement complexe. Pour soutenir la perception visuelle fine essentielle aux tâches incarnées, nous adoptons une architecture de type Mixture-of-Transformers (MoT) afin de permettre un calcul spécifique à chaque modalité. En incorporant des tokens latents, cette conception améliore efficacement la représentation perceptuelle des modèles. Pour renforcer les capacités de raisonnement, nous introduisons un paradigme d'entraînement postérieur itératif et auto-évolutif. De plus, nous utilisons la distillation sur politique pour transférer les capacités avancées du grand modèle vers la variante plus petite, maximisant ainsi le potentiel de performance du modèle compact. Des évaluations approfondies sur 22 benchmarks, couvrant la perception visuelle, le raisonnement spatial et la compréhension incarnée, démontrent l'efficacité de notre approche. Notre modèle MoT-2B surpasse les modèles de pointe de taille similaire sur 16 benchmarks, tandis que la variante 32B atteint des performances comparables aux modèles de frontière tels que Gemini 3.0 Pro. Dans des expériences de contrôle robotique en aval, nous exploitons notre base VLM robuste pour entraîner un modèle efficace Vision-Langage-Action (VLA), obtenant des résultats convaincants lors d'évaluations physiques en monde réel. Le code et les modèles sont open-source à l'adresse https://github.com/Tencent-Hunyuan/HY-Embodied.
Les modèles de diffusion texte-vidéo permettent une synthèse vidéo ouverte, mais peinent souvent à générer le nombre correct d'objets spécifié dans l'invite. Nous présentons NUMINA, un cadre d'identification-puis-guidage sans apprentissage pour une meilleure alignement numérique. NUMINA identifie les incohérences entre l'invite et la disposition en sélectionnant des têtes d'auto-attention et d'attention croisée discriminantes pour dériver une disposition latente dénombrable. Il affine ensuite cette disposition de manière conservative et module l'attention croisée pour guider la régénération. Sur le benchmark CountBench introduit, NUMINA améliore la précision du décompte jusqu'à 7,4% sur Wan2.1-1.3B, et de 4,9% et 5,5% respectivement sur les modèles 5B et 14B. De plus, l'alignement CLIP est amélioré tout en maintenant la cohérence temporelle. Ces résultats démontrent que le guidage structurel complète la recherche de germes et l'enrichissement des invites, offrant une voie pratique vers la diffusion texte-vidéo avec décompte précis. Le code est disponible à l'adresse https://github.com/H-EmbodVis/NUMINA.
Dans cet article, nous présentons MegaStyle, un nouveau pipeline d'organisation de données évolutif qui permet de constituer un jeu de données stylistiques de haute qualité, présentant une cohérence intra-style et une diversité inter-style. Nous y parvenons en exploitant la capacité de mappage cohérent texte-image des grands modèles génératifs actuels, qui peuvent générer des images dans un même style à partir d'une description stylistique donnée. Sur cette base, nous organisons une galerie d'invites diversifiée et équilibrée comprenant 170 000 invites de style et 400 000 invites de contenu, et générons un jeu de données stylistiques à grande échelle, MegaStyle-1.4M, via des combinaisons d'invites de contenu et de style. Avec MegaStyle-1.4M, nous proposons un apprentissage par contraste supervisé par le style pour affiner un encodeur de style, MegaStyle-Encoder, afin d'extraire des représentations expressives et spécifiques au style, et nous entraînons également un modèle de transfert de style basé sur FLUX, MegaStyle-FLUX. Des expériences approfondies démontrent l'importance de maintenir une cohérence intra-style, une diversité inter-style et une haute qualité pour un jeu de données stylistiques, ainsi que l'efficacité du jeu de données MegaStyle-1.4M proposé. De plus, lorsqu'ils sont entraînés sur MegaStyle-1.4M, MegaStyle-Encoder et MegaStyle-FLUX fournissent une mesure fiable de la similarité stylistique et un transfert de style généralisable, contribuant ainsi significativement à la communauté du transfert de style. D'autres résultats sont disponibles sur notre site web dédié : https://jeoyal.github.io/MegaStyle/.
La performance, c'est-à-dire l'extériorisation de l'intention, de l'émotion et de la personnalité par le biais de comportements visuels, vocaux et temporels, est ce qui donne vie à un personnage. L'apprentissage de telles performances à partir de vidéos constitue une alternative prometteuse aux pipelines 3D traditionnels. Cependant, les modèles vidéo existants peinent à concilier expressivité élevée, inférence en temps réel et stabilité identitaire à long terme, une tension que nous appelons le trilemme de la performance. La conversation représente le scénario de performance le plus complet, car les personnages parlent, écoutent, réagissent et expriment des émotions simultanément tout en maintenant leur identité dans le temps. Pour relever ce défi, nous présentons LPM 1.0 (Large Performance Model), qui se concentre sur la performance conversationnelle audio-visuelle full-duplex d'une personne unique. Concrètement, nous construisons un jeu de données multimodale centré sur l'humain via un filtrage strict, un appariement audio-vidéo parole-écoute, une compréhension de la performance et une extraction multi-référence sensible à l'identité ; nous entraînons un Transformeur à Diffusion de 17 milliards de paramètres (Base LPM) pour une performance hautement contrôlable et cohérente identitairement grâce à un conditionnement multimodal ; et nous le distillons en un générateur causal en streaming (LPM Online) pour une interaction à faible latence et de durée illimitée. Lors de l'inférence, étant donnée une image de personnage avec des références sensibles à l'identité, LPM 1.0 génère des vidéos d'écoute à partir de l'audio utilisateur et des vidéos de parole à partir d'audio synthétisé, avec des invites textuelles pour le contrôle gestuel, le tout à vitesse temps réel avec une génération stable identitairement et de durée illimitée. LPM 1.0 sert ainsi de moteur visuel pour agents conversationnels, personnages de streaming en direct et PNJ de jeux. Pour évaluer systématiquement ce cadre, nous proposons LPM-Bench, le premier benchmark dédié à la performance interactive de personnages. LPM 1.0 obtient des résultats state-of-the-art sur toutes les dimensions évaluées tout en conservant une inférence en temps réel.
L'Optimisation Relative des Politiques par Groupe (GRPO) est devenue l'objectif de référence en Apprentissage par Renforcement (RL) qui sous-tend les récents progrès des Modèles de Langue Multimodaux de Grande Taille. Cependant, l'extension de ce succès aux modèles généralistes multimodaux open-source reste fortement limitée par deux défis principaux : la variance extrême des topologies de récompense entre les différentes tâches visuelles, et la difficulté inhérente à équilibrer la perception fine avec les capacités de raisonnement à multiples étapes. Pour résoudre ces problèmes, nous introduisons la GRPO Gaussienne (G²RPO), un nouvel objectif d'entraînement par RL qui remplace la mise à l'échelle linéaire standard par un appariement distributionnel non linéaire. En forçant mathématiquement la distribution de l'avantage de toute tâche donnée à converger strictement vers une distribution normale standard, N(0,1), G²RPO assure théoriquement l'équité des gradients inter-tâches, atténue la vulnérabilité aux valeurs aberrantes à queue lourde et offre une mise à jour symétrique pour les récompenses positives et négatives. Tirant parti de la stabilité d'entraînement améliorée offerte par G²RPO, nous introduisons deux mécanismes de façonnage au niveau de la tâche pour équilibrer de manière transparente la perception et le raisonnement. Premièrement, le façonnage par longueur de réponse suscite dynamiquement des chaînes de raisonnement étendues pour les requêtes complexes tout en imposant des sorties directes pour renforcer l'ancrage visuel. Deuxièmement, le façonnage par l'entropie borne étroitement la zone d'exploration du modèle, empêchant efficacement à la fois l'effondrement et l'explosion de l'entropie. En intégrant ces méthodologies, nous présentons OpenVLThinkerV2, un modèle multimodal généraliste hautement robuste. Des évaluations approfondies sur 18 benchmarks diversifiés démontrent ses performances supérieures par rapport aux modèles open-source solides et aux principaux modèles propriétaires de pointe.
Nous présentons DMax, un nouveau paradigme pour les modèles de langage à diffusion efficaces (dLLM). Il atténue l'accumulation d'erreurs lors du décodage parallèle, permettant un parallélisme de décodage agressif tout en préservant la qualité de génération. Contrairement aux dLLM masqués conventionnels qui décodent via une transition binaire masque-vers-jeton, DMax reformule le décodage comme un auto-affinement progressif des embeddings de masque vers les embeddings de jetons. Au cœur de notre approche se trouve l'Entraînement Uniforme sur Politique, une nouvelle stratégie d'entraînement qui unifie efficacement les dLLM masqués et uniformes, dotant le modèle de la capacité à restaurer des jetons propres à partir d'entrées masquées et de ses propres prédictions erronées. Sur cette base, nous proposons en outre le Décodage Parallèle Doux. Nous représentons chaque état de décodage intermédiaire comme une interpolation entre l'embedding de jeton prédit et l'embedding de masque, permettant une auto-révision itérative dans l'espace d'embedding. Des expériences approfondies sur divers benchmarks démontrent l'efficacité de DMax. Par rapport au LLaMA-2.0-mini original, notre méthode amémente le TPF sur GSM8K de 2,04 à 5,47 tout en préservant la précision. Sur MBPP, il augmente le TPF de 2,71 à 5,86 tout en maintenant des performances comparables. Sur deux GPU H200, notre modèle atteint en moyenne 1 338 TPS pour une taille de lot de 1. Le code est disponible à l'adresse : https://github.com/czg1225/DMax
Les agents de modèles de langage de grande taille (LLM) sont de plus en plus conçus non pas en modifiant les poids du modèle, mais en réorganisant leur environnement d'exécution. Les capacités que les systèmes précédents attendaient que le modèle développe en interne sont désormais externalisées dans des mémoires, des compétences réutilisables, des protocoles d'interaction et l'infrastructure logicielle qui rend ces modules fiables en pratique. Cet article examine cette transition sous l'angle de l'externalisation. En nous appuyant sur le concept d'artefacts cognitifs, nous soutenons que l'infrastructure des agents est importante non seulement parce qu'elle ajoute des composants auxiliaires, mais parce qu'elle transforme des charges cognitives complexes en des formes que le modèle peut résoudre plus fi ablement. Dans cette perspective, la mémoire externalise l'état dans le temps, les compétences externalisent l'expertise procédurale, les protocoles externalisent la structure d'interaction, et l'ingénierie de l'infrastructure logicielle sert de couche d'unification qui les coordonne en une exécution gouvernée. Nous retraçons une progression historique des poids au contexte, puis à l'infrastructure logicielle, analysons la mémoire, les compétences et les protocoles comme trois formes distinctes mais couplées d'externalisation, et examinons comment elles interagissent au sein d'un système d'agents plus vaste. Nous discutons en outre du compromis entre capacité paramétrique et capacité externalisée, identifions des tendances émergentes telles que les infrastructures auto-évolutives et les infrastructures d'agents partagées, et abordons les défis ouverts en matière d'évaluation, de gouvernance et de la coévolution à long terme des modèles et de l'infrastructure externe. Il en résulte un cadre systémique pour expliquer pourquoi les progrès pratiques des agents dépendent de plus en plus non seulement de modèles plus performants, mais aussi d'une meilleure infrastructure cognitive externe.
Les agents mobiles personnalisés capables d'inférer les préférences utilisateur et de calibrer une assistance proactive présentent un potentiel considérable en tant qu'assistants numériques quotidiens. Pourtant, les benchmarks existants ne parviennent pas à capturer ce que cela exige. Les travaux antérieurs évaluent la récupération des préférences à partir d'historiques statiques ou la prédiction d'intention à partir de contextes fixes. Aucune de ces approches ne teste si un agent peut obtenir des préférences manquantes par l'interaction, ni s'il peut décider quand intervenir, demander un consentement ou rester silencieux dans un environnement graphique en temps réel. Nous présentons KnowU-Bench, un benchmark en ligne pour agents mobiles personnalisés construit sur un environnement d'émulation Android reproductible, couvrant 42 tâches générales, 86 tâches personnalisées et 64 tâches proactives. Contrairement aux travaux antérieurs qui traitent les préférences utilisateur comme un contexte statique, KnowU-Bench cache le profil utilisateur à l'agent et n'expose que les journaux comportementaux, forçant une véritable inférence des préférences plutôt qu'une simple consultation de contexte. Pour supporter l'obtention des préférences sur plusieurs tours, il instancie un simulateur d'utilisateur piloté par LLM ancré dans des profils structurés, permettant des dialogues de clarification réalistes et une gestion proactive des consentements. Au-delà de la personnalisation, KnowU-Bench fournit une évaluation complète de la chaîne décisionnelle proactive complète, incluant l'exécution ancrée dans l'interface graphique, la négociation du consentement et la retenue post-rejet, évaluée via un protocole hybride combinant la vérification par règles avec une notation LLM-comme-Juge. Nos expériences révèlent une dégradation frappante : les agents excellant dans l'exécution explicite de tâches chutent en dessous de 50% face à des instructions vagues nécessitant une inférence des préférences utilisateur ou un calibrage de l'intervention, même pour des modèles de pointe comme Claude Sonnet 4.6. Les goulots d'étranglement fondamentaux ne résident pas dans la navigation graphique mais dans l'acquisition des préférences et le calibrage des interventions, exposant un écart fondamental entre la maîtrise opérationnelle des interfaces et une assistance personnelle digne de confiance.
L'avènement des modèles multimodaux agentiques a doté les systèmes d'une capacité d'interaction active avec des environnements externes. Cependant, les agents actuels souffrent d'un déficit métacognitif profond : ils peinent à arbitrer entre l'exploitation des connaissances internes et l'interrogation d'utilités externes. Par conséquent, ils succombent fréquemment à une invocation aveugle d'outils, ayant recours à une exécution réflexive même lorsque les requêtes peuvent être résolues à partir du contexte visuel brut. Ce comportement pathologique engendre de sévères goulots d'étranglement en latence et injecte un bruit superflu qui compromet le raisonnement solide. Les protocoles d'apprentissage par renforcement existants tentent d'y remédier par une récompense scalaire qui pénalise l'utilisation d'outils. Pourtant, cette formulation couplée crée un dilemme d'optimisation insoluble : une pénalité agressive supprime les utilisations essentielles d'outils, tandis qu'une pénalité légère est entièrement absorbée par la variance de la récompense de précision lors de la normalisation de l'avantage, la rendant inefficace contre la surutilisation d'outils. Pour transcender ce goulot d'étranglement, nous proposons HDPO, un cadre qui reformule l'efficacité des outils d'un objectif scalaire concurrent en un objectif strictement conditionnel. En renonçant à la scalarisation des récompenses, HDPO maintient deux canaux d'optimisation orthogonaux : un canal de précision qui maximise l'exactitude de la tâche, et un canal d'efficacité qui impose l'économie d'exécution exclusivement dans les trajectoires exactes via une estimation conditionnelle de l'avantage. Cette architecture découplée induit naturellement un curriculum cognitif, contraignant l'agent à maîtriser d'abord la résolution de la tâche avant d'affiner son autonomie. Des évaluations approfondies démontrent que notre modèle résultant, Métis, réduit les invocations d'outils de plusieurs ordres de grandeur tout en élevant simultanément la précision du raisonnement.
Les agents web – des systèmes autonomes qui naviguent et exécutent des tâches sur le web pour le compte des utilisateurs – ont le potentiel de transformer l'interaction des personnes avec le monde numérique. Cependant, les agents web les plus performants actuels reposent sur des modèles propriétaires dont les données et les méthodes d'entraînement ne sont pas divulguées, ce qui limite la compréhension scientifique, la reproductibilité et les progrès pilotés par la communauté. Nous pensons que les agents destinés au web ouvert devraient être construits ouvertement. Dans cette optique, nous présentons (1) MolmoWebMix, un mélange vaste et diversifié de démonstrations de tâches navigateur et de données de perception d'interface web (GUI), et (2) MolmoWeb, une famille d'agents web multimodaux entièrement ouverts. Concrètement, MolmoWebMix combine plus de 100 000 trajectoires de tâches synthétiques issues de multiples pipelines de génération complémentaires avec plus de 30 000 démonstrations humaines, des trajectoires de compétences web atomiques et des données de perception GUI, incluant l'ancrage d'expressions référentielles et des questions-réponses sur captures d'écran. Les agents MolmoWeb fonctionnent comme des politiques d'action visuo-linguistiques conditionnées par des instructions : étant donné une consigne de tâche et une capture d'écran d'une page web, ils prédisent la prochaine action navigateur, sans nécessiter d'accès au HTML, aux arbres d'accessibilité ou à des API spécialisées. Disponibles en versions 4B et 8B, sur des benchmarks d'utilisation navigateur comme WebVoyager, Online-Mind2Web et DeepShop, les agents MolmoWeb obtiennent des résultats à l'état de l'art, surpassant des modèles ouverts similaires uniquement par leurs poids, tels que Fara-7B, UI-Tars-1.5-7B et Holo1-7B. MolmoWeb-8B surpasse également les agents basés sur les "set-of-marks" (SoM) construits sur des modèles fermés frontière beaucoup plus larges comme GPT-4o. Nous démontrons en outre des gains constants via un scaling au moment du test via des déploiements parallèles avec une sélection best-of-N, atteignant 94,7 % et 60,5 % de pass@4 (contre 78,2 % et 35,3 % de pass@1) sur WebVoyager et Online-Mind2Web respectivement. Nous publierons les points de contrôle des modèles, les données d'entraînement, le code et un cadre d'évaluation unifié pour permettre la reproductibilité et accélérer la recherche ouverte sur les agents web.
La compréhension spatiale est une pierre angulaire fondamentale de l'intelligence humaine. Pourtant, les recherches actuelles se concentrent principalement sur la production de données spécifiques à un domaine, laissant un vide critique : l'absence d'un moteur open-source fondé sur des principes, capable de libérer pleinement le potentiel des données spatiales de haute qualité. Pour combler cette lacune, nous élucidons les principes de conception d'un système robuste de génération de données et présentons OpenSpatial — un moteur de données open-source conçu pour une qualité élevée, une extensibilité importante, une grande diversité de tâches et une efficacité optimisée. OpenSpatial adopte les boîtes englobantes 3D comme primitive fondamentale pour construire une hiérarchie de données complète couvrant cinq tâches fondamentales : Mesure Spatiale (MS), Relation Spatiale (RS), Perception de Caméra (PC), Cohérence Multi-vues (CM) et Raisonnement Conscient de la Scène (RCS). En tirant parti de cette infrastructure évolutive, nous constituons OpenSpatial-3M, un jeu de données à grande échelle comprenant 3 millions d'échantillons haute fidélité. Des évaluations approfondies démontrent que les modèles polyvalents entraînés sur notre jeu de données atteignent des performances de pointe sur un large éventail de benchmarks de raisonnement spatial. Notamment, le modèle le plus performant présente une amélioration moyenne substantielle de 19 pour cent en valeur relative. De plus, nous fournissons une analyse systématique de l'influence des attributs des données sur la perception spatiale. En ouvrant en accès libre à la fois le moteur et le jeu de données à l'échelle des 3 millions d'échantillons, nous fournissons une base solide pour accélérer les recherches futures en intelligence spatiale.
Afin d'étendre le paradigme de post-entraînement par apprentissage par renforcement aux modèles omni-modaux pour renforcer simultanément la compréhension vidéo-audio et le raisonnement collaboratif, nous proposons OmniJigsaw, un cadre auto-supervisé générique construit sur une tâche proxy de réorganisation temporelle. Centré sur la reconstruction chronologique de clips audio-visuels mélangés, ce paradigme orchestre stratégiquement les signaux visuels et auditifs pour contraindre l'intégration cross-modale via trois stratégies distinctes : l'Intégration Modale Conjointe, la Sélection Modale au Niveau de l'Échantillon et le Masquage Modale au Niveau du Clip. Conscients que l'efficacité de telles tâches proxy est fondamentalement liée à la qualité des puzzles, nous concevons un pipeline de filtrage de données en deux étapes, du grossier au fin, qui facilite l'adaptation efficace d'OmniJigsaw aux données omni-modales massives non annotées. Notre analyse révèle un « phénomène de raccourci bi-modal » dans l'intégration modale conjointe et démontre que le masquage modale fin au niveau du clip atténue ce problème tout en surpassant la sélection modale au niveau de l'échantillon. Des évaluations approfondies sur 15 benchmarks montrent des gains substantiels en matière de raisonnement vidéo, audio et collaboratif, validant OmniJigsaw comme un paradigme évolutif pour l'apprentissage auto-supervisé omni-modal.
L'utilisation de compétences est devenue un élément central des systèmes d'agents modernes et peut considérablement améliorer leur capacité à accomplir des tâches complexes. Dans des environnements réels, où les agents doivent surveiller et interagir avec de nombreuses applications personnelles, navigateurs web et autres interfaces, les bibliothèques de compétences peuvent atteindre des milliers d'aptitudes réutilisables. Le passage à des ensembles de compétences plus vastes introduit deux défis majeurs. Premièrement, le chargement de l'ensemble complet sature la fenêtre de contexte, ce qui augmente les coûts en tokens, les hallucinations et la latence. Dans cet article, nous présentons le Graphe de Compétences (GoS), une couche de récupération structurelle au moment de l'inférence pour les grandes bibliothèques de compétences. GoS construit hors ligne un graphe de compétences exécutable à partir de paquets de compétences, puis au moment de l'inférence, il récupère un ensemble de compétences limité et conscient des dépendances via un amorçage hybride sémantique-lexical, un PageRank personnalisé à pondération inversée et une hydratation adaptée au contexte budgétaire. Sur SkillsBench et ALFWorld, GoS amémente la récompense moyenne de 43,6 % par rapport à la base de référence de chargement complet standard, tout en réduisant les tokens d'entrée de 37,8 %, et généralise sur trois familles de modèles : Claude Sonnet, GPT-5.2 Codex et MiniMax. Des études d'ablation supplémentaires sur des bibliothèques de compétences allant de 200 à 2 000 compétences démontrent en outre que GoS surpasse constamment à la fois le chargement standard de compétences et la récupération vectorielle simple pour équilibrer la récompense, l'efficacité des tokens et le temps d'exécution.
Étant donné une personne et une image d'un vêtement, l'essayage virtuel (VTO) vise à synthétiser une image réaliste de la personne portant le vêtement, tout en préservant sa pose et son identité originales. Bien que les méthodes récentes de VTO excellent dans la visualisation de l'apparence des vêtements, elles négligent largement un aspect crucial de l'expérience d'essayage : la précision de l'ajustement du vêtement – par exemple, représenter l'apparence d'une chemise de taille très grande sur une personne de taille très petite. Un obstacle majeur est l'absence de jeux de données fournissant des informations précises sur les tailles du vêtement et du corps, en particulier pour les cas de « mauvaise taille », où les vêtements sont nettement trop grands ou trop petits. Par conséquent, les méthodes actuelles de VTO génèrent par défaut des résultats bien ajustés, quelle que soit la taille du vêtement ou de la personne. Dans cet article, nous franchissons les premières étapes vers la résolution de ce problème ouvert. Nous présentons FIT (Fit-Inclusive Try-on), un jeu de données VTO à grande échelle comprenant plus de 1,13 million de triplets d'images d'essayage accompagnés de mesures précises du corps et du vêtement. Nous surmontons les défis de la collecte de données via une stratégie synthétique et évolutive : (1) Nous générons des vêtements 3D de manière programmatique à l'aide de GarmentCode et les drapons via une simulation physique pour capturer un ajustement réaliste du vêtement. (2) Nous utilisons un nouveau cadre de re-texturation pour transformer les rendus synthétiques en images photoréalistes tout en préservant strictement la géométrie. (3) Nous intégrons la préservation de l'identité de la personne dans notre modèle de re-texturation pour générer des images de personnes appariées (même personne, vêtements différents) pour un apprentissage supervisé. Enfin, nous exploitons notre jeu de données FIT pour entraîner un modèle de base d'essayage virtuel sensible à l'ajustement. Nos données et nos résultats établissent un nouvel état de l'art pour l'essayage virtuel sensible à l'ajustement et offrent également une référence robuste pour les recherches futures. Nous mettrons toutes les données et le code à disposition publique sur notre page de projet : https://johannakarras.github.io/FIT.
Les LLM de pointe peuvent naviguer sur des sites web complexes, mais leur coût et leur dépendance aux API tierces rendent leur déploiement local peu pratique. Nous présentons Agent-as-Annotators, un cadre qui structure la génération de trajectoires synthétiques pour les agents web en analogie avec les rôles d'annotation humaine, remplaçant le Concepteur de tâches, l'Annotateur et le Superviseur par des composants LLM modulaires. En utilisant Gemini 3 Pro comme enseignant, nous générons 3 000 trajectoires sur six environnements web et affinons un étudiant de 9 milliards de paramètres par apprentissage supervisé pur sur les 2 322 qui passent le filtrage qualité. Le modèle résultant atteint 41,5 % sur WebArena, surpassant les modèles propriétaires tels que Claude 3.5 Sonnet (36,0 %) et GPT-4o (31,5 %) sous le même protocole d'évaluation, et double presque le précédent meilleur résultat open-weight (Go-Browse, 21,7 %). Les capacités se transfèrent à des environnements non vus, avec un gain de 18,2 points de pourcentage sur WorkArena L1 (une plateforme d'entreprise jamais vue pendant l'entraînement) et des améliorations constantes sur trois benchmarks supplémentaires. Les ablations confirment que chaque composant de la pipeline contribue significativement, le filtrage par le Juge, les indices d'évaluation et les traces de raisonnement expliquant chacun des gains mesurables. Ces résultats démontrent que la synthèse structurée de trajectoires par un seul enseignant de pointe suffit à produire des agents web compétitifs et déployables localement. Page du projet : https://agent-as-annotators.github.io
L'adaptation des grands modèles de langage multimodaux (MLLM) aux vidéos de longue durée (plusieurs heures) se heurte à la limite du contexte. Les flux visuels denses saturent le budget de tokens et exacerbent le phénomène de « perte au milieu ». Les heuristiques existantes, comme l'échantillonnage clairsemé ou le pooling uniforme, sacrifient aveuglément la fidélité en éliminant les moments décisifs et en gaspillant de la bande passante sur des arrière-plans non pertinents. Nous proposons Tempo, un cadre efficace et conscient de la requête, qui compresse les vidéos longues pour une compréhension en aval. Tempo utilise un petit modèle vision-langage (SVLM) comme compresseur temporel local, transformant la réduction de tokens en un processus de distillation multimodale précoce pour générer en une seule passe avant des représentations compactes et alignées sur l'intention. Pour respecter des budgets stricts sans briser la causalité, nous introduisons l'Allocation Adaptative de Tokens (ATA). En exploitant l'a priori de pertinence en zero-shot du SVLM et son chargement sémantique anticipé, l'ATA agit comme un routeur dynamique O(1) sans apprentissage. Il alloue une bande passante dense aux segments critiques pour la requête tout en compressant les redondances en de minimales ancres temporelles pour préserver la structure narrative globale. Des expériences approfondies montrent que notre architecture de 6B atteint des performances de pointe avec une compression dynamique agressive (0,5-16 tokens/image). Sur le benchmark extrêmement long LVBench (4101s), Tempo obtient un score de 52,3 avec un budget visuel strict de 8K, surpassant GPT-4o et Gemini 1.5 Pro. Le passage à l'échelle de 2048 images atteint 53,7. Surtout, Tempo compresse les vidéos de longue durée bien en deçà des limites théoriques, prouvant que la compréhension véritable des vidéos longues repose sur une efficacité pilotée par l'intention plutôt que sur des fenêtres de contexte simplement remplies de manière gourmande.
Les modèles vision-langage-action (VLA) ont fait progresser la manipulation robotique grâce à l'apprentissage préalable à grande échelle, mais leur déploiement en conditions réelles reste difficile en raison de l'observabilité partielle et des retours d'information retardés. L'apprentissage par renforcement aborde ce problème via les fonctions de valeur, qui évaluent la progression de la tâche et guident l'amélioration de la politique. Cependant, les modèles de valeur existants, construits sur des modèles vision-langage (VLM), peinent à capturer la dynamique temporelle, compromettant ainsi l'estimation fiable de la valeur dans les tâches à long horizon. Dans cet article, nous proposons ViVa, un modèle de valeur génératif vidéo qui réutilise un générateur vidéo préentraîné pour l'estimation de valeur. Prenant l'observation actuelle et la proprioception du robot en entrée, ViVa prédit conjointement la proprioception future et une valeur scalaire pour l'état actuel. En tirant parti des préjugés spatio-temporels d'un générateur vidéo préentraîné, notre approche ancre l'estimation de valeur dans la dynamique anticipée de l'incarnation, dépassant les instantanés statiques pour coupler intrinsèquement la valeur à la prévision. Intégré à RECAP, ViVa apporte des améliorations substantielles à l'assemblage de boîtes en conditions réelles. Une analyse qualitative sur les trois tâches confirme que ViVa produit des signaux de valeur plus fiables, reflétant avec précision la progression de la tâche. En exploitant les préjugés spatio-temporels des corpus vidéo, ViVa généralise également à de nouveaux objets, soulignant la promesse des modèles génératifs vidéo pour l'estimation de valeur.
La manipulation robotique d'objets déformables représente un régime d'apprentissage incarné très gourmand en données, où la forme, le contact et la topologie co-évoluent d'une manière qui dépasse largement la variabilité des objets rigides. Bien que la simulation promette de réduire le coût de l'acquisition de données réelles, les pipelines classiques de transfert simulation-réel restent ancrés dans des abstractions de corps rigides, produisant une géométrie inadéquate, une dynamique molle fragile et des primitives de mouvement peu adaptées à l'interaction avec les tissus. Nous postulons que l'échec de la simulation ne vient pas de son caractère synthétique, mais de son manque d'ancrage physique. Pour résoudre ce problème, nous présentons SIM1, un moteur de données réel-vers-sim-vers-réel aligné sur la physique qui ancre la simulation dans le monde physique. À partir de démonstrations limitées, le système numérise les scènes en des jumeaux numériques métriquement cohérents, étalonne la dynamique des déformables via une modélisation élastique, et enrichit les comportements par une génération de trajectoires basée sur la diffusion avec un filtrage qualité. Ce pipeline transforme des observations éparses en une supervision synthétique à grande échelle avec une fidélité proche de la démonstration. Les expériences montrent que les politiques entraînées sur des données purement synthétiques atteignent des performances équivalentes à celles de modèles de référence utilisant des données réelles avec un ratio d'équivalence de 1:15, tout en obtenant 90% de succès en zéro-shot et 50% de gains en généralisation lors d'un déploiement réel. Ces résultats valident la simulation alignée sur la physique comme une supervision scalable pour la manipulation de déformables et une voie pratique pour un apprentissage de politiques économe en données.
La complexité computationnelle quadratique des mécanismes d'attention standard constitue un goulot d'étranglement sévère pour la scalabilité des LLM dans les scénarios à contexte long. Bien que les mécanismes d'attention hybride combinant l'attention complète (FA) et l'attention creuse (SA) offrent une solution potentielle, les méthodes existantes reposent généralement sur des ratios d'allocation statiques qui ne parviennent pas à s'adapter aux demandes variables de récupération d'informations des différentes tâches. De plus, la dynamique de creusité au niveau des têtes d'attention introduit souvent un déséquilibre sévère de la charge computationnelle et des queues de synchronisation longues, ce qui entrave l'accélération matérielle lors du décodage autorégressif. Pour combler cette lacune, nous présentons Flux Attention, un cadre contextuel qui optimise dynamiquement le calcul de l'attention au niveau des couches. En intégrant un Routeur de Couche léger dans des LLM pré-entraînés figés, la méthode proposée achemine adaptativement chaque couche vers FA ou SA en fonction du contexte d'entrée. Ce routage par couche préserve une récupération d'information haute fidélité tout en garantissant un accès mémoire contigu, transformant ainsi les réductions computationnelles théoriques en accélérations pratiques mesurables. Approche efficace en paramètres, notre cadre ne nécessite que 12 heures d'entraînement sur 8 GPU A800. Des expériences approfondies sur plusieurs benchmarks de raisonnement mathématique et de contexte long démontrent que Flux Attention atteint un compromis supérieur entre performance et vitesse d'inférence par rapport aux modèles de référence, avec des accélérations allant jusqu'à 2,8 fois et 2,0 fois respectivement lors des phases de pré-remplissage et de décodage.
Les systèmes de bases de données intègrent un nombre croissant de fonctions dans leurs noyaux (fonctions natives de base de données) pour des scénarios tels que la prise en charge de nouvelles applications et la migration métier. Cette croissance génère une demande urgente de synthèse automatique de fonctions natives de bases de données. Bien que les récents progrès en génération de code basée sur les LLM (par exemple, Claude Code) soient prometteurs, ils sont trop génériques pour le développement spécifique aux bases de données. Ils produisent souvent des hallucinations ou négligent un contexte critique car la synthèse de fonctions de base de données est intrinsèquement complexe et sujette aux erreurs, où la synthèse d'une seule fonction peut impliquer l'enregistrement de multiples unités fonctionnelles, la liaison de références internes et l'implémentation correcte de la logique. Pour cela, nous proposons DBCooker, un système basé sur les LLM pour synthétiser automatiquement des fonctions natives de bases de données. Il se compose de trois composants. Premièrement, le module de caractérisation des fonctions agrège des déclarations multi-sources, identifie les unités fonctionnelles nécessitant un codage spécialisé et trace les dépendances inter-unités. Deuxièmement, nous concevons des opérations pour relever les principaux défis de synthèse : (1) un générateur de plans de codage basé sur du pseudo-code qui construit des squelettes d'implémentation structurés en identifiant les éléments clés tels que les fonctions référencées réutilisables ; (2) un modèle hybride de remplissage de trous guidé par des probabilités a priori et la conscience des composants pour intégrer la logique centrale avec des routines réutilisables ; et (3) une validation progressive à trois niveaux, incluant la vérification syntaxique, la conformité aux standards et la vérification sémantique guidée par LLM. Enfin, une stratégie d'orchestration adaptative unifie ces opérations avec des outils existants et les enchaîne dynamiquement via l'historique d'orchestration de fonctions similaires. Les résultats montrent que DBCooker surpasse les autres méthodes sur SQLite, PostgreSQL et DuckDB (précision supérieure de 34,55 % en moyenne), et peut synthétiser de nouvelles fonctions absentes de la dernière version de SQLite (v3.50).
L'émergence des grands modèles de langage (LLM) a mis en lumière le potentiel d'un simulateur d'utilisateur universel. Cependant, les benchmarks existants restent limités à des scénarios isolés, des espaces d'action restreints ou des données synthétiques, ne parvenant pas à saisir la nature holistique du comportement humain authentique. Pour combler cette lacune, nous présentons OmniBehavior, le premier benchmark de simulation d'utilisateur entièrement construit à partir de données réelles, intégrant des schémas comportementaux à long terme, trans-scénarios et hétérogènes dans un cadre unifié. Sur la base de ce benchmark, nous apportons d'abord la preuve empirique que les ensembles de données précédents avec des scénarios isolés souffrent d'une vision en tunnel, tandis que la prise de décision réelle repose sur des chaînes causales à long terme et trans-scénarios. Des évaluations approfondies des LLM de pointe révèlent que les modèles actuels peinent à simuler avec précision ces comportements complexes, avec une performance qui plafonne même lorsque les fenêtres contextuelles s'élargissent. Crucialement, une comparaison systématique entre les comportements simulés et authentiques met en lumière un biais structurel fondamental : les LLM ont tendance à converger vers une personne moyenne positive, exhibant une hyper-activité, une homogénéisation des personas et un biais utopique. Cela entraîne la perte des différences individuelles et des comportements de longue traîne, soulignant des orientations critiques pour la future recherche sur la simulation haute fidélité.
Les modèles de fondation offrent une perception robuste mais sont souvent trop lourds sur le plan computationnel pour être déployés, et leur adaptation nécessite généralement des annotations coûteuses. Nous présentons un cadre de distillation de connaissances semi-supervisée (SSKD) qui compresse les modèles de fondation visuelle (VFM) pré-entraînés en experts compacts en utilisant des données étiquetées limitées et des données non étiquetées abondantes, et l'instancions pour la segmentation d'instances où les étiquettes par pixel sont particulièrement onéreuses. Le cadre se déroule en trois étapes : (1) l'adaptation du domaine des VFM(s) via l'auto-apprentissage avec calibration contrastive, (2) le transfert de connaissances par une fonction de perte multi-objectif unifiée, et (3) l'affinage de l'élève pour atténuer le biais résiduel des pseudo-étiquettes. Au cœur de notre approche se trouve une perte contrastive pixel-wise consciente des instances qui fusionne les scores de masque et de classe pour extraire des négatifs informatifs et imposer des margres inter-instances claires. En maintenant ce signal contrastif à la fois lors de l'adaptation et de la distillation, nous alignons les embeddings du professeur et de l'élève et exploitons plus efficacement les images non étiquetées. Sur Cityscapes et ADE20K, notre élève environ 11 fois plus petit améliore ses professeurs VFM zero-shot de +11,9 et +8,6 AP, dépasse les professeurs adaptés de +3,4 et +1,5 AP, et surpasse les méthodes SSKD de pointe sur les benchmarks.
Les modèles de diffusion ont réalisé des progrès remarquables en génération vidéo, mais leur contrôlabilité reste une limitation majeure. Des facteurs scéniques clés tels que la composition, l'éclairage et la trajectoire caméra sont souvent entremêlés ou faiblement modélisés, limitant leur applicabilité dans des domaines comme la réalisation cinématographique et la production virtuelle où le contrôle explicite de la scène est essentiel. Nous présentons LiVER, un framework basé sur la diffusion pour la génération vidéo avec contrôle scénique. Pour y parvenir, nous introduisons une nouvelle architecture qui conditionne la synthèse vidéo sur des propriétés scéniques 3D explicites, soutenue par un nouveau jeu de données à grande échelle comportant des annotations denses de la disposition des objets, de l'éclairage et des paramètres caméra. Notre méthode désentrelace ces propriétés en générant des signaux de contrôle à partir d'une représentation 3D unifiée. Nous proposons un module de conditionnement léger et une stratégie d'entraînement progressive pour intégrer ces signaux dans un modèle de diffusion vidéo fondamental, garantissant une convergence stable et une haute fidélité. Notre framework permet un large éventail d'applications, incluant la synthèse image-à-vidéo et vidéo-à-vidéo où la scène 3D sous-jacente est entièrement modifiable. Pour améliorer davantage l'utilisabilité, nous développons un agent scénique qui traduit automatiquement des instructions utilisateur de haut niveau en signaux de contrôle 3D requis. Les expériences montrent que LiVER atteint un photoréalisme et une cohérence temporelle à l'état de l'art tout en permettant un contrôle précis et désentrelacé des facteurs scéniques, établissant une nouvelle référence pour la génération vidéo contrôlable.
Les modèles de raisonnement multimodal (MRM) entraînés par apprentissage par renforcement avec récompenses vérifiables (RLVR) montrent une précision améliorée sur les benchmarks de raisonnement visuel. Cependant, nous observons que les gains de précision s'accompagnent souvent d'une dégradation de la qualité du raisonnement : les traces de raisonnement en chaîne (CoT) générées sont fréquemment incohérentes avec la réponse finale et faiblement ancrées dans les preuves visuelles. Nous étudions systématiquement ce phénomène sur sept benchmarks difficiles de raisonnement spatial en conditions réelles et constatons qu'il affecte les MRM contemporains tels que ViGoRL-Spatial, TreeVGR ainsi que nos propres modèles entraînés avec l'Optimisation de Politique Relative par Groupe (GRPO) standard. Nous caractérisons la qualité du raisonnement CoT selon deux axes complémentaires : la "cohérence logique" (le CoT implique-t-il la réponse finale ?) et l'"ancrage visuel" (chaque étape de raisonnement décrit-elle avec précision les objets, attributs et relations spatiales dans l'image ?). Pour y remédier, nous proposons FGRPO, une variante de GRPO qui impose la cohérence et l'ancrage comme contraintes via l'ascension duale lagrangienne. FGRPO intègre des contraintes de cohérence et d'ancrage au niveau du lot dans le calcul de l'avantage au sein d'un groupe, ajustant de manière adaptative l'importance relative des contraintes durant l'optimisation. Nous évaluons FGRPO sur les architectures Qwen2.5-VL-7B et 3B sur sept jeux de données spatiaux. Nos résultats montrent que FGRPO améliore substantiellement la qualité du raisonnement, réduisant le taux d'incohérence de 24,5% à 1,7% et augmentant les scores d'ancrage visuel de +13%. Il améliore également la précision de la réponse finale par rapport au GRPO simple, démontrant qu'un raisonnement fidèle permet de meilleures réponses.
Nous étudions si les capacités acquises après entraînement peuvent être transférées d'un modèle à un autre sans réentraînement, en nous concentrant sur le transfert entre différentes échelles de modèles. Nous proposons l'hypothèse de la Clé Maîtresse, selon laquelle les capacités d'un modèle correspondent à des directions dans un sous-espace latent de faible dimension qui induisent des comportements spécifiques et sont transférables entre modèles via un alignement linéaire. Sur la base de cette hypothèse, nous présentons UNLOCK, un framework sans entraînement et sans étiquettes qui extrait une direction de capacité en contrastant les activations entre des variantes Source possédant la capacité et en étant dépourvues, l'aligne avec un modèle Cible via une transformation linéaire de faible rang, et l'applique au moment de l'inférence pour susciter le comportement. Les expériences sur des comportements de raisonnement, incluant le Raisonnement en Chaîne (Chain-of-Thought, CoT) et le raisonnement mathématique, démontrent des améliorations substantielles across différentes échelles de modèles sans entraînement. Par exemple, le transfert du raisonnement CoT de Qwen1.5-14B à Qwen1.5-7B produit un gain de précision de 12,1% sur MATH, et le transfert d'une direction de raisonnement mathématique de Qwen3-4B-Base à Qwen3-14B-Base améliore la précision sur AGIEval Math de 61,1% à 71,3%, dépassant les 67,8% obtenus par le modèle 14B post-entraîné. Notre analyse montre que le succès du transfert dépend des capacités apprises lors du pré-entraînement, et que notre intervention amplifie les capacités latentes en affinant la distribution de sortie vers des trajectoires de raisonnement réussies.
Si les modèles vision-langage (VLM) ont réalisé des progrès remarquables dans la compréhension visuelle statique, leur déploiement dans des environnements incarnés 3D complexes reste sévèrement limité. Les benchmarks existants souffrent de quatre lacunes critiques : (1) les tâches de perception passive contournent les dynamiques interactives ; (2) les environnements 2D simplifiés ne permettent pas d'évaluer la perception de la profondeur ; (3) la fuite d'états privilégiés contourne le traitement visuel authentique ; et (4) l'évaluation humaine est prohibitivement coûteuse et non scalable. Nous présentons PokeGym, un benchmark visuel à long horizon instancié dans Pokemon Legends: Z-A, un jeu de rôle en monde ouvert 3D visuellement complexe. PokeGym impose un isolement strict au niveau du code : les agents opèrent uniquement sur des observations RVB brutes tandis qu'un évaluateur indépendant vérifie la réussite par scan mémoire, garantissant une prise de décision purement visuelle et une évaluation automatisée et scalable. Le benchmark comprend 30 tâches (30-220 étapes) couvrant la navigation, l'interaction et des scénarios mixtes, avec trois granularités d'instruction (Guidage Visuel, Guidage par Étapes, Objectif Seul) pour déconstruire systématiquement les capacités d'ancrage visuel, de raisonnement sémantique et d'exploration autonome. Notre évaluation révèle une limitation clé des VLM actuels : la récupération après blocage physique, plutôt que la planification de haut niveau, constitue le principal goulot d'étranglement, les blocages montrant une forte corrélation négative avec la réussite des tâches. De plus, nous mettons en évidence une divergence métacognitive : les modèles plus faibles souffrent principalement de Blocages Inconscients (ignorant leur confinement), tandis que les modèles avancés exhibent des Blocages Conscients (reconnaissant le confinement mais échouant à en sortir). Ces résultats soulignent la nécessité d'intégrer une intuition spatiale explicite dans les architectures de VLM. Le code et le benchmark seront disponibles sur GitHub.
Les récents progrès en modélisation vidéo générative, portés par des jeux de données à grande échelle et des architectures puissantes, ont permis d'atteindre un réalisme visuel remarquable. Cependant, des preuves émergentes suggèrent que le simple fait d'augmenter la taille des données et des modèles ne confère pas à ces systèmes une compréhension des lois physiques sous-jacentes qui régissent la dynamique du monde réel. Les approches existantes échouent souvent à capturer ou à imposer une telle cohérence physique, ce qui entraîne des mouvements et une dynamique irréalistes. Dans ce travail, nous étudions si l'intégration de l'inférence de propriétés physiques latentes directement dans le processus de génération vidéo peut doter les modèles de la capacité à produire des vidéos physiquement plausibles. À cette fin, nous proposons Phantom, un modèle de génération vidéo infusé par la physique qui modélise conjointement le contenu visuel et la dynamique physique latente. Conditionné sur des images vidéo observées et des états physiques inférés, Phantom prédit conjointement la dynamique physique latente et génère les images vidéo futures. Phantom tire parti d'une représentation vidéo consciente de la physique qui sert d'embedding abstrait mais informatif de la physique sous-jacente, facilitant la prédiction conjointe de la dynamique physique parallèlement au contenu vidéo, sans nécessiter la spécification explicite d'un ensemble complexe de dynamiques et de propriétés physiques. En intégrant directement l'inférence de la représentation vidéo consciente de la physique dans le processus de génération vidéo, Phantom produit des séquences vidéo à la fois visuellement réalistes et physiquement cohérentes. Les résultats quantitatifs et qualitatifs sur des benchmarks standards de génération vidéo et de conscience physique démontrent que Phantom surpasse non seulement les méthodes existantes en termes de respect de la dynamique physique, mais offre également une fidélité perceptive compétitive.
La détection d'anomalies zero-shot vise à détecter et localiser les régions anormales dans une image sans avoir accès à aucune image d'entraînement du domaine cible. Si les approches récentes exploitent des modèles vision-langage (VLM), comme CLIP, pour transférer des connaissances de concepts de haut niveau, les méthodes basées uniquement sur des modèles de fondation visuels (VFM), tels que DINOv2, accusent un retard en termes de performance. Nous soutenons que cet écart provient de deux problèmes pratiques : (i) la diversité limitée des ensembles de données d'anomalies auxiliaires existants et (ii) des stratégies d'adaptation des VFM trop superficielles. Pour relever ces deux défis, nous proposons AnomalyVFM, un cadre général et efficace qui transforme tout VFM pré-entraîné en un détecteur d'anomalies zero-shot performant. Notre approche combine un schéma robuste de génération en trois étapes d'un ensemble de données synthétiques avec un mécanisme d'adaptation efficace en paramètres, utilisant des modules d'adaptation de caractéristiques à faible rang et une perte pixel pondérée par la confiance. Ensemble, ces composants permettent aux VFM modernes de surpasser substantiellement les méthodes actuelles de l'état de l'art. Plus précisément, avec RADIO comme architecture de base, AnomalyVFM atteint un AUROC moyen au niveau image de 94,1 % sur 9 ensembles de données variés, dépassant les méthodes précédentes de 3,3 points de pourcentage significatifs. Page du projet : https://maticfuc.github.io/anomaly_vfm/
Des travaux récents ont exploré l'optimisation des chaînes de traitement du signal d'image (ISP) pour diverses tâches en composant des modules prédéfinis et en les adaptant à des objectifs spécifiques. Cependant, l'optimisation conjointe des séquences de modules et de leurs paramètres reste difficile. Les approches existantes reposent sur la recherche d'architecture neuronale (NAS) ou l'apprentissage par renforcement (RL) étape par étape, mais la NAS souffre d'un décalage entraînement-inférence, tandis que le RL séquentiel entraîne un apprentissage instable et un coût computationnel élevé en raison de la prise de décision par étapes. Nous proposons POS-ISP, un cadre RL au niveau séquentiel qui formule l'optimisation modulaire des ISP comme un problème de prédiction de séquence globale. Notre méthode prédit l'intégralité de la séquence de modules et ses paramètres en une seule passe avant et optimise la chaîne à l'aide d'une récompense de tâche finale, éliminant le besoin de supervision intermédiaire et d'exécutions redondantes. Les expériences sur plusieurs tâches en aval montrent que POS-ISP améliore les performances tout en réduisant le coût computationnel, soulignant l'optimisation au niveau séquentiel comme un paradigme stable et efficace pour les ISP adaptés aux tâches. La page du projet est disponible à l'adresse https://w1jyun.github.io/POS-ISP.
Les modèles modernes de génération d'image par texte (T2I) produisent des visuels de haute fidélité mais restent indifférents aux préférences individuelles des utilisateurs. Bien que les modèles de récompense existants optimisent pour un attrait humain « moyen », ils ne parviennent pas à capturer la subjectivité inhérente au jugement esthétique. Dans ce travail, nous présentons un nouvel ensemble de données et un cadre prédictif, appelé PAMELA, conçu pour modéliser les évaluations d'images personnalisées. Notre jeu de données comprend 70 000 évaluations portant sur 5 000 images diverses générées par des modèles de pointe (Flux 2 et Nano Banana). Chaque image est évaluée par 15 utilisateurs uniques, fournissant une riche distribution de préférences subjectives couvrant des domaines tels que l'art, le design, la mode et la photographie cinématographique. En exploitant ces données, nous proposons un modèle de récompense personnalisé entraîné conjointement sur nos annotations de haute qualité et sur des sous-ensembles existants d'évaluation esthétique. Nous démontrons que notre modèle prédit l'appréciation individuelle avec une précision supérieure à celle que la majorité des méthodes actuelles de pointe obtiennent pour prédire les préférences au niveau populationnel. En utilisant notre prédicteur personnalisé, nous montrons comment des méthodes simples d'optimisation de prompt peuvent être utilisées pour orienter les générations vers les préférences individuelles des utilisateurs. Nos résultats soulignent l'importance de la qualité des données et de la personnalisation pour prendre en compte la subjectivité des préférences utilisateur. Nous mettons à disposition notre jeu de données et notre modèle pour faciliter la recherche standardisée dans l'alignement T2I personnalisé et l'évaluation subjective de la qualité visuelle.
Le déploiement de modèles de langage de grande taille (LLM) sur des dispositifs edge hétérogènes nécessite des cadriciels qui optimisent conjointement l'efficacité énergétique, la qualité de l'inférence et la fiabilité. Notre précédent QEIL v1 (Kumar & Jha, 2026) a obtenu une amélioration de 4,82x de l'IPW, mais reposait sur des facteurs d'efficacité statiques, une optimisation gloutonne et une sélection de candidats non vérifiée. QEIL v2 remplace chaque heuristique statique par des modèles fondés sur la physique et adaptatifs au temps d'exécution. Nous introduisons trois métriques dispositif-charge : DASI (utilisation du calcul dérivée du modèle roofline), CPQ (pression mémoire issue de la théorie de l'allocation) et Phi (rendement thermique issu de la physique des fuites CMOS), formant une équation énergétique unifiée dont chaque coefficient est traçable jusqu'à la physique des semi-conducteurs. Pour l'optimisation, PGSAM (Recuit Simulé Guidé par Pareto avec Momentum) minimise simultanément l'énergie, la latence et la sous-utilisation des dispositifs. Au moment de l'inférence, la cascade de sélection EAC/ARDE avec arrêt anticipé CSVET fournit une vérification progressive parmi des échantillons répétés. Évalué sur WikiText-103, GSM8K et ARC-Challenge à travers sept familles de modèles (125M à 8B de paramètres, incluant une variante pré-quantifiée), QEIL v2 atteint 75,7% de pass@k à 63,8W (IPW=0,9749), soit une amélioration de 2,86x par rapport à l'inférence standard. Appliqué à un Llama-3.1-8B 4-bit, l'acheminement fondé sur la physique de QEIL v2 atteint un IPW=1,024 à 54,8W – c'est le premier système d'orchestration edge à dépasser la marque de référence empirique IPW=1,0, le gain étant entièrement attribuable à l'allocation de dispositifs adaptative à la charge de QEIL v2 sur un modèle aux besoins réduits en bande passante mémoire. L'énergie totale chute de 75,6% par rapport à la configuration standard, avec une réduction de latence de 38,3%, aucun throttling thermique et une récupération de 100% des fautes sur tous les benchmarks et familles de modèles.
L'apprentissage par renforcement (RL) est devenu une approche efficace pour faire progresser les capacités de raisonnement des grands modèles de langage (LLM) grâce à l'intégration stratégique de moteurs de recherche externes. Cependant, les agents de recherche actuels basés sur le RL s'appuient souvent sur un processus d'exploration stochastique guidé par des récompenses de résultat soigneusement conçues, ce qui entraîne des trajectoires de raisonnement inefficaces et un apprentissage instable. Pour résoudre ces problèmes, nous proposons un nouveau cadre, l'Expérience Hiérarchique (HiExp), pour améliorer les performances et la stabilité de l'apprentissage des agents de recherche. Plus précisément, nous extrayons des connaissances empiriques par une analyse contrastive et un mécanisme de regroupement multi-niveaux, transformant les trajectoires de raisonnement brutes en une connaissance expérientielle hiérarchique. En tirant parti d'un apprentissage aligné sur l'expérience, nous régularisons efficacement l'exploration stochastique, la faisant évoluer vers un processus de recherche stratégique et piloté par l'expérience. Des évaluations approfondies sur plusieurs benchmarks complexes de recherche agentique et de raisonnement mathématique démontrent que notre approche permet non seulement des gains de performance substantiels, mais présente également une forte généralisation inter-tâches et inter-algorithmes.
Les benchmarks de mémoire existants pour les agents LLM évaluent le rappel explicite de faits, mais négligent la mémoire implicite, où l'expérience se transforme en comportement automatisé sans rappel conscient. Cette lacune est cruciale : les assistants efficaces doivent appliquer automatiquement les procédures apprises ou éviter les actions ayant échoué sans rappel explicite. Nous présentons ImplicitMemBench, le premier benchmark systématique évaluant la mémoire implicite à travers trois construits ancrés dans la cognition, issus des modèles standards de la mémoire non déclarative en sciences cognitives : la Mémoire Procédurale (acquisition de compétences en one-shot après interférence), l'Amorçage (biais thématique via des paires d'instances expérimentales/contrôles) et le Conditionnement Classique (associations Stimulus Conditionnel – Stimulus Inconditionnel (SC–SI) influençant les premières décisions). Notre suite de 300 items utilise un protocole unifié Apprentissage/Amorçage-Interférence-Test avec une notation sur le premier essai. L'évaluation de 17 modèles révèle des limitations sévères : aucun modèle ne dépasse 66% de score global, les meilleurs étant DeepSeek-R1 (65,3%), Qwen3-32B (64,1%) et GPT-5 (63,0%), bien en deçà des performances humaines de référence. L'analyse met à jour des asymétries dramatiques (inhibition 17,6% vs. préférence 75,0%) et des goulots d'étranglement universels nécessitant des innovations architecturales au-delà du simple scaling des paramètres. ImplicitMemBench reconsidère l'évaluation en passant de "ce que les agents rappellent" à "ce qu'ils mettent en œuvre automatiquement".
Les modèles vision-langage (VLM) atteignent des performances multimodales élevées, mais l'organisation computationnelle au sein des populations de neurones reste mal comprise. Dans cette étude, nous analysons les VLM sous l'angle de la topologie neuronale, en représentant chaque couche comme un graphe de corrélations intra-couche dérivé des co-activations neuron-neurone. Cette approche nous permet d'examiner si la structure populationnelle a une signification comportementale, comment elle évolue selon les modalités et la profondeur, et si elle identifie des composants internes causalement influents sous intervention. Nous démontrons que la topologie de corrélation porte un signal comportemental récupérable ; de plus, la structure cross-modale se consolide progressivement avec la profondeur autour d'un ensemble compact de neurones hubs récurrents, dont la perturbation ciblée modifie substantiellement la sortie du modèle. La topologie neuronale émerge ainsi comme une échelle intermédiaire pertinente pour l'interprétabilité des VLM : plus riche que l'attribution locale, plus traitable que la récupération complète des circuits, et empiriquement liée au comportement multimodal. Le code est disponible à l'adresse https://github.com/he-h/vlm-graph-probing.
Les progrès récents des modèles vision-langage (VLM) ont amélioré la description d'images pour le patrimoine culturel. Cependant, l'inférence de métadonnées culturelles structurées (par exemple, créateur, origine, période) à partir d'entrées visuelles reste peu explorée. Nous présentons un benchmark multicatégoriel et interculturel pour cette tâche et évaluons les VLM à l'aide d'un cadre LLM-comme-Juge qui mesure l'alignement sémantique avec des annotations de référence. Pour évaluer le raisonnement culturel, nous rapportons la précision par correspondance exacte, correspondance partielle et au niveau des attributs entre les régions culturelles. Les résultats montrent que les modèles capturent des signaux fragmentés et présentent des variations de performance substantielles selon les cultures et les types de métadonnées, conduisant à des prédictions incohérentes et faiblement fondées. Ces résultats soulignent les limites des VLM actuels dans l'inférence de métadonnées culturelles structurées au-delà de la perception visuelle.
Nous présentons RewardFlow, un cadre sans inversion qui guide les modèles de diffusion et d'appariement de flux pré-entraînés lors de l'inférence via une dynamique de Langevin multi-récompenses. RewardFlow unifie des récompenses différentiables complémentaires pour l'alignement sémantique, la fidélité perceptuelle, l'ancrage localisé, la cohérence des objets et les préférences humaines, et introduit en outre une récompense différentiable basée sur le VQA qui fournit une supervision sémantique fine grâce au raisonnement langage-vision. Pour coordonner ces objectifs hétérogènes, nous concevons une politique adaptive sensible au prompt qui extrait des primitives sémantiques de l'instruction, infère l'intention d'édition et module dynamiquement les poids des récompenses et les tailles de pas tout au long de l'échantillonnage. Sur plusieurs benchmarks d'édition d'image et de génération compositionnelle, RewardFlow offre une fidélité d'édition et un alignement compositionnel à la pointe de l'état de l'art.
Les modèles supervisés de vision bas niveau reposent sur des pertes pixel à pixel par rapport à des références appariées, mais les jeux d'entraînement appariés présentent une incohérence photométrique par paire, c'est-à-dire que différentes paires d'images exigent des mappages globaux de luminance, de couleur ou de balance des blancs différents. Cette incohérence provient soit d'un transfert photométrique intrinsèque à la tâche (par exemple, l'amélioration en faible luminosité), soit de décalages de capture non intentionnels (par exemple, la suppression de la pluie), et dans les deux cas, elle entraîne une pathologie d'optimisation. Les pertes de reconstruction standard allouent un budget de gradient disproportionné aux cibles photométriques par paire conflictuelles, évincant la restauration du contenu. Dans cet article, nous étudions ce problème et démontrons que, sous une décomposition des moindres carrés, les composantes photométrique et structurelle du résidu prédiction-cible sont orthogonales, et que la composante photométrique spatialement dense domine l'énergie du gradient. Motivés par cette analyse, nous proposons la Perte d'Alignement Photométrique (PAL). Cet objectif de supervision flexible atténue l'écart photométrique parasite via un alignement affine de couleur en forme close, tout en préservant la supervision pertinente à la restauration, ne nécessitant que des statistiques de covariance et une petite inversion matricielle avec une surcharge négligeable. Sur 6 tâches, 16 jeux de données et 16 architectures, PAL améliore constamment les métriques et la généralisation. L'implémentation se trouve en annexe.
L'estimation de profondeur autosupervisée en vue panoramique permet une perception 3D dense et peu coûteuse avec un champ de vision à 360° à partir de plusieurs images à chevauchement minimal. Cependant, la plupart des méthodes existantes produisent des estimations de profondeur incohérentes entre les images qui se chevauchent. Pour résoudre cette limitation, nous proposons une nouvelle méthode guidée par la géométrie pour les rigs multi-caméras étalonnés et synchronisés en temps, qui prédit une profondeur métrique dense. Notre approche cible deux sources principales d'incohérence : le champ réceptif limité dans les régions bordure de l'estimation de profondeur monoculaire, et la difficulté de l'appariement des correspondances. Nous atténuons ces deux problèmes en étendant le champ réceptif entre les vues et en restreignant l'attention inter-vue à un petit voisinage. Pour ce faire, nous établissons les relations de voisinage entre les images en projetant les positions des caractéristiques spécifiques à chaque image sur un cylindre partagé. Sur la base des positions cylindriques, nous appliquons un mécanisme d'attention spatiale explicite, avec une pondération non apprise, qui agrège les caractéristiques entre les images selon leurs distances sur le cylindre. Les caractéristiques modulées sont ensuite décodées en une carte de profondeur pour chaque vue. Évaluée sur les jeux de données DDAD et nuScenes, notre méthode améliore à la fois la cohérence de la profondeur inter-vue et la précision globale de la profondeur par rapport aux approches de l'état de l'art. Le code est disponible à l'adresse https://abualhanud.github.io/CylinderDepthPage.