Articles de recherche IA sélectionnés quotidiennement avec traductions
Les agents d'utilisation informatique (CUA) présentent un potentiel considérable pour automatiser les workflows complexes sur ordinateur, mais les progrès vers des agents généralistes sont freinés par la rareté des vidéos de démonstration humaine continues et de haute qualité. Des travaux récents soulignent que la vidéo continue, et non des captures d'écran sporadiques, est l'ingrédient critique manquant pour passer ces agents à l'échelle. Cependant, le plus grand jeu de données ouvert existant, ScaleCUA, ne contient que 2 millions de captures d'écran, équivalant à moins de 20 heures de vidéo. Pour résoudre ce goulot d'étranglement, nous présentons CUA-Suite, un écosystème à grande échelle de démonstrations vidéo expertes et d'annotations denses pour les agents professionnels d'utilisation d'ordinateurs de bureau. Son cœur est VideoCUA, qui fournit environ 10 000 tâches démontrées par des humains sur 87 applications diverses avec des enregistrements d'écran continus à 30 ips, des traces cinématiques du curseur et des annotations de raisonnement multicouches, totalisant environ 55 heures et 6 millions d'images de vidéo experte. Contrairement aux jeux de données épars qui ne capturent que les coordonnées finales des clics, ces flux vidéo continus préservent la dynamique temporelle complète de l'interaction humaine, formant un sur-ensemble d'informations pouvant être transformé sans perte dans les formats requis par les frameworks d'agents existants. CUA-Suite fournit en outre deux ressources complémentaires : UI-Vision, un benchmark rigoureux pour évaluer les capacités de grounding et de planification des CUA, et GroundCUA, un jeu de données de grounding à grande échelle avec 56 000 captures d'écran annotées et plus de 3,6 millions d'annotations d'éléments d'interface utilisateur. Une évaluation préliminaire révèle que les modèles d'action de base actuels éprouvent des difficultés substantielles avec les applications professionnelles de bureau (~60 % d'échec des tâches). Au-delà de l'évaluation, le riche corpus multimodal de CUA-Suite soutient des axes de recherche émergents, notamment l'analyse d'écran généraliste, le contrôle spatial continu, la modélisation de récompense basée vidéo et les modèles de monde visuel. Toutes les données et tous les modèles sont publiés publiquement.
La compréhension vidéo avec les modèles de langage multimodaux de grande taille (MLLM) reste difficile en raison des longues séquences de tokens vidéo, qui contiennent des dépendances temporelles étendues et des images redondantes. Les approches existantes traitent généralement les MLLM comme des reconnaisseurs passifs, traitant des vidéos entières ou des images échantillonnées uniformément sans raisonnement adaptatif. Les méthodes récentes basées sur des agents introduisent des outils externes, mais dépendent toujours de flux de travail conçus manuellement et de stratégies de perception d'abord, entraînant une inefficacité sur les vidéos longues. Nous présentons EVA, un cadre d'apprentissage par renforcement efficace pour un agent vidéo de bout en bout, qui permet une planification-avant-perception grâce à un raisonnement itératif résumé-plan-action-réflexion. EVA décide de manière autonome quoi regarder, quand regarder et comment regarder, permettant une compréhension vidéo efficace et pilotée par requête. Pour entraîner de tels agents, nous concevons un pipeline d'apprentissage en trois étapes simple mais efficace - comprenant le réglage fin supervisé (SFT), l'optimisation de Kahneman-Tversky (KTO) et l'optimisation de politique à récompense généralisée (GRPO) - qui fait le pont entre l'imitation supervisée et l'apprentissage par renforcement. Nous construisons en outre des ensembles de données de haute qualité pour chaque étape, soutenant un entraînement stable et reproductible. Nous évaluons EVA sur six benchmarks de compréhension vidéo, démontrant ses capacités complètes. Par rapport aux bases de référence existantes, EVA réalise une amélioration substantielle de 6 à 12 % par rapport aux MLLM généraux de base et un gain supplémentaire de 1 à 3 % par rapport aux méthodes adaptatives d'agents antérieures. Notre code et notre modèle sont disponibles à l'adresse https://github.com/wangruohui/EfficientVideoAgent.
Si les efforts antérieurs de test d'intrusion se sont concentrés sur l'extraction de textes nuisibles des grands modèles de langage (LLM), ces approches ne parviennent pas à saisir les vulnérabilités spécifiques aux agents qui émergent lors de l'exécution multi-étapes d'outils, particulièrement dans des écosystèmes en croissance rapide comme le Model Context Protocol (MCP). Pour combler cette lacune, nous proposons une méthode de recherche évolutive consciente des trajectoires, T-MAP, qui exploite les trajectoires d'exécution pour guider la découverte de prompts adverses. Notre approche permet la génération automatique d'attaques qui non seulement contournent les dispositifs de sécurité, mais réalisent également de manière fiable des objectifs nuisibles via de réelles interactions avec les outils. Des évaluations empiriques dans divers environnements MCP démontrent que T-MAP surpasse substantiellement les méthodes de référence en taux de réalisation d'attaques (TRA) et reste efficace contre les modèles de pointe, incluant GPT-5.2, Gemini-3-Pro, Qwen3.5 et GLM-5, révélant ainsi des vulnérabilités précédemment sous-explorées chez les agents LLM autonomes.
Les agents autonomes mobiles d'interface graphique (GUI) suscitent une attention croissante avec les progrès des modèles de langage multimodaux (MLLM). Cependant, les méthodes existantes souffrent encore d'un apprentissage inefficace à partir des trajectoires d'échec et d'un assignation de crédit ambiguë sous des récompenses éparses pour les tâches GUI à long terme. Pour y remédier, nous proposons UI-Voyager, un nouvel agent GUI mobile à auto-évolution en deux étapes. Dans la première étape, nous utilisons le Rejet par Mise au Point (RFT), qui permet la co-évolution continue des données et des modèles dans une boucle entièrement autonome. La seconde étape introduit l'Auto-distillation Relative de Groupe (GRSD), qui identifie les points de bifurcation critiques dans les déploiements de groupe et construit une supervision dense au niveau de l'étape à partir des trajectoires de réussite pour corriger les échecs. Des expériences approfondies sur AndroidWorld montrent que notre modèle de 4B atteint un taux de réussite Pass@1 de 81,0%, surpassant de nombreuses bases de référence récentes et dépassant les performances humaines. Les études d'ablation et de cas vérifient en outre l'efficacité de GRSD. Notre méthode représente un bond significatif vers une automatisation mobile GUI efficace, auto-évolutive et performante sans annotation manuelle coûteuse des données.
L'auto-distillation est apparue comme un paradigme efficace en post-formation pour les LLM, améliorant souvent les performances tout en raccourcissant les traces de raisonnement. Cependant, dans le raisonnement mathématique, nous constatons qu'elle peut réduire la longueur des réponses tout en dégradant les performances. Nous attribuons cette dégradation à la suppression de la verbalisation épistémique - l'expression par le modèle de son incertitude durant le raisonnement. Par des expériences contrôlées faisant varier la richesse du contexte de conditionnement et la couverture des tâches, nous montrons que conditionner l'enseignant sur des informations riches supprime l'expression de l'incertitude, permettant une optimisation rapide en domaine connu avec une couverture limitée des tâches, mais nuisant aux performances hors domaine, où les problèmes non vus bénéficient de l'expression de l'incertitude et d'un ajustement correspondant. Sur Qwen3-8B, DeepSeek-Distill-Qwen-7B et Olmo3-7B-Instruct, nous observons des baisses de performances allant jusqu'à 40 %. Nos résultats soulignent qu'exposer des niveaux appropriés d'incertitude est crucial pour un raisonnement robuste et soulignent l'importance d'optimiser le comportement de raisonnement au-delà du simple renforcement des traces de réponses correctes.
Les modèles linguistiques multimodaux (MLLM) sont de plus en plus déployés comme épines dorsales perceptives pour les agents autonomes évoluant dans des environnements 3D, allant de la robotique aux mondes virtuels. Ces applications exigent que les agents perçoivent les changements rapides d'état, attribuent les actions aux bonnes entités et raisonnent sur les comportements multi-agents concurrents depuis une perspective à la première personne, des capacités que les benchmarks existants n'évaluent pas de manière adéquate. Nous présentons GameplayQA, un cadre pour évaluer la perception et le raisonnement centrés sur l'agentivité via la compréhension vidéo. Concrètement, nous annotons densément des vidéos de jeu 3D multijoueur à raison de 1,22 label/seconde, avec des légendes synchronisées dans le temps et concurrentes décrivant les états, les actions et les événements, structurées autour d'un système triadique : Soi, Autres Agents et le Monde, une décomposition naturelle pour les environnements multi-agents. À partir de ces annotations, nous avons affiné 2,4 paires de questions-réponses diagnostiques organisées en trois niveaux de complexité cognitive, accompagnées d'une taxonomie structurée de distracteurs permettant une analyse fine des situations où les modèles hallucinent. L'évaluation des MLLM de pointe révèle un écart substantiel par rapport aux performances humaines, avec des échecs courants dans l'ancrage temporel et inter-vidéos, l'attribution des rôles des agents et la gestion de la densité décisionnelle du jeu. Nous espérons que GameplayQA stimulera les recherches futures à l'intersection de l'IA incarnée, de la perception agentique et de la modélisation du monde.
Les progrès récents des modèles de langage multimodaux ont conduit à des performances solides sur les tâches de raisonnement, mais ces améliorations reposent largement sur des données annotées de haute qualité ou sur la distillation de modèles enseignants, deux approches coûteuses et difficiles à mettre à l'échelle. Pour remédier à cela, nous proposons un cadre d'entraînement par auto-évolution non supervisé pour le raisonnement multimodal, qui obtient des améliorations stables de performance sans utiliser de réponses annotées manuellement ni de modèles de récompense externes. Pour chaque entrée, nous échantillonnons plusieurs trajectoires de raisonnement et modélisons conjointement leur structure au sein du groupe. Nous utilisons le signal d'auto-cohérence de l'Acteur comme préalable d'entraînement, et introduisons une modulation par un Juge borné pour repondérer continuellement les trajectoires de qualité différente. Nous modélisons ensuite les scores modulés comme une distribution au niveau du groupe et convertissons les scores absolus en avantages relatifs au sein de chaque groupe, permettant des mises à jour de politique plus robustes. Entraînée par Optimisation de Politique Relative de Groupe (GRPO) sur des données non étiquetées, notre méthode améliore constamment les performances de raisonnement et la généralisation sur cinq benchmarks de raisonnement mathématique, offrant une voie évolutive vers des modèles multimodaux auto-évolutifs. Le code est disponible à l'adresse https://github.com/OPPO-Mente-Lab/LLM-Self-Judge.
L'optimisation générative utilise de grands modèles de langage (LLM) pour améliorer itérativement des artefacts (tels que du code, des flux de travail ou des prompts) en s'appuyant sur des retours d'exécution. C'est une approche prometteuse pour construire des agents auto-améliorants, mais elle reste en pratique fragile : malgré une recherche active, seulement 9 % des agents étudiés utilisaient une optimisation automatisée. Nous soutenons que cette fragilité provient du fait que, pour mettre en place une boucle d'apprentissage, un ingénieur doit faire des choix de conception « cachés » : Que peut modifier l'optimiseur et quelle est la « bonne » preuve d'apprentissage à fournir à chaque mise à jour ? Nous étudions trois facteurs qui affectent la plupart des applications : l'artefact de départ, l'horizon de crédit pour les traces d'exécution, et le regroupement des essais et erreurs en preuves d'apprentissage. À travers des études de cas dans MLAgentBench, Atari et BigBench Extra Hard, nous constatons que ces décisions de conception peuvent déterminer si l'optimisation générative réussit, pourtant elles sont rarement explicitées dans les travaux antérieurs. Différents artefacts de départ déterminent quelles solutions sont atteignables dans MLAgentBench, des traces tronquées peuvent encore améliorer les agents Atari, et des mini-lots plus grands n'améliorent pas de manière monotone la généralisation sur BBEH. Nous concluons que l'absence d'un moyen simple et universel de configurer des boucles d'apprentissage entre les domaines constitue un obstacle majeur à l'industrialisation et à l'adoption. Nous fournissons des conseils pratiques pour effectuer ces choix.
Le 3D Gaussian Splatting (3DGS) permet une synthèse de vues nouvelles photoréaliste en temps réel, ce qui en fait une représentation très attractive pour le suivi vidéo basé modèle. Cependant, exploiter la différentiabilité du moteur de rendu 3DGS "en conditions réelles" reste notoirement fragile. Un goulot d'étranglement fondamental réside dans le support compact et local des primitives gaussiennes. Les objectifs photométriques standards reposent implicitement sur le chevauchement spatial ; si un mauvais alignement sévère de la caméra place l'objet rendu en dehors de l'empreinte locale de la cible, les gradients s'annulent strictement, laissant l'optimiseur bloqué. Nous présentons SpectralSplats, un cadre de suivi robuste qui résout ce problème de "gradient qui disparaît" en déplaçant l'objectif d'optimisation du domaine spatial vers le domaine fréquentiel. En supervisant l'image rendue via un ensemble de caractéristiques sinusoïdales complexes globales (Moments Spectraux), nous construisons un bassin d'attraction global, garantissant qu'un gradient valide et directionnel vers la cible existe sur l'ensemble du domaine de l'image, même lorsqu'aucun chevauchement pixel n'existe. Pour exploiter ce bassin global sans introduire de minima locaux périodiques associés aux hautes fréquences, nous dérivons un plan d'Atténuation de Fréquence (Frequency Annealing) principiel à partir des premiers principes, faisant passer progressivement l'optimiseur d'une convexité globale à un alignement spatial précis. Nous démontrons que SpectralSplats agit comme un remplacement transparent et direct des pertes spatiales pour diverses paramétrisations de déformation (des MLPs aux points de contrôle épars), réussissant à retrouver des déformations complexes même à partir d'initialisations sévèrement désalignées où le suivi standard basé sur l'apparence échoue de manière catastrophique.
Si les modèles génératifs vidéo récents ont atteint un réalisme visuel remarquable et sont explorés comme modèles du monde, une véritable simulation physique nécessite la maîtrise simultanée de l'espace et du temps. Les modèles actuels peuvent produire une cinématique visuellement fluide, mais ils manquent d'une impulsion motrice interne fiable pour ancrer ces mouvements dans une échelle temporelle cohérente et réaliste. Cette ambiguïté temporelle découle de la pratique courante qui consiste à entraîner les modèles de manière indifférenciée sur des vidéos ayant des vitesses réelles très variables, en les forçant à un taux de frames standardisé. Cela conduit à ce que nous nommons l'hallucination chronométrique : les séquences générées présentent des vitesses de mouvement physique ambiguës, instables et incontrôlables. Pour y remédier, nous proposons Visual Chronometer, un prédicteur qui restaure le nombre d'images par seconde physique (PhyFPS) directement à partir de la dynamique visuelle d'une vidéo d'entrée. Entraîné via un rééchantillonnage temporel contrôlé, notre méthode estime l'échelle temporelle réelle sous-tendue par le mouvement lui-même, contournant ainsi les métadonnées peu fiables. Pour quantifier systématiquement ce problème, nous établissons deux benchmarks, PhyFPS-Bench-Real et PhyFPS-Bench-Gen. Nos évaluations révèlent une réalité sévère : les générateurs vidéo à la pointe souffrent d'un grave désalignement du PhyFPS et d'une instabilité temporelle. Enfin, nous démontrons que l'application de corrections PhyFPS améliore significativement le caractère naturel perçu par les humains des vidéos générées par IA. Notre page projet est https://xiangbogaobarry.github.io/Visual_Chronometer/.
Nous présentons 4DGS360, un cadre sans diffusion pour la reconstruction d'objets dynamiques à 360° à partir de vidéos monoculaires classiques. Les méthodes existantes échouent souvent à reconstruire une géométrie cohérente à 360°, car leur forte dépendance à des préconisations natives 2D amène les points initiaux à surajuster la surface visible dans chaque vue d'apprentissage. 4DGS360 résout ce défi grâce à une initialisation native 3D avancée qui atténue l'ambiguïté géométrique des régions occluses. Notre traqueur 3D proposé, AnchorTAP3D, produit des trajectoires de points 3D renforcées en exploitant des points de suivi 2D fiables comme ancres, supprimant la dérive et fournissant une initialisation fiable qui préserve la géométrie dans les régions occluses. Cette initialisation, combinée à une optimisation, produit des reconstructions 4D cohérentes à 360°. Nous présentons également iPhone360, un nouveau benchmark où les caméras de test sont placées jusqu'à 135° des vues d'apprentissage, permettant une évaluation à 360° que les ensembles de données existants ne peuvent pas fournir. Les expériences montrent que 4DGS360 atteint des performances de pointe sur les ensembles de données iPhone360, iPhone et DAVIS, à la fois qualitativement et quantitativement.
Les pipelines agentiques multimodaux transforment l'interaction homme-machine en permettant l'automatisation efficace et accessible de tâches complexes du monde réel. Cependant, les efforts récents se sont concentrés sur des applications à court terme ou généralistes (par exemple, les interfaces mobiles ou de bureau), laissant l'automatisation à long terme pour les systèmes spécialisés, notamment dans le domaine de la santé, largement inexplorée. Pour remédier à cela, nous présentons CareFlow, un benchmark de haute qualité annoté manuellement, comprenant des workflows logiciels complexes et à long terme couvrant des outils d'annotation médicale, des visualiseurs DICOM, des systèmes de DSE (dossier santé électronique) et des systèmes d'information de laboratoire. Sur ce benchmark, les modèles vision-langage (VLM) existants obtiennent de mauvais résultats, peinant avec le raisonnement à long terme et les interactions multi-étapes dans des contextes médicaux. Pour surmonter cela, nous proposons CarePilot, un framework multi-agents basé sur le paradigme acteur-critique. L'Acteur intègre l'ancrage d'outils avec des mécanismes à mémoire duale (expérience à long terme et à court terme) pour prédire la prochaine action sémantique à partir de l'interface visuelle et de l'état du système. Le Critique évalue chaque action, met à jour la mémoire en fonction des effets observés, et soit exécute l'action soit fournit un retour correctif pour affiner le workflow. Grâce à une simulation agentique itérative, l'Acteur apprend à effectuer des prédictions plus robustes et conscientes du raisonnement lors de l'inférence. Nos expériences montrent que CarePilot atteint des performances de pointe, surpassant respectivement des bases de référence multimodales solides, propriétaires et open source, d'environ 15,26 % et 3,38 % sur notre benchmark et sur un jeu de données hors distribution.
L'évaluation des grands modèles de langage (LLM) sur des questions ouvertes est difficile car la qualité de la réponse dépend du contexte de la question. Les scores binaires et les grilles d'évaluation statiques ne parviennent pas à saisir ces exigences dépendantes du contexte. Les méthodes existantes définissent des critères au niveau du jeu de données ou les génèrent en une seule passe, ce qui limite leur capacité à explorer l'espace d'évaluation impliqué par chaque question. Nous présentons One-Question-One-World (Qworld), une méthode qui génère des critères d'évaluation spécifiques à chaque question à l'aide d'un arbre d'expansion récursif. Étant donné une question, Qworld la décompose en scénarios, perspectives et critères binaires fins grâce à une expansion hiérarchique et horizontale structurée. Les critères qui en résultent spécifient ce qu'une réponse de haute qualité doit aborder pour cette question. Sur HealthBench, Qworld couvre 89 % des critères rédigés par des experts et génère 79 % de critères nouveaux, validés par des experts humains. Les experts évaluent les critères de Qworld plus élevés en termes de perspicacité et de granularité que ceux produits par les méthodes antérieures. Appliqué à 11 LLM de pointe sur HealthBench et Humanity's Last Exam, Qworld révèle des différences de capacités dans des dimensions telles que l'impact à long terme, l'équité, la gestion des erreurs et le raisonnement interdisciplinaire, que les grilles grossières ne distinguent pas. En formulant la génération de critères comme une couverture structurée des axes d'évaluation impliqués par la question, Qworld permet une évaluation qui s'adapte à chaque question plutôt que de reposer sur des critères fixes au niveau de la tâche.
Des travaux récents ont montré que les réseaux de neurones peuvent accomplir des tâches 3D telles que la Synthèse de Nouvelles Vues (NVS) sans reconstruction 3D explicite. Malgré cela, nous soutenons que de forts biais inductifs 3D restent bénéfiques dans la conception de tels réseaux. Nous démontrons ce point en présentant LagerNVS, un réseau de neurones encodeur-décodeur pour la NVS qui s'appuie sur des caractéristiques latentes « conscientes de la 3D ». L'encodeur est initialisé à partir d'un réseau de reconstruction 3D pré-entraîné en utilisant une supervision 3D explicite. Celui-ci est associé à un décodeur léger, et l'ensemble est entraîné de bout en bout avec des pertes photométriques. LagerNVS atteint des performances de pointe en Synthèse de Nouvelles Vues déterministe à propagation avant (incluant un PSNR de 31.4 sur Re10k), avec ou sans caméras connues, effectue le rendu en temps réel, généralise à des données en conditions réelles, et peut être couplé à un décodeur à diffusion pour une extrapolation générative.
Les grands modèles de langage (LLM) ont permis le développement de systèmes agents capables de raisonner, de planifier et d'agir sur des tâches complexes, mais on ignore encore s'ils peuvent allouer efficacement des ressources dans un contexte d'incertitude. Contrairement aux décisions réactives à court terme, l'allocation nécessite d'engager des ressources rares sur la durée tout en équilibrant des objectifs concurrents et en préservant la flexibilité pour les besoins futurs. Nous présentons EnterpriseArena, le premier benchmark conçu pour évaluer les agents sur l'allocation des ressources d'entreprise à long terme. Il matérialise une prise de décision de type directeur financier dans un simulateur d'entreprise couvrant 132 mois, combinant des données financières au niveau de l'entreprise, des documents commerciaux anonymisés, des signaux macroéconomiques et sectoriels, ainsi que des règles opérationnelles validées par des experts. L'environnement est partiellement observable et ne révèle l'état qu'à travers des outils organisationnels budgétisés, forçant les agents à arbitrer entre l'acquisition d'informations et la préservation de ressources rares. Des expériences menées sur onze LLM avancés montrent que ce cadre reste très difficile : seulement 16 % des exécutions survivent à l'ensemble de l'horizon, et les modèles plus grands ne surclassent pas de manière fiable les plus petits. Ces résultats identifient l'allocation des ressources à long terme sous incertitude comme une lacune capacitaire distincte pour les agents LLM actuels.
Bien que les systèmes propriétaires tels que Seedance-2.0 aient obtenu un succès remarquable dans la génération vidéo omni-capable, les alternatives open-source accusent un retard significatif. La plupart des modèles académiques restent fortement fragmentés, et les rares efforts existants vers une génération vidéo unifiée peinent encore à intégrer de manière transparente des tâches diverses au sein d'un même cadre. Pour combler cette lacune, nous proposons OmniWeaving, un modèle de génération vidéo omni-niveau doté de puissantes capacités de composition multimodale et de raisonnement. En tirant parti d'un jeu de données de pré-entraînement à grande échelle qui englobe divers scénarios compositionnels et augmentés par le raisonnement, OmniWeaving apprend à lier temporellement des entrées entrelacées de texte, d'images multiples et de vidéos, tout en agissant comme un agent intelligent pour inférer les intentions complexes des utilisateurs afin de créer des vidéos sophistiquées. Par ailleurs, nous introduisons IntelligentVBench, le premier benchmark complet conçu pour évaluer rigoureusement la génération vidéo unifiée intelligente de niveau supérieur. Des expériences approfondies démontrent qu'OmniWeaving atteint des performances à l'état de l'art parmi les modèles unifiés open-source. Les codes et le modèle seront bientôt rendus publics. Page du projet : https://omniweaving.github.io.
Les transformateurs de diffusion ont démontré des capacités remarquables dans la génération de vidéos. Cependant, leur déploiement pratique est sévèrement limité par une utilisation mémoire élevée et un coût computationnel important. La quantification post-entraînement offre une solution pratique pour réduire l'utilisation mémoire et augmenter la vitesse de calcul. Les méthodes de quantification existantes appliquent généralement une allocation statique de largeur de bits, négligeant la difficulté de quantification des activations à travers les pas de temps de diffusion, ce qui conduit à un compromis sous-optimal entre efficacité et qualité. Dans cet article, nous proposons un cadre de quantification mixte NVFP4/INT8 au moment de l'inférence. Nous découvrons une forte corrélation linéaire entre la différence entrée-sortie d'un bloc et la sensibilité à la quantification de ses couches linéaires internes. Sur la base de cette observation, nous concevons un prédicteur léger qui alloue dynamiquement NVFP4 aux couches temporellement stables pour maximiser la compression mémoire, tout en préservant sélectivement INT8 pour les couches volatiles afin d'assurer la robustesse. Cette stratégie de précision adaptative permet une quantification agressive sans compromettre la qualité de génération. Par ailleurs, nous observons que le résidu entre l'entrée et la sortie d'un bloc Transformer présente une grande cohérence temporelle à travers les pas de temps. Exploitant cette redondance temporelle, nous introduisons le Temporal Delta Cache (TDC) pour sauter les calculs de ces blocs invariants, réduisant ainsi davantage le coût computationnel. Des expériences approfondies démontrent que notre méthode atteint une accélération de bout en bout de 1,92 fois et une réduction mémoire de 3,32 fois, établissant une nouvelle référence pour l'inférence efficace dans les Video DiTs.
Les modèles de génération vidéo ont démontré un fort potentiel en tant que modèles du monde pour la simulation de conduite autonome. Cependant, les approches existantes sont principalement entraînées sur des ensembles de données de conduite réelle, qui contiennent majoritairement des scénarios de conduite naturels et sécuritaires. Par conséquent, les modèles actuels échouent souvent lorsqu'ils sont conditionnés par des trajectoires difficiles ou contrefactuelles - telles que des trajectoires imparfaites générées par des simulateurs ou systèmes de planification - produisant des vidéos présentant de graves incohérences physiques et artefacts. Pour résoudre cette limitation, nous proposons PhyGenesis, un modèle du monde conçu pour générer des vidéos de conduite avec une haute fidélité visuelle et une forte cohérence physique. Notre cadre comprend deux composants clés : (1) un générateur de conditions physiques qui transforme des entrées de trajectoires potentiellement invalides en conditions physiquement plausibles, et (2) un générateur vidéo enrichi en physique qui produit des vidéos de conduite multi-vues de haute fidélité sous ces conditions. Pour entraîner efficacement ces composants, nous construisons un vaste ensemble de données hétérogène riche en physique. Spécifiquement, en plus des vidéos de conduite réelle, nous générons divers scénarios de conduite difficiles à l'aide du simulateur CARLA, à partir desquels nous dérivons des signaux de supervision qui guident le modèle pour apprendre une dynamique physiquement fondée dans des conditions extrêmes. Cette stratégie d'apprentissage par trajectoires difficiles permet une correction de trajectoire et favorise une génération vidéo physiquement cohérente. Des expériences approfondies démontrent que PhyGenesis surpasse constamment les méthodes state-of-the-art, particulièrement sur les trajectoires difficiles. Notre page projet est disponible à l'adresse : https://wm-research.github.io/PhyGenesis/.
Les applications telles que l'intelligence incarnée reposent sur une boucle fermée perception-décision-action en temps réel, ce qui pose des défis exigeants pour la compréhension du flux vidéo. Cependant, les agents actuels souffrent de capacités fragmentées, comme la prise en charge uniquement de la compréhension vidéo hors ligne, l'absence de mécanismes de mémoire multimodale à long terme, ou des difficultés à réaliser un raisonnement en temps réel et une interaction proactive avec des entrées en flux continu. Ces limitations constituent un goulot d'étranglement clé les empêchant de maintenir la perception, de prendre des décisions en temps réel et d'exécuter des actions dans des environnements réels. Pour atténuer ces problèmes, nous proposons StreamingClaw, un framework d'agents unifié pour la compréhension du flux vidéo et l'intelligence incarnée. C'est également un framework compatible OpenClaw qui prend en charge l'interaction multimodale en flux continu en temps réel. StreamingClaw intègre cinq capacités fondamentales : (1) Il prend en charge le raisonnement en flux continu en temps réel. (2) Il permet de raisonner sur des événements futurs et d'interagir de manière proactive lors de l'évolution en ligne des objectifs d'interaction. (3) Il prend en charge le stockage multimodal à long terme, l'évolution hiérarchique et la récupération efficace de la mémoire partagée entre plusieurs agents. (4) Il implémente une boucle fermée perception-décision-action. Outre les outils et compétences conventionnels, il fournit également des outils de flux continu et des compétences centrées sur l'action adaptées aux environnements physiques réels. (5) Il est compatible avec le framework OpenClaw, lui permettant de tirer pleinement parti des ressources et du soutien de la communauté open source. Grâce à ces conceptions, StreamingClaw intègre le raisonnement en temps réel en ligne, la mémoire à long terme multimodale et l'interaction proactive dans un framework unifié. De plus, en traduisant les décisions en actions exécutables, il permet un contrôle direct du monde physique, supportant le déploiement pratique de l'interaction incarnée.
Les modèles de langage multimodaux (MLLM) existants éprouvent des difficultés avec le raisonnement spatial 3D, car ils ne parviennent pas à construire des abstractions structurées de l'environnement 3D représenté dans les vidéos en entrée. Pour combler cette lacune, en nous inspirant des théories cognitives du raisonnement spatial allocentrique, nous étudions comment permettre aux MLLM de modéliser et de raisonner sur des représentations spatiales textuelles de la vidéo. Plus précisément, nous présentons TRACE (Textual Representation of Allocentric Context from Egocentric Video), une méthode d'incitation qui amène les MLLM à générer des représentations textuelles d'environnements 3D comme traces de raisonnement intermédiaires pour une réponse plus précise aux questions spatiales. TRACE encode le méta-contexte, les trajectoires de la caméra et les entités détaillées des objets pour prendre en charge un raisonnement spatial structuré sur les vidéos égocentriques. Des expériences approfondies sur VSI-Bench et OST-Bench démontrent que TRACE apporte des améliorations notables et cohérentes par rapport aux stratégies d'incitation antérieures sur une grande variété d'architectures MLLM, couvrant différentes échelles de paramètres et schémas d'entraînement. Nous présentons en outre des études d'ablation pour valider nos choix de conception, ainsi que des analyses détaillées qui sondent les goulots d'étranglement du raisonnement spatial 3D dans les MLLM.
Nous démontrons que les modèles de langage de grande taille (LLM) pré-entraînés par processus de déséquilibre-rééquilibrage progressif (PLDR) à la criticité auto-organisée présentent des capacités de raisonnement lors de l'inférence. Les caractéristiques des sorties déductives des PLDR-LLM à la criticité sont similaires aux transitions de phase du second ordre. À la criticité, la longueur de corrélation diverge et les sorties déductives atteignent un état stationnaire métastable. Ce comportement stationnaire suggère que les sorties déductives apprennent des représentations équivalentes aux fonctions d'échelle, aux classes d'universalité et aux groupes de renormalisation à partir du jeu d'entraînement, conduisant ainsi à des capacités de généralisation et de raisonnement. Nous pouvons alors définir un paramètre d'ordre à partir des statistiques globales des paramètres de sortie déductive du modèle lors de l'inférence. Les capacités de raisonnement d'un PLDR-LLM sont meilleures lorsque son paramètre d'ordre est proche de zéro à la criticité. Cette observation est étayée par les scores d'évaluation des modèles entraînés près de la criticité et en sous-criticité. Nos résultats fournissent une explication autonome sur la manière dont le raisonnement émerge dans les grands modèles de langage, et la capacité à raisonner peut être quantifiée uniquement à partir des valeurs globales des paramètres du modèle des sorties déductives à l'état stationnaire, sans qu'il soit nécessaire d'évaluer des jeux de données de référence via des sorties inductives pour le raisonnement et la compréhension.
La segmentation fonctionnelle dans les scènes 3D nécessite qu'un agent ancre des instructions naturelles implicites dans des masques précis d'éléments interactifs à granularité fine. Les méthodes existantes reposent sur des pipelines fragmentés qui souffrent de cécité visuelle lors de l'analyse initiale des tâches. Nous observons que ces méthodes sont limitées par une sélection d'images monocouche, passive et heuristique. Nous présentons UniFunc3D, un cadre unifié et sans apprentissage qui traite le grand modèle de langage multimodal comme un observateur actif. En consolidant le raisonnement sémantique, temporel et spatial en une seule passe avant, UniFunc3D effectue un raisonnement conjoint pour ancrer la décomposition des tâches dans des preuves visuelles directes. Notre approche introduit un ancrage spatio-temporel actif avec une stratégie grossier-vers-fin. Cela permet au modèle de sélectionner adaptativement les bonnes images vidéo et de se concentrer sur les parties interactives à haut niveau de détail tout en préservant le contexte global nécessaire à la désambiguïsation. Sur SceneFun3D, UniFunc3D obtient des performances à l'état de l'art, surpassant largement les méthodes sans apprentissage et avec apprentissage avec une amélioration relative de 59,9% du mIoU, sans aucun entraînement spécifique à la tâche. Le code sera publié sur notre page de projet : https://jiaying.link/unifunc3d.