Articles de recherche IA sélectionnés quotidiennement avec traductions
L’apprentissage par renforcement avec récompenses vérifiables (RLVR) est une méthode puissante pour améliorer le raisonnement des modèles de langage, mais il est coûteux de répéter cette approche sur chaque nouveau modèle performant, car le modèle cible doit générer de nombreux rollouts pendant l’entraînement. À mesure que les modèles s’agrandissent, le post-entraînement lui-même devient un goulot d’étranglement. Nous étudions une alternative faible-à-forte : exécuter l’apprentissage par renforcement sur un modèle plus petit, où les rollouts sont moins coûteux, puis réutiliser ce que cet apprentissage a appris pour améliorer un modèle cible plus fort. Distiller directement l’enseignant faible post-AR ne suffit pas, car la politique finale de l’enseignant mélange les gains utiles de l’apprentissage par renforcement avec les limites du modèle plus petit. Nous proposons la distillation directe sur politique (Direct-OPD), qui transfère le déplacement de politique induit par l’apprentissage par renforcement chez l’enseignant. Direct-OPD compare l’enseignant post-AR avec sa propre référence pré-AR et traite leur rapport logarithmique comme une récompense implicite dense pour l’étudiant. En termes simples, la paire de points de contrôle nous indique quelles actions l’apprentissage par renforcement a rendues plus ou moins probables pour le modèle faible, et Direct-OPD applique ce signal sur les états on-policy de l’étudiant plus fort. Cela réutilise directement le signal de supervision de l’apprentissage par renforcement du modèle faible sans exécuter d’AR à récompense rare sur le modèle cible. Empiriquement, Direct-OPD exploite systématiquement des enseignants plus faibles pour améliorer des modèles cibles plus forts ; notamment, il fait passer Qwen3-1.7B de 48,3 % à 58,3 % sur AIME 2024 en seulement 4 heures sur 8 GPU A100. Il surpasse l’AR direct apparié par étapes et permet la composition séquentielle de multiples déplacements de politique. Nos résultats montrent que les résultats de l’apprentissage par renforcement peuvent être réutilisés à travers les échelles de modèles comme des signaux de récompense implicites, et non simplement comme des modèles finaux à imiter.
Les modèles fondamentaux de navigation visuelle-langagère visent à unifier le raisonnement profond pour des décisions spatiales ancrées avec une large polyvalence pour diverses tâches incarnées. Les approches actuelles réalisent généralement cette intégration via des politiques monolithiques qui mappent directement les observations en actions, mais elles souffrent souvent de dérive de coordonnées et d'une mauvaise gestion des sémantiques rares. De plus, ces mappings en boîte noire manquent d'interprétabilité, entravant l'obtention simultanée de généralité, robustesse et transparence. Nous présentons ABot-N1, un pas vers un modèle fondamental de navigation visuelle-langagère général, qui relève ces défis en découplant la cognition du contrôle via une architecture lente-rapide guidée par des signaux visuels-langagiers doubles. Plus précisément, un raisonneur visuel-langagier lent effectue un raisonnement explicite en chaîne de pensée tout en produisant un objectif pixel. Cet ensemble compact de points d'ancrage dans l'espace image sert d'interface universelle pour diverses tâches, incluant l'objectif ponctuel, l'objectif d'objet, l'objectif de point d'intérêt, le suivi d'instructions et le suivi de personne. Ensuite, un expert d'action rapide exploite à la fois les indices textuels et le guidage pixel pour générer des points de passage continus à la fréquence de contrôle native. En reliant les intentions de haut niveau et le contrôle de bas niveau via des points d'ancrage ancrés dans le pixel associés à des traces linguistiques explicites, notre approche assure une navigation robuste, généralisable et interprétable à travers des benchmarks en simulation et dans le monde réel. ABot-N1 établit de nouveaux records de pointe, offrant des gains massifs notamment dans la navigation à l'échelle urbaine : une augmentation de 35,0 % de l'arrivée aux points d'intérêt (à 77,3 %) et un taux de succès de 95,4 %/92,9 % dans des scènes intérieures et extérieures complexes. Il maintient également une robustesse supérieure dans les tâches d'atteinte d'objet, de suivi de personne et de suivi d'instructions. De nouveaux benchmarks d'objectif ponctuel et d'objectif de point d'intérêt sont publiés en open source pour faire avancer le domaine de la navigation à l'échelle urbaine.
Les systèmes récents de type VLM et VLA ont amélioré la perception robotique et la prédiction d'actions, mais les agents incarnés à long horizon nécessitent encore une couche d'exécution générique pour le raisonnement, la mémoire, l'utilisation d'outils, la vérification et l'exécution inter-embodiments. Nous présentons ABot-AgentOS, un système d'exploitation agent robotique général qui se situe au-dessus des contrôleurs de bas niveau et fournit une couche agent délibérative pour la planification conditionnée par la scène, l'exécution de compétences en contexte isolé, la vérification multi-étapes, la mémoire multimodale et la collaboration edge-cloud. Pour évaluer de tels systèmes, nous introduisons EmbodiedWorldBench, un benchmark exécutable comprenant 16 scènes intérieures, extérieures et hybrides, quatre niveaux de difficulté, et plus de 200 tâches incluant la navigation, la recherche d'objets, le dialogue avec des PNJ, des événements dynamiques et une notation fondée sur les traces. ABot-AgentOS introduit en outre Universal Multi-modal Graph Memory, un substrat persistant ancré dans les sources qui convertit le dialogue, les observations visuelles, le contexte spatial, les relations temporelles et les traces de tâches en nœuds et arêtes typés. Une boucle d'auto-évolution pilotée par les échecs transforme les défaillances de mémoire diagnostiquées en actifs évolutifs d'exécution contrôlés, qui ne sont promus que dans les splits d'évaluation ultérieurs, évitant ainsi les fuites de vérité terrain du split actuel tout en permettant une amélioration continue. Sur un sous-ensemble initial d'EmbodiedWorldBench, ABot-AgentOS améliore à la fois le succès des tâches et l'achèvement des objectifs par rapport à une baseline à contrôleur unique. Sur les benchmarks de mémoire, ABot-AgentOS Static atteint 87,5 sur LoCoMo, 59,9 sur OpenEQA EM-EQA, 88,6 sur Mem-Gallery et 76,5 Acc@All sur NExT-QA ; l'auto-évolution améliore encore LoCoMo à 88,7, OpenEQA à 60,4 et Mem-Gallery à 89,0. Ces résultats suggérer qu'une couche OS Agent générale peut améliorer l'exécution incarnée à long horizon tout en fournissant une mémoire persistante et vérifiable pour une interaction continue.
La capture volumétrique existante de performances humaines dynamiques atteint une haute fidélité avec des réseaux denses de caméras. Cependant, dans les scénarios réels, seules quelques caméras à faible recouvrement sont disponibles, ce qui dégrade la qualité de sortie et laisse de vastes zones non observées. Les méthodes récentes de reconstruction 4D se sont concentrées sur des configurations à faible recouvrement, mais elles produisent encore des artefacts notables dans les zones sous-observées. Les modèles de diffusion vidéo sont apparus comme une autre option, mais ils montrent des résultats géométriquement incohérents pour les humains. Pour remédier à ces limitations, nous proposons StudioRecon, un pipeline qui reconstruit des scènes humaines 4D à partir de caméras éparses et à faible recouvrement en découplant l'arrière-plan et les humains. Nous densifions la supervision de l'arrière-plan en synthétisant des centaines de nouvelles vues contrôlées par caméra avec un modèle de diffusion vidéo. Nous initialisons également de manière robuste des humains gaussiens déformables avec une association d'identité inter-vues et un ajustement des points clés multi-vues triangulé. Enfin, notre module d'amélioration récursive avec injection de cohérence adaptative au mouvement harmonise la sortie composée, évitant ainsi davantage les artefacts restants. Nous obtenons une synthèse de nouvelles vues de pointe sur quatre ensembles de données réels et démontrons des applications telles que le rendu de trajectoires nouvelles et le remplacement d'humains.
Les assistants IA personnels sur les appareils mobiles et portables perçoivent en continu la vie quotidienne des utilisateurs via des flux visuels et audio. Cependant, répondre à des questions sur des expériences passées nécessite une mémoire multimodale légère capable d'accumuler, d'organiser et de retrouver en continu des expériences à long terme, ce qui reste un défi. Pour relever ce défi, nous présentons LightMem-Ego, un système de mémoire multimodale légère en flux continu pour l'assistance à la vie quotidienne. Le système capture en continu des flux visuels et audio égocentriques, les aligne sur une chronologie partagée et les organise en une mémoire hiérarchique composée de mémoire courante, à court terme et à long terme. Face à une requête utilisateur, LightMem-Ego oriente dynamiquement la recherche vers le niveau de mémoire approprié et génère des réponses fondées sur des preuves multimodales. La démonstration peut être déployée sur des smartphones et des lunettes IA, prenant en charge la recherche d'objets, le rappel de conversations, le résumé de vie, la découverte de routines et l'assistance personnalisée. Le code est disponible à l'adresse https://github.com/zjunlp/LightMem-Ego.
Les grands modèles de langage (LLMs) ont obtenu des performances remarquables en mathématiques de niveau lycée et olympiade, mais leurs capacités en mathématiques avancées restent mal comprises. Les référentiels existants sont cependant insuffisants tant en termes de couverture que de granularité d’évaluation : ils offrent une couverture disciplinaire limitée et s’appuient souvent sur la correction de la réponse finale ou des jugements grossiers, laissant la validité du processus de raisonnement insuffisamment évaluée. Pour combler cette lacune, nous introduisons AdvancedMathBench, une suite de référentiels conçue pour évaluer les capacités de raisonnement mathématique avancé. Son référentiel central de génération de preuves, ProverBench, contient 296 problèmes couvrant les niveaux de licence et d’examen de qualification doctorale. Afin de fournir une évaluation fiable des preuves, nous développons un pipeline de vérification automatique dédié, entraîné sur des annotations d’experts à grande échelle, produisant à la fois des verdicts de correction et des évaluations fines des erreurs de preuve, lequel montre un fort accord avec les experts humains sur des trajectoires de preuve non vues. Nous introduisons également VerifierBench, composé de 888 trajectoires de preuve générées par des modèles et associées à des vérités de terrain expertes, pour évaluer si les modèles peuvent juger correctement la validité des preuves et fournir des justifications de vérification solides. Les expériences montrent qu’AdvancedMathBench reste un défi pour les modèles de pointe. Pour la génération de preuves, le meilleur modèle, GPT-5.5-xhigh, atteint seulement 75,8 et 66,1 sur les sous-ensembles UGD et QE respectivement, indiquant une marge d’amélioration considérable pour la construction de preuves mathématiques avancées. Pour la vérification de preuves, le meilleur modèle obtient un F1 équilibré de seulement 65,1, et les modèles présentent généralement de faibles taux de vrais négatifs, suggérant que la détection d’erreurs critiques reste un goulot d’étranglement majeur.
La métacognition est une composante fondamentale de l'intelligence, essentielle pour un apprentissage efficace, la résolution de problèmes, la prise de décision, la communication, et plus encore. Ces dernières années, elle a été de plus en plus reconnue comme une pierre angulaire des systèmes d'IA performants et transparents. Pourtant, bien que les LLM aient réalisé des progrès significatifs dans diverses tâches du monde réel, il n'est pas encore clair quand, comment ou dans quelle mesure ils peuvent manifester ou être dotés de capacités métacognitives efficaces, ni comment ces capacités peuvent être adaptées pour améliorer les capacités fondamentales, la fiabilité et l'intelligence des systèmes d'IA. Cet article comble ce fossé en présentant la première vue d'ensemble complète de l'état actuel des connaissances sur la métacognition pour les LLM. Nous analysons et catégorisons le paysage de ce domaine émergent et résumons les avancées techniques récentes, y compris les méthodes et benchmarks pour mesurer et évaluer les capacités métacognitives des LLM, les techniques pour susciter, améliorer et appliquer la métacognition dans les LLM, ainsi que les résultats et implications des recherches en cours. Nous discutons également des applications, des questions ouvertes et des défis, ainsi que des directions prometteuses pour les travaux futurs. Notre objectif est de fournir une revue détaillée et à jour de ce sujet et de stimuler une recherche et une discussion significatives. Une liste organisée d'articles est disponible sur https://github.com/yale-nlp/LLM-Metacognition.
La directivité est une capacité déterminante des politiques robotiques généralistes, mais elle reste largement absente dans les systèmes à mains dextres en raison du manque de données de démonstration à grande échelle, alignées sur le langage et précises en termes d'actions. Pour remédier à ce goulot d'étranglement, nous présentons un système complet qui étend le pré-entraînement VLA dextre à partir de vidéos humaines égocentriques et permet un post-entraînement efficace en données sur robots réels. Il intègre EgoSmith, un pipeline de données qui organise des vidéos égocentriques issues du monde réel en 9,6k heures de données de pré-entraînement de haute qualité, avec un débit 9 fois supérieur et une meilleure précision que l'état de l'art antérieur ; une pile robotique unifiée pour la téléopération et la correction avec intervention humaine ; et EgoSteer, un VLA enrichi par un modèle du monde, entraîné sur une infrastructure optimisée. Le pré-entraînement sur données humaines dote EgoSteer de connaissances préalables en manipulation guidées par le langage, qui sont ancrées via le post-entraînement sur robot et améliorées par un raffinement DAgger. Empiriquement, EgoSteer exécute de manière robuste des instructions libres à travers plus de 40 tâches diverses, démontrant la récupération après échec, la dextérité et la généralisation. Le modèle pré-entraîné s'adapte également en quelques essais à des tâches complexes à long horizon, y compris le pliage de boîtes, sur deux incarnations avec un taux de succès supérieur à 75 %. Nous open-sourçons le système, les données et le modèle à l'adresse https://egosteer.github.io/.
Le post-entraînement est essentiel pour affiner les capacités spécifiques à un domaine des grands modèles de langage (LLM), mais les méthodes existantes d'optimisation des récompenses et d'appariement des distributions couplent étroitement l'exploration de la politique avec l'alignement des distributions. Ce couplage impose une exploration coûteuse directement sur le modèle de politique et entrave considérablement la génération asynchrone, la réutilisation et le transfert inter-modèles des signaux d'optimisation. Dans cet article, nous proposons PUST (Proxy-guided Update Signal Transfer), un nouveau cadre de post-entraînement qui dissocie fondamentalement l'exploration des signaux de mise à jour de l'alignement des distributions. Au lieu d'utiliser le modèle principal pour une exploration coûteuse, PUST emploie un modèle proxy léger comme banc d'essai efficace pour découvrir des comportements à haute récompense. Nous extrayons le signal d'amélioration relative entre les états initial et optimisé du proxy, puis transférons cette mise à jour directionnelle au modèle principal pour guider son alignement politique. Ce pipeline découplé, comprenant l'exploration du proxy, l'extraction du signal de mise à jour et le transfert du signal, réduit considérablement le coût computationnel et permet aux signaux d'optimisation d'être générés de manière asynchrone, mis en cache et réutilisés. De manière cruciale, en transférant des améliorations relatives plutôt que des distributions politiques absolues, PUST soutient naturellement l'amélioration du faible au fort et le transfert transparent entre modèles. Des évaluations systématiques sur les modèles de la famille Qwen3 dans les domaines mathématique et du code démontrent que les signaux de mise à jour extraits de proxies considérablement plus faibles peuvent améliorer de manière robuste et ajustable des modèles principaux plus puissants. En fin de compte, PUST transforme le post-entraînement d'un processus d'optimisation monolithique en ligne en un paradigme hautement modulaire, réutilisable et économique.
L'exploration est essentielle pour une autonomie fiable dans les systèmes multi-agents, mais il reste incertain que les agents basés sur de grands modèles de langage (LLM) puissent explorer efficacement lorsqu'ils interagissent entre eux. Nous montrons que les agents LLM modernes n'y parviennent pas, affichant souvent des schémas d'interaction myopes et polarisés qui conduisent à une coordination sous-optimale et à un regret accru. Nous formalisons ce défi comme le problème d'Exploration Multi-Agents, en le modélisant comme un problème de jeu stochastique partiellement observable (POSG) dans lequel les agents doivent sonder leurs pairs pour inférer leurs capacités et identifier des stratégies d'interaction efficaces. Pour y remédier, nous introduisons l'Exploration Contextuelle Multi-Agents (MACE), un cadre léger qui favorise explicitement l'exploration via une sélection structurée des pairs. Dans des contextes de diversité à la fois contextuelle et paramétrique, MACE améliore considérablement le comportement d'exploration et les performances des tâches en aval. Nous montrons en outre théoriquement que la valeur de l'exploration augmente avec la diversité des agents. Dans l'ensemble, nos résultats mettent en lumière une limitation fondamentale des agents LLM actuels et soulignent l'importance d'une exploration explicitement guidée pour une autonomie multi-agents fiable. Le code sera publié à l'adresse https://github.com/deeplearning-wisc/mace.
Comprendre comment les fonctions cognitives complexes sont organisées au sein des systèmes artificiels est essentiel pour interpréter les grands modèles de langage (LLMs) et les relier à la cognition biologique. Pourtant, bien que les LLMs présentent des comportements largement analogues à la cognition, il reste incertain si leurs représentations internes forment des systèmes fonctionnels reproductibles qui expliquent le comportement, les défaillances et les liens avec la cognition humaine. Nous présentons ici NeuroCogMap, un cadre inspiré des neurosciences cognitives qui organise les caractéristiques internes des LLMs en parcelles fonctionnelles et les relie à des fonctions interprétables, des capacités cognitives et une hiérarchie cognitive. Ces parcelles forment une organisation stable et sémantiquement cohérente, partiellement conservée d'un modèle à l'autre, et fonctionnellement liée aux sorties du modèle. Au sein de cette organisation, les principales défaillances des LLMs, notamment l'hallucination, le biais, l'échec de refus et la sycophanterie, correspondent à des perturbations distinctes des systèmes de représentation et de contrôle comportemental, fournissant des signatures internes pour une détection guidée par les mécanismes et une intervention ciblée. Au-delà du comportement des modèles, NeuroCogMap améliore la prédiction des réponses corticales humaines lors de la compréhension naturaliste du langage, avec la correspondance la plus forte dans le cortex d'association supérieur. Au niveau cognitif, ses signatures internes révèlent des stratégies latentes qui guident les affinements des modèles classiques de prise de décision humaine. Ensemble, ces résultats établissent NeuroCogMap comme un cadre au niveau système pour cartographier l'organisation fonctionnelle dans les systèmes artificiels et pour relier cette organisation à la fonction corticale humaine et au comportement cognitif.
Les modèles de langue sont de plus en plus utilisés pour la prise de décision morale dans divers contextes linguistiques et culturels, mais les travaux existants négligent la multilingualité sous trois aspects : 1) les benchmarks d'évaluation multilingues reposent sur une traduction directe, échouant à adapter les éléments spécifiques à une culture ; 2) les méthodes au moment de l'inférence pour le raisonnement moral s'appuient sur des scaffolds statiques et centrés sur l'anglais, sans ancrage dans la théorie morale ; 3) les méthodes d'entraînement pour la prise de décision morale nécessitent généralement une supervision coûteuse provenant de modèles plus puissants ou d'annotateurs humains. Nous comblons ces lacunes avec trois contributions. Premièrement, nous présentons MCLASH, un benchmark multilingue de prise de décision morale conçu pour saisir les intuitions morales situées culturellement et les normes sociales à travers les langues. Deuxièmement, nous proposons MET (Multilingual Ethics with Theory-grounded reasoning), une méthode de prompting en deux étapes fondée sur des bases théoriques élaborées par des experts, issues de la psychologie et de la philosophie : le modèle sélectionne d'abord des fondements spécifiques à la situation et à la culture, puis raisonne sur ceux-ci dans la langue maternelle de l'utilisateur. Troisièmement, nous introduisons MET-D (MET-Distillation), qui améliore la deuxième étape grâce à une phase d'entraînement par auto-distillation ne nécessitant aucune supervision externe. MET-D améliore le macro-F1 par rapport au modèle de base sur les trois modèles de tailles et de familles différentes (Qwen3-4B, Qwen3-8B, Gemma3-4B), avec une moyenne de 3,71 points sur MCLASH et de 4,23 sur MMoralExceptQA, et un gain maximal sur MCLASH de 12,94 points pour le malais sur Qwen3-8B. Nous révélons en outre que MET-D augmente le raisonnement en langue maternelle de 62,13 points en moyenne, et que les fondements bénéfiques diffèrent systématiquement selon les cultures. Ensemble, ces contributions ouvrent la voie à un raisonnement moral multilingue aligné sur les cultures et ancré dans la théorie.
L’essayage virtuel (VTO) a réalisé des progrès significatifs dans le transfert réaliste de vêtements sur une personne cible. Pourtant, la plupart des systèmes offrent peu de contrôle à l’utilisateur sur la façon dont un vêtement doit être porté — sa taille (ajustée ou ample), son style (par exemple, rentré ou non, ouvert ou fermé) et son placement spatial sur le corps. Nous comblons cette lacune avec deux contributions complémentaires. Premièrement, nous définissons et résolvons la segmentation par prompt visuel-instance via VIP-SAM : à partir d’une image à plat d’un vêtement, segmenter cette instance spécifique dans une photographie d’une personne le portant. Il s’agit d’une tâche au niveau de l’instance, distincte de la segmentation au niveau de la catégorie habituellement étudiée. Deuxièmement, nous présentons CtrlVTON, un cadre d’essayage contrôlable qui reformule l’essayage comme un problème d’édition d’image et ajoute des masques de segmentation comme contrôle au niveau du pixel sur la disposition du vêtement, incluant style, taille et placement spatial sur le corps. VIP-SAM et CtrlVTON obtiennent chacun des résultats à l’état de l’art sur leurs tâches respectives. En particulier, CtrlVTON génère des images qui suivent les dispositions fournies par l’utilisateur bien plus fidèlement que les systèmes d’édition propriétaires les plus puissants, tout en les égalant en matière de fidélité du vêtement.
Les récents modèles de génération d'images et de vidéos fondateurs offrent une forte généralisation et une grande contrôlabilité, mais leur application directe à des scénarios incarnés est limitée par les exigences de cohérence multi-vue, de cohérence géométrique et de contraintes liées à l'incarnation robotique. Les méthodes existantes adaptent généralement ces modèles fondateurs avec des données robotiques limitées, sacrifiant souvent les connaissances visuelles acquises lors du pré-entraînement à grande échelle. Nous présentons Xiaomi-Robotics-U0, un modèle autorégressif multimodal de 38 milliards de paramètres pour une synthèse incarnée unifiée. Il traite la génération incarnée comme une extension de la génération d'images et de vidéos fondatrice et optimise conjointement la génération texte-à-image, l'édition d'images, la génération de scènes incarnées, le transfert incarné et la génération de vidéos incarnées. Ce cadre unifié préserve la généralisation du modèle de monde fondateur pré-entraîné tout en l'adaptant aux contextes incarnés. Xiaomi-Robotics-U0 est le premier modèle à prendre en charge la génération de scènes multi-vue de haute qualité à travers de multiples incarnations robotiques et à introduire un transfert incarné structuré et contrôlable pour une édition fine tout en préservant la cohérence multi-vue et la dynamique d'interaction. Il atteint des résultats de pointe sur des tâches de génération en une seule étape et séquentielles, surpassant GPT-Image-2.0 dans les évaluations humaines de la génération et du transfert de scènes incarnées, se classant premier sur World Arena pour la génération de vidéos incarnées, et améliorant le taux de réussite hors distribution de pi_0.5 de 36,9 % à 63,2 % sur des tâches de manipulation du monde réel difficiles. Ces résultats montrent que les modèles de monde fondateurs peuvent servir à la fois de modèles de monde incarnés et de moteurs de données évolutifs pour l'intelligence incarnée. Le code et les points de contrôle sont disponibles à l'adresse https://robotics.xiaomi.com/xiaomi-robotics-u0.html.
Générer et éditer le visage d’une personne exige une grande précision, car même des modifications mineures peuvent altérer significativement l’identité perçue du sujet. Cependant, les méthodes actuelles de personnalisation et d’édition reposant sur des modèles texte-image à usage général manquent souvent de la précision nécessaire pour des modifications faciales à grain fin. Nous présentons une méthode d’ajustement d’identité à grain fin dans les modèles de personnalisation texte-image. Contrairement à l’édition d’image standard, qui opère sur une image donnée, l’ajustement d’identité modifie la représentation latente d’une identité spécifique, permettant ainsi de générer des images variées représentant de manière cohérente la même identité éditée. Pour permettre un ajustement latent d’identité à grain fin, nous explorons l’espace latent d’un encodeur pré-entraîné et gelé pour la personnalisation texte-image. Notre approche ne nécessite aucun entraînement supplémentaire. Elle exploite plutôt l’architecture existante d’un encodeur gelé pour découvrir des directions sémantiques latentes. Cet espace est constitué d’un ensemble de tokens latents qui jouent des rôles distincts dans la capture de différents aspects d’une identité et correspondent souvent à des régions faciales spatiales ou sémantiques spécifiques. Nous montrons que des directions pertinentes peuvent être identifiées dans cet espace ainsi que dans des sous-espaces définis par des tokens sélectionnés, permettant des modifications localisées, à grain fin et sémantiquement cohérentes. Nous validons notre approche par des expériences qualitatives et quantitatives qui démontrent diverses modifications faciales localisées tout en préservant la cohérence d’identité entre les images. Page du projet : https://garibida.github.io/IdentityTuning/
Ce travail explore le transfert de mouvement d'une vidéo à une autre, un aspect crucial de l'animation pour des personnages variés. Auparavant, le transfert de mouvement vidéo a été largement étudié entre humains et personnages humanoïdes, permettant de nombreuses applications dans la création numérique. Cependant, ces approches rencontrent une limitation majeure. Plus précisément, les pipelines techniques associés reposent fortement sur une structure squelettique humaine prédéfinie et exigent en conséquence un entraînement de modèle conditionné par le squelette. D'une part, ces méthodes sont difficiles à généraliser à des personnages divers, tels que des animaux d'espèces différentes, tout en préservant leurs styles de mouvement uniques. D'autre part, les données annotées pour divers squelettes sont limitées, ce qui restreint également l'entraînement à grande échelle pour cette tâche. Dans cet article, nous sortons du cadre du transfert de mouvement basé sur le squelette et proposons un cadre de transfert de mouvement sans entraînement, nommé Motion4Motion. Motion4Motion modélise le flux de mouvement du personnage dans une vidéo plutôt que son squelette, ce qui facilite le transfert de mouvement entre espèces. Des résultats expérimentaux étendus et des applications novatrices montrent que nos méthodes surpassent nettement les méthodes de référence. Une page projet est disponible à l'adresse https://lhchen.top/Motion4Motion.
L'appariement de flots (flow matching) sur des représentations latentes soigneusement conçues est récemment devenu un paradigme puissant pour la génération de maillages respectueux de la topologie. Cependant, les approches existantes modélisent conjointement les sommets et la connectivité dans un espace latent commun, ce qui enchevêtre la géométrie continue des sommets et la structure combinatoire discrète ; cela complique l'apprentissage du flot et se manifeste par une dérive des sommets et des surfaces brisées. Nous présentons LATO.2, un cadre d'appariement de flots factorisé qui décompose la génération de maillage en un flot de sommets suivi d'un flot de connectivité conditionné par les sommets réalisés, les deux étapes étant ancrées à un échafaudage voxel grossier partagé. Des VAE dédiés sous-tendent les deux étapes, récupérant les sommets avec une précision sub-voxel et intégrant la connectivité discrète dans un espace latent continu. Nous démontrons deux avantages propres à cette factorisation : (i) la génération par parties, où l'échafaudage est partitionné et chaque partie synthétisée à pleine capacité latente, produisant des maillages de résolution nettement plus élevée qu'un latent monolithique ne le permet ; et (ii) l'édition adaptative à la topologie, où la manipulation des sommets de la première étape induit la connectivité correspondante sans réoptimisation. Les expériences montrent que LATO.2 surpasse les générateurs de maillage topologiquement informés de pointe en termes de fidélité géométrique et de qualité de la connectivité.
Pourquoi l'apprentissage contrastif avec des images simples et des augmentations produit-il des représentations utiles pour des tâches en aval ? Nous abordons cette question en calculant analytiquement la représentation optimale selon une fonction de perte contrastive pour une gamme d'augmentations de base et pour tout ensemble de données d'images à statistiques stationnaires. Nous montrons que pour certaines augmentations, l'optimum peut être atteint par un CNN dont la première couche de filtres est constituée de sinusoïdes, suivie d'une non-linéarité ponctuelle, d'un pooling moyen global, et d'une couche linéaire finale effectuant un blanchiment partiel. Nous montrons également que les poids optimaux dans de tels CNN pour des augmentations plus complexes restent des sinusoïdes. Les fréquences des sinusoïdes et leurs poids peuvent être calculés à l'aide d'un simple algorithme de remplissage d'eau, en fonction du spectre de puissance attendu de l'ensemble de données. Des expériences avec différents ensembles de données d'images et d'augmentations montrent que de tels CNN, entraînés par SGD, apprennent empiriquement des sinusoïdes dans leur première couche et effectuent un blanchiment partiel.
Les grands modèles de langage vidéo (Video LLM) actuels excellent dans la réponse aux questions (QA), mais fonctionnent en grande partie comme des boîtes noires, fournissant des réponses textuelles sans ancrage visuel vérifiable. Les efforts d'explicabilité existants reposent sur des justifications textuelles ou des boîtes englobantes clairsemées, qui peinent à capturer les dynamiques vidéo complexes telles que les occlusions et les déformations non rigides. Nous proposons la Réponse aux Questions Vidéo Étayée par des Preuves (E-VQA), une nouvelle tâche qui exige des modèles qu'ils produisent conjointement une réponse sémantique et des preuves spatio-temporelles précises : des segments temporels et des masques de segmentation denses et suivis par objet (masklets). Pour soutenir cette tâche, nous introduisons ST-Evidence, le premier benchmark vérifié par des humains pour un ancrage au niveau pixel à la fois discriminatif et génératif. Les évaluations des modèles de pointe révèlent un découplage critique entre la précision en QA et la perception visuelle réelle, que le simple passage à l'échelle ne parvient pas à combler. Pour y remédier, nous développons des pipelines de génération automatisés et évolutifs afin de créer ST-Evidence-Instruct, un jeu de données à l'échelle de 160k qui relie le raisonnement de haut niveau à un ancrage fin. L'affinage de Video LLM ancrés sur ces données produit des gains substantiels par rapport aux modèles de base UnPixel de taille équivalente (par exemple, +27,2 en t-mean et +13,8 en J&F sur un modèle 7B), établissant une base de référence robuste pour une compréhension vidéo explicable et étayée par des preuves. Le code et les données sont disponibles à l’adresse https://github.com/SalesforceAIResearch/EVQA.