Articles de recherche IA sélectionnés quotidiennement avec traductions
Le décodage spéculatif accélère la génération autorégressive en permettant à un modèle d'ébauche léger de proposer des tokens futurs qu'un modèle cible plus grand vérifie ensuite en parallèle. En pratique, cependant, les modèles d'ébauche sont généralement entraînés sur des corpus génériques étendus, ce qui laisse incertaine la mesure dans laquelle la qualité du décodage spéculatif dépend de la distribution d'entraînement de l'ébauche. Nous étudions cette question avec des ébauches légères HASS et EAGLE-2 entraînées sur MathInstruct, ShareGPT et des variantes à données mixtes, évaluées sur MT-Bench, GSM8K, MATH-500 et SVAMP. Mesurée par la longueur d'acceptation, l'entraînement spécifique à une tâche confère une spécialisation nette : les ébauches entraînées sur MathInstruct sont les plus performantes sur les benchmarks de raisonnement, tandis que celles entraînées sur ShareGPT le sont sur MT-Bench. L'entraînement sur données mixtes améliore la robustesse, mais des mélanges plus importants ne dominent pas à travers les températures de décodage. Nous étudions également comment combiner des ébauches spécialisées au moment de l'inférence. La moyenne naïve des checkpoints donne de mauvais résultats, tandis qu'un routage basé sur la confiance s'avère supérieur aux ébauches à domaine unique et que la vérification par arbre fusionné produit la longueur d'acceptation globale la plus élevée pour les deux architectures. Enfin, la confiance est un signal de routage plus utile que l'entropie : les tokens rejetés tendent à avoir une entropie plus élevée, mais la confiance produit des décisions de routage au niveau du benchmark beaucoup plus nettes. Ces résultats montrent que la qualité du décodage spéculatif dépend non seulement de l'architecture de l'ébauche, mais aussi de l'adéquation entre les données d'entraînement de l'ébauche et la charge de travail en aval, et que les ébauches spécialisées sont mieux combinées au moment de l'inférence que dans l'espace des poids.
Les systèmes autonomes capables de générer des hypothèses scientifiques, de mener des expériences et de rédiger des manuscrits sont récemment apparus comme un paradigme prometteur pour accélérer les découvertes. Cependant, les scientifiques IA existants restent largement agnostiques au domaine, limitant leur applicabilité à la médecine clinique, où la recherche doit s'appuyer sur des preuves médicales avec des modalités de données spécialisées. Dans ce travail, nous présentons Medical AI Scientist, le premier cadre de recherche autonome conçu spécifiquement pour la recherche clinique autonome. Il permet une idéation cliniquement fondée en transformant la littérature minutieusement examinée en preuves actionnables grâce à un mécanisme de co-raisonnement clinicien-ingénieur, qui améliore la traçabilité des idées de recherche générées. Il facilite en outre la rédaction de manuscrits fondés sur des preuves, guidée par des conventions structurelles de composition médicale et des politiques éthiques. Le cadre opère selon 3 modes de recherche : la reproduction basée sur des articles, l'innovation inspirée par la littérature et l'exploration dirigée par des tâches, chacun correspondant à un niveau distinct d'investigation scientifique automatisée avec une autonomie croissante. Des évaluations complètes par des grands modèles de langage et des experts humains démontrent que les idées générées par le Medical AI Scientist sont de qualité substantiellement supérieure à celles produites par des LLM commerciaux sur 171 cas, 19 tâches cliniques et 6 modalités de données. Parallèlement, notre système atteint une forte adéquation entre la méthode proposée et son implémentation, tout en affichant des taux de réussite significativement plus élevés dans les expériences exécutables. Des évaluations en double aveugle par des experts humains et le Stanford Agentic Reviewer indiquent que les manuscrits générés approchent la qualité des publications MICCAI, tout en dépassant systématiquement ceux des conférences ISBI et BIBM. Le Medical AI Scientist proposé souligne le potentiel de l'exploitation de l'IA pour la découverte scientifique autonome dans le domaine de la santé.
Les modèles récents de génération d'images ont démontré d'impressionnantes capacités à produire des images à haute fidélité et photoréalistes. Cependant, ils sont fondamentalement limités par des connaissances internes figées, échouant souvent sur des scénarios réels nécessitant une connaissance intensive ou des informations actualisées. Dans cet article, nous présentons Gen-Searcher, comme première tentative d'entraîner un agent de génération d'images augmenté par recherche, qui effectue un raisonnement multi-sauts et des recherches pour collecter les connaissances textuelles et images de référence nécessaires à une génération fondée. Pour y parvenir, nous construisons un pipeline de données spécifique et constituons deux jeux de données de haute qualité, Gen-Searcher-SFT-10k et Gen-Searcher-RL-6k, contenant des instructions diverses nécessitant une recherche intensive et les images de synthèse correspondantes. Nous introduisons également KnowGen, un benchmark complet exigeant explicitement des connaissances externes ancrées dans la recherche pour la génération d'images et évaluant les modèles sous multiples dimensions. Sur la base de ces ressources, nous entraînons Gen-Searcher avec SFT suivi d'un apprentissage par renforcement agentique avec rétroaction double récompense, combinant des récompenses textuelles et visuelles pour fournir des signaux d'apprentissage plus stables et informatifs pour l'entraînement GRPO. Les expériences montrent que Gen-Searcher apporte des gains substantiels, améliorant Qwen-Image d'environ 16 points sur KnowGen et 15 points sur WISE. Nous espérons que ces travaux serviront de fondation ouverte pour les agents de recherche en génération d'images, et nous ouvrons entièrement nos données, modèles et code.
Les systèmes multi-agents composés de grands modèles génératifs évoluent rapidement de prototypes de laboratoire vers des déploiements réels, où ils planifient conjointement, négocient et allouent des ressources partagées pour résoudre des tâches complexes. Bien que ces systèmes promettent une évolutivité et une autonomie sans précédent, leurs interactions collectives engendrent également des modes de défaillance qui ne peuvent être réduits aux agents individuels. Comprendre ces risques émergents est donc crucial. Nous présentons ici une étude pionnière de ce risque multi-agent émergent dans des flux de travail impliquant la concurrence pour des ressources partagées (par exemple, des ressources informatiques ou des parts de marché), une collaboration séquentielle avec transfert (où les agents en aval ne voient que les sorties des prédécesseurs), l'agrégation collective de décisions, entre autres. Dans ces contextes, nous observons que ces comportements de groupe surviennent fréquemment au cours d'essais répétés et dans une large gamme de conditions d'interaction, plutôt que comme des cas rares ou pathologiques. En particulier, des phénomènes tels qu'une coordination semblable à une collusion et le conformisme émergent avec une fréquence non négligeable sous des contraintes de ressources réalistes, des protocoles de communication et des attributions de rôles, reflétant des pathologies bien connues dans les sociétés humaines bien qu'aucune instruction explicite ne soit donnée. De plus, ces risques ne peuvent être prévenus par les sauvegardes existantes au niveau des agents seules. Ces résultats révèlent la face sombre des systèmes multi-agents intelligents : un risque d'intelligence sociale où les collectifs d'agents, bien que non programmés pour le faire, reproduisent spontanément des schémas d'échec familiers des sociétés humaines.
Les technologies à usage général ne transforment pas les économies en améliorant simplement des outils individuels, mais plutôt en permettant de nouvelles façons d'organiser la production et la coordination. Nous pensons que les agents d'IA approchent d'un point d'inflexion similaire : alors que les modèles de fondation rendent l'exécution de tâches étendues et l'utilisation d'outils de plus en plus accessibles, la contrainte principale se déplace des capacités brutes vers la manière dont le travail est délégué, vérifié et récompensé à grande échelle. Nous présentons EpochX, une infrastructure de marché native en crédits pour les réseaux de production humains-agents. EpochX traite les humains et les agents comme des participants pairs pouvant publier des tâches ou s'en attribuer. Les tâches attribuées peuvent être décomposées en sous-tâches et exécutées via un workflow de livraison explicite avec vérification et acceptation. Fait crucial, EpochX est conçu pour que chaque transaction finalisée puisse produire des actifs réutilisables pour l'écosystème, incluant des compétences, des workflows, des traces d'exécution et de l'expérience distillée. Ces actifs sont stockés avec une structure de dépendance explicite, permettant leur récupération, leur composition et une amélioration cumulative dans le temps. EpochX introduit également un mécanisme de crédit natif pour rendre la participation économiquement viable face aux coûts réels de calcul. Les crédits verrouillent les primes des tâches, délèguent les budgets, règlent les récompenses après acceptation et compensent les créateurs lorsque des actifs vérifiés sont réutilisés. En formalisant le modèle de transaction de bout en bout ainsi que ses couches d'actifs et d'incitations, EpochX replace l'IA agentique comme un problème de conception organisationnelle : construire des infrastructures où le travail vérifiable laisse des artefacts persistants et réutilisables, et où les flux de valeur soutiennent une collaboration humaine-agent durable.
Les mécanismes d'attention éparse au niveau token, illustrés par l'attention éparse DeepSeek (DSA), réalisent une sélection fine des clés en évaluant chaque token historique pour chaque requête à l'aide d'un indexeur léger, puis en calculant l'attention uniquement sur le sous-ensemble sélectionné. Bien que l'attention éparse en aval soit efficacement scalable, l'indexeur doit encore parcourir l'intégralité du préfixe pour chaque requête, introduisant un goulot d'étranglement en O(L²) par couche qui devient prohibitif avec l'augmentation de la longueur du contexte. Nous proposons HISA (Hierarchical Indexed Sparse Attention), un remplacement direct de l'indexeur qui transforme le processus de recherche d'un balayage token plat en une procédure hiérarchique à deux étapes. Premièrement, un filtre grossier au niveau des blocs évalue des représentants agrégés de blocs pour éliminer les régions non pertinentes. Ensuite, un raffinement au niveau token applique l'indexeur original uniquement dans les blocs candidats restants. HISA préserve le motif de sparsité top-k exact au niveau token requis par l'opérateur Sparse MLA en aval et ne nécessite aucun entraînement supplémentaire. Sur des benchmarks au niveau noyau, HISA atteint une accélération de 2 fois pour un contexte de 32K tokens et de 4 fois pour 128K. Sur Needle-in-a-Haystack et LongBench, nous remplaçons directement l'indexeur de DeepSeek-V3.2 par HISA, sans aucun ajustement fin. HISA correspond étroitement à la qualité de la DSA originale tout en surpassant significativement les bases de référence à sparsité par blocs. De plus, les ensembles de sélection de tokens produits par HISA et la DSA originale présentent un IoU moyen supérieur à 99 %, indiquant que les gains d'efficacité s'accompagnent d'un impact quasi nul sur la fidélité de la sélection.
L'ajustement continu multimodal d'instructions vise à améliorer continuellement les grands modèles de vision et de langage (LVLM) en apprenant à partir de nouvelles données sans oublier les connaissances précédemment acquises. Les architectures de mélange d'experts (MoE) facilitent naturellement cette approche en ajoutant de nouveaux experts et en étendant les routeurs de manière incrémentale tout en gelant les existants. Cependant, malgré l'isolation des experts, les apprenants continus basés sur MoE souffrent toujours d'oubli en raison de la dérive du routage : les jetons des anciennes tâches sont incorrectement attirés vers les nouveaux experts, dégradant les performances sur les tâches antérieures. Nous analysons le mode d'échec au niveau du jeton et révélons le dilemme du jeton : les jetons ambigus et anciens dans les données des nouvelles tâches offrent un bénéfice d'apprentissage minime tout en induisant l'oubli lorsqu'ils sont routés vers de nouveaux experts, en raison de leur attribution de routage ambiguë pendant l'entraînement. Motivés par cette observation, nous proposons LLaVA-DyMoE, un framework MoE dynamique qui étend progressivement le MoE avec une attribution de jetons consciente de la dérive. Nous caractérisons les types de jetons via leurs distributions de scores de routage et appliquons une régularisation ciblée. Spécifiquement, un guide d'attribution au niveau du jeton dirige les jetons ambigus et anciens loin des nouveaux experts pour préserver les schémas de routage établis et atténuer la dérive du routage, tandis que des régularisations complémentaires des scores de routage imposent une séparation entre groupes d'experts et favorisent la spécialisation des nouveaux experts. Des expériences approfondies démontrent que notre LLaVA-DyMoE atténue efficacement l'oubli induit par la dérive du routage, obtenant un gain de plus de 7 % en précision moyenne finale et une réduction de 12 % de l'oubli par rapport aux méthodes de référence. La page du projet est https://zhaoc5.github.io/DyMoE.
Les récents progrès en édition d'images ont permis aux modèles de traiter des instructions complexes avec un réalisme impressionnant. Cependant, les cadres d'évaluation existants accusent un retard : les benchmarks actuels souffrent d'une couverture de tâches limitée, tandis que les métriques standard ne parviennent pas à capturer adéquatement la cohérence visuelle, c'est-à-dire la préservation de l'identité, de la structure et de la cohérence sémantique entre les images éditées et originales. Pour remédier à ces limitations, nous présentons GEditBench v2, un benchmark complet comprenant 1 200 requêtes utilisateur réelles couvrant 23 tâches, incluant une catégorie à ensemble ouvert dédiée aux instructions d'édition non contraintes et hors distribution au-delà des tâches prédéfinies. De plus, nous proposons PVC-Judge, un modèle d'évaluation par paires open-source pour la cohérence visuelle, entraîné via deux nouvelles pipelines de synthèse de données de préférence à régions découplées. Par ailleurs, nous construisons VCReward-Bench en utilisant des paires de préférence annotées par des experts pour évaluer l'alignement de PVC-Judge avec les jugements humains sur l'évaluation de la cohérence visuelle. Les expériences montrent que notre PVC-Judge atteint des performances d'évaluation à la pointe parmi les modèles open-source et dépasse même GPT-5.1 en moyenne. Enfin, en évaluant 16 modèles d'édition de pointe, nous montrons que GEditBench v2 permet une évaluation plus alignée sur l'humain, révélant des limitations critiques des modèles actuels et fournissant une base fiable pour faire progresser l'édition d'images précise.
Bien que les modèles vision-langage (VLM) bénéficient d'un entraînement à grande échelle pour obtenir une compréhension robuste des images et vidéos, leur capacité à effectuer un raisonnement spatial dans des scènes statiques et des vidéos dynamiques reste limitée. Des travaux récents tentent de pallier cette limite en injectant des tokens géométriques issus de modèles de fondation 3D préentraînés dans les VLM. Cependant, nous observons que la fusion naïve de tokens suivie d'un fine-tuning standard dans ces approches sous-utilise souvent ces indices géométriques pour le raisonnement spatial, car les VLM ont tendance à s'appuyer massivement sur des indices visuels 2D. Dans cet article, nous proposons GeoSR, un cadre conçu pour donner de l'importance à la géométrie en encourageant les VLM à raisonner activement avec les tokens géométriques. GeoSR introduit deux composants clés : (1) le Masquage Libérateur de Géométrie, qui masque stratégiquement une partie des tokens visuels 2D pendant l'entraînement pour affaiblir les raccourcis non géométriques et forcer le modèle à consulter les tokens géométriques pour le raisonnement spatial ; et (2) la Fusion Guidée par la Géométrie, un mécanisme de routage conditionné qui amplifie adaptativement la contribution des tokens géométriques dans les régions où l'évidence géométrique est critique. Ensemble, ces conceptions libèrent le potentiel des tokens géométriques pour les tâches de raisonnement spatial. Des expériences approfondies sur des benchmarks de raisonnement spatial statique et dynamique démontrent que GeoSR surpasse constamment les méthodes antérieures et établit de nouvelles performances de pointe en exploitant efficacement l'information géométrique. La page du projet est disponible à l'adresse https://suhzhang.github.io/GeoSR/.
L'évolution rapide de la génération vidéo a permis aux modèles de simuler des dynamiques physiques complexes et des causalités à long terme, les positionnant comme des simulateurs mondiaux potentiels. Cependant, un écart critique persiste entre la capacité théorique de simulation mondiale et les coûts computationnels élevés de la modélisation spatiotemporelle. Pour y remédier, nous passons en revue de manière exhaustive et systématique les architectures et techniques de génération vidéo qui considèrent l'efficacité comme une exigence cruciale pour une modélisation mondiale pratique. Nous introduisons une nouvelle taxonomie tridimensionnelle : paradigmes de modélisation efficaces, architectures de réseau efficaces et algorithmes d'inférence efficaces. Nous démontrons en outre que combler cet écart d'efficacité habilite directement des applications interactives telles que la conduite autonome, l'IA incarnée et la simulation de jeux. Enfin, nous identifions les nouvelles frontières de recherche dans la modélisation mondiale efficace basée sur la vidéo, en soutenant que l'efficacité est un prérequis fondamental pour faire évoluer les générateurs vidéo en simulateurs mondiaux génériques, en temps réel et robustes.
Les progrès des modèles de diffusion, autorégressifs et hybrides ont permis une synthèse d'images de haute qualité pour des tâches telles que la génération texte-image, l'édition et la composition guidée par référence. Pourtant, les benchmarks existants restent limités : ils se concentrent soit sur des tâches isolées, couvrent des domaines étroits, ou fournissent des scores opaques sans expliquer les modes d'échec. Nous présentons ImagenWorld, un benchmark de 3 600 ensembles de conditions couvrant six tâches principales (génération et édition, avec une ou plusieurs références) et six domaines thématiques (œuvres d'art, images photoréalistes, infographies, graphiques textuels, images de synthèse et captures d'écran). Le benchmark est soutenu par 20 000 annotations humaines granulaires et un schéma d'évaluation explicable qui identifie les erreurs localisées au niveau des objets et des segments, complétant les métriques automatisées basées sur les modèles de vision et langage (VLM). Notre évaluation à grande échelle de 14 modèles révèle plusieurs insights : (1) les modèles éprouvent généralement plus de difficultés dans les tâches d'édition que de génération, particulièrement pour les modifications locales. (2) les modèles excellent dans les contextes artistiques et photoréalistes mais peinent avec les domaines symboliques et riches en texte comme les captures d'écran et les infographies. (3) les systèmes fermés mènent globalement, tandis qu'une curation ciblée des données (par exemple, Qwen-Image) réduit l'écart dans les cas riches en texte. (4) les métriques modernes basées sur les VLM atteignent des précisions de Kendall allant jusqu'à 0,79, approchant le classement humain, mais sont insuffisantes pour une attribution d'erreur granulaire et explicable. ImagenWorld offre à la fois un benchmark rigoureux et un outil de diagnostic pour faire progresser la génération d'images robuste.
Les agents IA alimentés par de grands modèles de langage démontrent de solides capacités de raisonnement et de résolution de problèmes, leur permettant d'assister des tâches de recherche scientifique telles que la dérivation de formules et la génération de code. Cependant, la capacité de ces agents à réaliser de manière fiable une reproduction de bout en bout à partir d'articles scientifiques réels reste une question ouverte. Nous présentons PRBench, un benchmark de 30 tâches sélectionnées par des experts couvrant 11 sous-domaines de la physique. Chaque tâche requiert qu'un agent comprenne la méthodologie d'un article publié, implémente les algorithmes correspondants à partir de zéro, et produise des résultats quantitatifs correspondant à la publication originale. Les agents ne disposent que de l'instruction de la tâche et du contenu de l'article, et opèrent dans un environnement d'exécution sandboxé. Toutes les tâches sont contribuées par des experts du domaine provenant de plus de 20 groupes de recherche de l'École de physique de l'Université de Pékin, chacune étant ancrée dans un article publié réel et validée par une reproduction de bout en bout avec des résultats de référence vérifiés et des grilles d'évaluation détaillées. En utilisant un pipeline d'évaluation agentifié, nous évaluons un ensemble d'agents de codage sur PRBench et analysons leurs capacités selon les dimensions clés du raisonnement scientifique et de l'exécution. L'agent le plus performant, OpenAI Codex alimenté par GPT-5.3-Codex, atteint un score global moyen de 34 %. Tous les agents affichent un taux de succès de rappel de bout en bout de zéro, avec des performances particulièrement faibles en précision des données et en exactitude du code. Nous identifions en outre des modes d'échec systématiques, incluant des erreurs dans l'implémentation des formules, une incapacité à déboguer des simulations numériques et une fabrication de données de sortie. Globalement, PRBench fournit un benchmark rigoureux pour évaluer les progrès vers la recherche scientifique autonome.
Nous présentons Kernel-Smith, un cadre pour la génération haute performance de noyaux GPU et d'opérateurs, qui combine un agent évolutif piloté par l'évaluation stable avec une méthode de post-entraînement orientée évolution. Côté agent, Kernel-Smith maintient une population de candidats exécutables et les améliore itérativement en utilisant un archivage des programmes les plus performants et diversifiés, ainsi qu'un retour d'exécution structuré sur la compilation, l'exactitude et l'accélération. Pour rendre cette recherche fiable, nous construisons des services d'évaluation spécifiques aux backends pour Triton sur les GPU NVIDIA et pour Maca sur les GPU MetaX. Côté entraînement, nous convertissons les trajectoires d'évolution à long terme en signaux de supervision centrés sur les étapes et d'apprentissage par renforcement, en conservant les révisions préservant l'exactitude et à gain élevé, afin que le modèle soit optimisé comme un puissant améliorateur local au sein de la boucle évolutive plutôt que comme un générateur ponctuel. Sous un protocole évolutif unifié, Kernel-Smith-235B-RL atteint des performances globales de pointe sur KernelBench avec le backend Nvidia Triton, obtenant le meilleur ratio d'accélération moyen et surpassant les modèles propriétaires de premier plan, y compris Gemini-3.0-pro et Claude-4.6-opus. Nous validons en outre le cadre sur le backend MetaX MACA, où notre Kernel-Smith-MACA-30B surpasse des contreparties à grande échelle telles que DeepSeek-V3.2-think et Qwen3-235B-2507-think, soulignant un potentiel d'adaptation transparente sur des plates-formes hétérogènes. Au-delà des résultats de référence, le même flux de travail produit des contributions en amont pour les systèmes de production, notamment SGLang et LMDeploy, démontrant que l'optimisation de noyaux pilotée par LLM peut passer d'une évaluation contrôlée à un déploiement pratique.
Comprendre les graphiques nécessite que les modèles raisonnent conjointement sur les motifs visuels géométriques, les données numériques structurées et le langage naturel — une capacité où les modèles vision-langage (VLM) actuels restent limités. Nous présentons ChartNet, un ensemble de données multimodal de haute qualité et à l'échelle du million, conçu pour faire progresser l'interprétation et le raisonnement sur les graphiques. ChartNet tire parti d'un pipeline de synthèse guidé par le code pour générer 1,5 million d'échantillons de graphiques variés couvrant 24 types de graphiques et 6 bibliothèques de tracé. Chaque échantillon se compose de cinq composants alignés : le code de tracé, l'image du graphique rendu, le tableau de données, le résumé en langage naturel et une question-réponse avec raisonnement, offrant un alignement intermodal granulaire. Pour capturer l'ensemble du spectre de la compréhension des graphiques, ChartNet inclut en outre des sous-ensembles spécialisés comprenant des données annotées par des humains, des données réalistes, ainsi que des aspects de sûreté et d'ancrage. De plus, un pipeline rigoureux de filtrage qualité garantit la fidélité visuelle, l'exactitude sémantique et la diversité des représentations graphiques. Le fine-tuning sur ChartNet améliore systématiquement les résultats sur divers benchmarks, démontrant son utilité comme supervision à grande échelle pour les modèles multimodaux. En tant que plus grand ensemble de données open-source de ce type, ChartNet vise à soutenir le développement de modèles fondateurs dotés de capacités robustes et généralisables pour la compréhension des visualisations de données. Le jeu de données est disponible publiquement à l'adresse https://huggingface.co/datasets/ibm-granite/ChartNet.
Les modèles de diffusion modernes de texte-à-image (T2I) ont atteint un alignement sémantique remarquable, mais ils souffrent souvent d'un manque significatif de variété, convergeant vers un ensemble restreint de solutions visuelles pour une instruction donnée. Ce biais de typicalité représente un défi pour les applications créatives qui nécessitent une large gamme de résultats génératifs. Nous identifions un compromis fondamental dans les approches actuelles de la diversité : modifier les entrées du modèle nécessite une optimisation coûteuse pour intégrer les retours du chemin génératif. À l'inverse, agir sur les latents intermédiaires déjà spatialement engagés tend à perturber la structure visuelle en formation, conduisant à des artéfacts. Dans ce travail, nous proposons d'appliquer une répulsion dans l'Espace Contextuel comme nouveau cadre pour atteindre une riche diversité dans les Transformers à Diffusion. En intervenant sur les canaux d'attention multimodale, nous appliquons une répulsion à la volée durant la passe avant du transformer, en injectant l'intervention entre les blocs où le conditionnement textuel est enrichi par la structure d'image émergente. Cela permet de rediriger la trajectoire de guidage après qu'elle est structurellement informée mais avant que la composition ne soit fixée. Nos résultats démontrent que la répulsion dans l'Espace Contextuel produit une diversité significativement plus riche sans sacrifier la fidélité visuelle ou l'adhérence sémantique. De plus, notre méthode est singulièrement efficace, imposant une faible surcharge computationnelle tout en restant performante même dans les modèles modernes "Turbo" et distillés où les interventions traditionnelles basées sur la trajectoire échouent typiquement.
Les agents de recherche approfondie mènent de manière autonome des investigations ouvertes, intégrant une recherche d'informations complexe à un raisonnement multi-étapes à travers des sources diverses pour résoudre des problèmes concrets. Pour maintenir cette capacité sur des tâches à long terme, une vérification fiable est cruciale tant lors de l'entraînement que de l'inférence. Un goulot d'étranglement majeur des paradigmes existants provient de l'absence de mécanismes de vérification explicites dans la synthèse des données de questions-réponses (QA), la construction des trajectoires et la mise à l'échelle lors des tests. Les erreurs introduites à chaque étape se propagent en aval et dégradent les performances globales de l'agent. Pour y remédier, nous présentons Marco DeepResearch, un agent de recherche approfondie optimisé par une conception de cadre axée sur la vérification à trois niveaux : (1)~Synthèse des données QA : Nous introduisons des mécanismes de vérification dans la synthèse QA basée sur les graphes et sur les agents pour contrôler la difficulté des questions tout en garantissant que les réponses sont uniques et correctes ; (2)~Construction de trajectoires : Nous concevons une méthode de synthèse de trajectoires pilotée par la vérification qui injecte des schémas de vérification explicites dans les trajectoires d'entraînement ; et (3)~Mise à l'échelle lors des tests : Nous utilisons Marco DeepResearch lui-même comme vérificateur au moment de l'inférence, améliorant ainsi efficacement les performances sur les questions difficiles. Des résultats expérimentaux approfondis démontrent que notre agent Marco DeepResearch proposé surpasse significativement les agents de recherche approfondie de taille 8B sur la plupart des benchmarks exigeants, tels que BrowseComp et BrowseComp-ZH. Fait crucial, avec un budget maximum de 600 appels d'outils, Marco DeepResearch dépasse ou approche même les performances de plusieurs agents de taille 30B, comme Tongyi DeepResearch-30B.
Les agents de recherche ont récemment réalisé des progrès significatifs dans la recherche d'informations et la synthèse à travers des sources textuelles et visuelles hétérogènes. Dans cet article, nous présentons MuSEAgent, un agent de raisonnement multimodal qui améliore la prise de décision en étendant les capacités des agents de recherche pour découvrir et exploiter des expériences avec état. Plutôt que de s'appuyer sur la récupération d'expériences au niveau trajectoire, nous proposons un paradigme d'apprentissage par expérience avec état qui abstrait les données d'interaction en expériences décisionnelles atomiques via un raisonnement rétrospectif. Ces expériences sont organisées en une banque d'expériences filtrée par qualité qui supporte une récupération d'expériences pilotée par une politique lors de l'inférence. Plus précisément, MuSEAgent permet une exploitation adaptative des expériences grâce à des stratégies de recherche complémentaires larges et profondes, permettant à l'agent de récupérer dynamiquement des guidages multimodaux à travers divers points de vue sémantiques compositionnels. Des expériences approfondies démontrent que MuSEAgent surpasse constamment les bases de référence de récupération d'expériences au niveau trajectoire sur des tâches de perception visuelle fine et de raisonnement multimodal complexe. Ces résultats valident l'efficacité de la modélisation d'expériences avec état pour améliorer le raisonnement des agents multimodaux.
Les modèles de diffusion ont réalisé des progrès significatifs dans la génération texte-image (T2I) et l'édition d'images guidée par texte. Cependant, ces modèles sont généralement construits avec des milliards de paramètres, entraînant une latence élevée et des défis de déploiement accrus. Bien que les modèles de diffusion embarqués améliorent l'efficacité, ils se concentrent largement sur la génération T2I et manquent de prise en charge pour l'édition d'images. Dans cet article, nous proposons DreamLite, un modèle de diffusion unifié compact embarqué (0,39 milliard de paramètres) qui prend en charge à la fois la génération T2I et l'édition d'images guidée par texte au sein d'un réseau unique. DreamLite est construit sur une architecture U-Net mobile élaguée et unifie le conditionnement par concaténation spatiale contextuelle dans l'espace latent. Il concatène horizontalement les images en entrée, utilisant une configuration (cible | vide) pour les tâches de génération et (cible | source) pour les tâches d'édition. Pour stabiliser l'entraînement de ce modèle compact, nous introduisons une stratégie de pré-entraînement conjoint progressif qui cible séquentiellement les tâches T2I, d'édition et conjointes. Après un apprentissage par fine-tuning de haute qualité et un apprentissage par renforcement, DreamLite atteint un score GenEval (0,72) pour la génération d'images et ImgEdit (4,11) pour l'édition d'images, surpassant les modèles embarqués existants et restant compétitif avec plusieurs modèles côté serveur. En employant la distillation d'étapes, nous réduisons encore le traitement de débruitage à seulement 4 étapes, permettant à DreamLite de générer ou modifier une image 1024 x 1024 en moins d'une seconde sur un smartphone Xiaomi 14. À notre connaissance, DreamLite est le premier modèle de diffusion unifié embarqué qui prend en charge à la fois la génération et l'édition d'images.
La génération de manuscrits scientifiques nécessite de maintenir un alignement entre le raisonnement narratif, les preuves expérimentales et les artefacts visuels tout au long du cycle de vie du document. Les pipelines de génération par modèles de langage existants reposent sur une synthèse de texte non contrainte avec une validation appliquée uniquement après la génération, produisant souvent des dérives structurelles, des figures ou tableaux manquants, et des incohérences entre les sections. Nous présentons Story2Proposal, un cadre multi-agents régulé par contrat qui convertit un récit de recherche en un manuscrit structuré via des agents coordonnés opérant sous un contrat visuel partagé persistant. Le système organise des agents architecte, rédacteur, affineur et rendu autour d'un état contractuel qui suit la structure des sections et les éléments visuels enregistrés, tandis que des agents d'évaluation fournissent des retours dans une boucle générer-évaluer-adapter qui met à jour le contrat durant la génération. Les expériences sur des tâches dérivées du corpus de recherche Jericho montrent que Story2Proposal a obtenu un score d'évaluation expert de 6,145 contre 3,963 pour DirectChat (+2,182) sur des moteurs GPT, Claude, Gemini et Qwen. Comparé à la baseline de génération structurée Fars, Story2Proposal a obtenu un score moyen de 5,705 contre 5,197, indiquant une meilleure cohérence structurelle et un meilleur alignement visuel.
Les modèles de langage multimodaux de grande taille (MLLM) améliorent leur compréhension visuelle en augmentant la fidélité des entrées, mais la croissance résultante des tokens visuels rend prohibitif le maintien simultané d'une haute résolution spatiale et d'un long contexte temporel. Nous soutenons que le goulot d'étranglement ne réside pas dans la compression des représentations post-encodage, mais dans le volume de pixels que l'encodeur reçoit. Nous résolvons ce problème avec ResAdapt, un cadre d'adaptation côté entrée qui apprend quel budget visuel chaque image devrait recevoir avant l'encodage. ResAdapt couple un Allocateur léger avec un backbone MLLM inchangé, permettant au backbone de conserver son interface native de tokens visuels tout en recevant une entrée transformée par l'opérateur. Nous formulons l'allocation comme un bandit contextuel et entraînons l'Allocateur avec l'Optimisation de Politique Sensible au Coût (CAPO), qui convertit les retours d'évaluation épars en un signal d'apprentissage stable precision-coût. Sur des tâches contrôlées par le budget telles que le QA vidéo, l'ancrage temporel et le raisonnement sur images, ResAdapt améliore les points de fonctionnement à faible budget et se situe souvent sur ou près de la frontière efficacité-précision, avec les gains les plus nets sur les benchmarks intensifs en raisonnement sous compression agressive. Notablement, ResAdapt supporte jusqu'à 16 fois plus d'images à budget visuel égal tout en offrant un gain de performance supérieur à 15 %. Le code est disponible à l'adresse https://github.com/Xnhyacinth/ResAdapt.
La synthèse du mouvement humain a progressé rapidement, mais le mouvement réaliste des mains et l’interaction bimanuelle restent peu explorés. Les modèles du corps entier négligent souvent les indices fins qui régissent les comportements dextres, l’articulation des doigts, la synchronisation des contacts et la coordination entre les mains, tandis que les ressources existantes manquent de séquences bimanuelles de haute fidélité capturant la dynamique nuancée des doigts et leur collaboration. Pour combler cette lacune, nous présentons HandX, une fondation unifiée couvrant les données, l’annotation et l’évaluation. Nous consolidons et filtrons des jeux de données existants pour en garantir la qualité, et collectons un nouveau jeu de données de capture de mouvement ciblant les interactions bimanuelles sous-représentées, avec une dynamique détaillée des doigts. Pour une annotation scalable, nous introduisons une stratégie découplée qui extrait des caractéristiques motionnelles représentatives, telles que les événements de contact et la flexion des doigts, puis utilise le raisonnement des grands modèles de langage pour produire des descriptions granulaires et sémantiquement riches alignées sur ces caractéristiques. En nous appuyant sur les données et annotations résultantes, nous évaluons des modèles de diffusion et autogréssifs avec des modes de conditionnement variés. Les expériences démontrent une génération de mouvement dextre de haute qualité, soutenue par nos nouvelles métriques centrées sur la main. Nous observons également des tendances claires de mise à l’échelle : les modèles plus grands, entraînés sur des jeux de données plus vastes et de meilleure qualité, produisent un mouvement bimanuel plus cohérent sémantiquement. Notre jeu de données est publié pour soutenir les recherches futures.
L'évaluation des réponses des LLM en production et le routage des requêtes entre fournisseurs dans les passerelles LLM nécessitent des signaux de qualité granulaires et des décisions opérationnellement fondées. Pour combler cette lacune, nous présentons SEAR, un système d'évaluation et de routage basé sur un schéma pour les passerelles LLM multi-modèles et multi-fournisseurs. SEAR définit un schéma relationnel extensible couvrant à la fois les signaux d'évaluation des LLM (contexte, intention, caractéristiques de la réponse, attribution des problèmes et scores de qualité) et les métriques opérationnelles de la passerelle (latence, coût, débit), avec des liens de cohérence inter-tables sur environ une centaine de colonnes typées et interrogeables en SQL. Pour peupler de manière fiable les signaux d'évaluation, SEAR propose des instructions de signal autonomes, un raisonnement dans le schéma et une génération multi-étapes qui produit des sorties structurées prêtes pour la base de données. Parce que les signaux sont dérivés via un raisonnement LLM plutôt que par des classifieurs superficiels, SEAR capture la sémantique complexe des requêtes, permet des explications de routage interprétables par l'homme et unifie l'évaluation et le routage dans une seule couche de requête. Sur des milliers de sessions de production, SEAR atteint une forte précision des signaux sur des données annotées manuellement et prend en charge des décisions de routage pratiques, y compris des réductions importantes des coûts pour une qualité comparable.
Les progrès récents des grands modèles de langage vidéo (Video-LLM) ont permis un raisonnement hors ligne performant sur des vidéos longues et complexes. Cependant, les déploiements en conditions réelles exigent de plus en plus une perception en flux continu et une interaction proactive, où les images vidéo arrivent en ligne et le système doit décider non seulement de quoi répondre, mais aussi quand répondre. Dans ce travail, nous revisitons l'activation proactive dans le flux vidéo en tant que problème de modélisation de séquences structurées, motivés par l'observation que les transitions temporelles dans le flux vidéo forment naturellement des motifs d'activation structurés en spans temporels. Pour capturer cette structure au niveau des spans, nous modélisons conjointement les signaux d'activation sur une fenêtre temporelle glissante et les mettons à jour de manière itérative à l'arrivée de nouvelles images. Nous proposons STRIDE (Structured Temporal Refinement with Iterative DEnoising), qui utilise un module de diffusion masquée léger à l'interface d'activation pour prédire et raffiner progressivement de manière conjointe les signaux d'activation à travers la fenêtre. Des expériences approfondies sur divers benchmarks de flux continu et modèles en aval démontrent que STRIDE produit des réponses proactives plus fiables et temporellement cohérentes, améliorant significativement la qualité des décisions de quand-parler dans les scénarios de streaming en ligne.
Nous présentons KAT-Coder-V2, un modèle de programmation agentiel développé par l'équipe KwaiKAT de Kuaishou. KAT-Coder-V2 adopte un paradigme « Spécialiser puis Unifier » qui décompose la programmation agentielle en cinq domaines d'expertise - SWE, WebCoding, Terminal, WebSearch et Général - chacun faisant l'objet d'un réglage fin supervisé et d'un apprentissage par renforcement indépendants, avant d'être consolidé en un modèle unique via une distillation sur politique. Nous développons KwaiEnv, une infrastructure modulaire supportant des dizaines de milliers d'instances sandbox concurrentes, et mettons à l'échelle l'entraînement par RL selon la complexité des tâches, l'alignement des intentions et la généralisation des échafaudages. Nous proposons en outre MCLA pour stabiliser l'entraînement RL des MoE et l'Entraînement Arborescent pour éliminer les calculs redondants sur les trajectoires arborescentes avec une accélération allant jusqu'à 6,2x. KAT-Coder-V2 atteint 79,6% sur SWE-bench Verified (contre 80,8% pour Claude Opus), 88,7 sur PinchBench (dépassant GLM-5 et MiniMax M2.7), se classe premier dans les trois scénarios d'esthétique frontale, et maintient des scores généralistes solides sur Terminal-Bench Hard (46,8) et tau^2-Bench (93,9). Notre modèle est disponible publiquement à l'adresse https://streamlake.com/product/kat-coder.
Les appareils mobiles interagissent continuellement avec les stations de base cellulaires, générant d'énormes volumes d'enregistrements de signalisation qui offrent une couverture étendue pour comprendre la mobilité humaine. Cependant, ces enregistrements ne fournissent que des indices de localisation grossiers (par exemple, les identifiants de cellule desservante) et limitent donc leur utilisation directe dans les applications nécessitant des trajectoires GPS de haute précision. Cet article étudie le problème Sig2GPS : la reconstruction de trajectoires GPS à partir de la signalisation cellulaire. S'inspirant du fait que les experts du domaine superposent souvent la trace de signalisation sur une carte et esquissent l'itinéraire GPS correspondant, contrairement aux solutions conventionnelles qui reposent sur des pipelines d'ingénierie multi-étapes complexes ou sur la régression de coordonnées, Sig2GPS est reformulé comme une tâche de génération image-à-vidéo opérant directement dans le domaine visuel cartographique : les traces de signalisation sont rendues sur une carte, et un modèle de génération vidéo est entraîné pour tracer un chemin GPS continu. Pour soutenir ce paradigme, un jeu de données vidéo apparié signalisation-trajectoire est construit pour affiner un modèle vidéo open-source, et une méthode d'optimisation par renforcement tenant compte de la trajectoire est introduite pour améliorer la fidélité de la génération via des récompenses. Les expériences sur des jeux de données réalistes à grande échelle montrent des améliorations substantielles par rapport à des bases de référence solides, qu'elles soient issues de l'ingénierie ou de l'apprentissage automatique, tandis que des résultats supplémentaires sur la prédiction du prochain GPS indiquent une évolutivité et une transférabilité inter-villes. Globalement, ces résultats suggèrent que la génération vidéo cartovisuelle offre une interface pratique pour l'exploration des données de trajectoire en permettant la génération directe et l'affinement de chemins continus sous contraintes cartographiques.
La compression de contexte douce réduit la charge computationnelle du traitement de contextes longs dans les LLM en encodant les contextes étendus en un nombre réduit de tokens latents. Cependant, les cadres existants appliquent des taux de compression uniformes, ne tenant pas compte de la variance extrême de la densité informationnelle du langage naturel. Bien que l'adoption d'un taux de compression dynamique adapté à la densité semble intuitive, les investigations empiriques révèlent que les modèles peinent intrinsèquement avec les opérations paramétrées par des hyperparamètres structurels continus dépendants de l'entrée. Pour résoudre cet écueil, nous introduisons le cadre de Compression de Contexte Semi-Dynamique. Notre approche intègre un Sélecteur de Ratio Discret, qui prédit une cible de compression basée sur la densité informationnelle intrinsèque et la quantifie en un ensemble prédéfini de taux de compression discrets. Il est efficacement entraîné conjointement avec le compresseur sur des données synthétiques, utilisant les longueurs des résumés comme proxy pour créer des étiquettes de prédiction du taux de compression. Des évaluations approfondies confirment que notre cadre adapté à la densité, utilisant le pooling moyen comme architecture de base, surpasse constamment les bases de référence statiques, établissant une frontière de Pareto robuste pour les techniques de compression de contexte. Notre code, données et poids des modèles sont disponibles à l'adresse https://github.com/yuyijiong/semi-dynamic-context-compress.
La capacité de pointage est devenue une compétence fondamentale des modèles vision-langage (VLM). La plupart des VLM existants pointent en générant des coordonnées dans leur sortie textuelle, ce qui nécessite l'apprentissage d'un système de coordonnées complexe et génère un nombre élevé de tokens. Nous proposons plutôt un mécanisme de pointage plus intuitif qui sélectionne directement les tokens visuels contenant le concept cible. Notre modèle génère un token de pointage spécial qui utilise une attention croisée avec les tokens de l'image ou de la vidéo d'entrée pour sélectionner le token approprié. Pour affiner ce modèle, nous faisons suivre ces tokens de pointage par un token spécial supplémentaire qui sélectionne une sous-région granulaire dans la zone initialement sélectionnée, puis par un troisième token qui spécifie un emplacement précis dans cette sous-région. Nous démontrons en outre que les performances s'améliorent en générant les points séquentiellement selon un ordre cohérent, en encodant la position relative du point précédemment sélectionné, et en incluant une classe spéciale "plus-aucun-point" lors de la sélection des tokens visuels. Avec cette méthode, nous établissons un nouvel état de l'art pour le pointage d'images (70,7% sur PointBench), un nouvel état de l'art parmi les modèles entièrement ouverts pour le pointage d'interfaces graphiques (61,1% sur ScreenSpotPro), et améliorons le pointage vidéo (59,1% de taux de préférence humaine contre une baseline textuelle par coordonnées) et le suivi (+6,3% d'amélioration sur Molmo2Track). Nous montrons également que notre méthode atteint une bien meilleure efficacité d'échantillonnage et discutons des différences qualitatives émergeant de cette modification conceptuelle.
Les données se présentent sous de multiples formes. D'un point de vue superficiel, on peut les considérer comme étant soit structurées (par exemple, sous forme de relation, de paires clé-valeur), soit non structurées (par exemple, texte, image). Jusqu'à présent, les machines se sont montrées assez performantes pour traiter et raisonner sur des données structurées suivant un schéma précis. Cependant, l'hétérogénéité des données représente un défi majeur quant à la capacité de stocker et de traiter de manière significative des catégories de données diverses. L'intégration des données, une étape cruciale du processus d'ingénierie des données, répond à ce problème en combinant des sources de données disparates et en fournissant un accès unifié aux données pour les utilisateurs finaux. Jusqu'à présent, la plupart des systèmes d'intégration de données se sont principalement concentrés sur la combinaison de sources de données structurées. Néanmoins, les données non structurées (c'est-à-dire le texte libre) contiennent également une pléthore de connaissances en attente d'utilisation. Ainsi, dans ce chapitre, nous plaidons d'abord en faveur de l'intégration des données textuelles, pour ensuite présenter ses défis, l'état de l'art et les problèmes ouverts.
La perspective d'une superintelligence artificielle – des agents d'IA capables de surpasser généralement les humains dans les tâches cognitives et les activités à valeur économique – transformera l'ordre juridique tel que nous le connaissons. Fonctionnant de manière autonome ou sous seulement un contrôle humain limité, les agents d'IA assumeront un éventail croissant de rôles dans le système juridique. Premièrement, en prenant des décisions importantes et en menant des actions dans le monde réel, les agents d'IA deviendront des sujets de droit de facto. Deuxièmement, pour coopérer et rivaliser avec d'autres acteurs (humains ou non humains), les agents d'IA utiliseront les instruments et institutions juridiques conventionnels tels que les contrats et les tribunaux, devenant ainsi des consommateurs de droit. Troisièmement, dans la mesure où les agents d'IA rempliront les fonctions de rédaction, d'interprétation et d'administration du droit, ils en deviendront les producteurs et les exécutants. Ces évolutions, où qu'elles se produisent in fine, remettront en question des hypothèses fondamentales de la théorie et de la doctrine juridiques, en particulier dans la mesure où elles fondent la légitimité des institutions juridiques sur leurs origines humaines. Les tentatives d'aligner les agents d'IA sur le droit humain existant seront également confrontées à de nouveaux défis, car les agents d'IA ne seront pas seulement une cible principale du droit, mais aussi un utilisateur central et un contributeur au droit. Pour faire face à l'avènement de la superintelligence, les législateurs – nouveaux et anciens – devront faire preuve de lucidité, en reconnaissant à la fois l'opportunité de façonner les institutions juridiques alors que la société se prépare à la superintelligence et la réalité que, à plus long terme, cela pourrait être un effort conjoint humain-IA.
Les modèles récents d'intelligence artificielle (IA) ont égalé ou surpassé des experts humains dans plusieurs benchmarks de performance pour des tâches biomédicales, mais accusent un retard sur les benchmarks d'analyse d'images chirurgicales. La chirurgie nécessitant d'intégrer des tâches disparates – incluant l'intégration de données multimodales, l'interaction humaine et les effets physiques – des modèles d'IA à compétences générales pourraient s'avérer particulièrement attrayants comme outils collaboratifs si leurs performances pouvaient être améliorées. D'un côté, l'approche canonique consistant à augmenter la taille des architectures et les données d'entraînement est séduisante, d'autant plus que des millions d'heures de vidéos chirurgicales sont générées chaque année. De l'autre, la préparation des données chirurgicales pour l'entraînement de l'IA requiert des niveaux d'expertise professionnelle significativement plus élevés, et l'entraînement sur ces données nécessite des ressources computationnelles coûteuses. Ces compromis brossent un tableau incertain quant à la capacité et à la mesure dans laquelle l'IA moderne pourrait aider la pratique chirurgicale. Dans cet article, nous explorons cette question à travers une étude de cas sur la détection d'instruments chirurgicaux en utilisant les méthodes d'IA de pointe disponibles en 2026. Nous démontrons que même avec des modèles de plusieurs milliards de paramètres et un entraînement extensif, les modèles vision-langage actuels échouent dans la tâche apparemment simple de détection des instruments en neurochirurgie. De plus, nos expériences de mise à l'échelle indiquent qu'augmenter la taille des modèles et le temps d'entraînement ne conduit qu'à des améliorations marginales des métriques de performance pertinentes. Ainsi, nos expériences suggèrent que les modèles actuels pourraient encore rencontrer des obstacles significatifs dans les cas d'usage chirurgicaux. Qui plus est, certains obstacles ne peuvent être simplement « contournés par la mise à l'échelle » avec davantage de calcul et persistent à travers diverses architectures de modèles, soulevant la question de savoir si la disponibilité des données et des annotations sont les seuls facteurs limitants. Nous discutons des principales causes de ces contraintes et proposons des solutions potentielles.
La compréhension de vidéos longues reste un défi pour les modèles de langage multimodaux de grande taille (MLLM) en raison des coûts mémoire élevés et des limites de longueur de contexte. Les approches antérieures atténuent ce problème en évaluant et en sélectionnant des images/jetons dans de courts clips, mais elles manquent d'un mécanisme principié pour (i) comparer la pertinence entre des clips vidéo distants et (ii) arrêter le traitement une fois que des preuves suffisantes ont été recueillies. Nous proposons AdaptToken, un cadre sans entraînement qui transforme l'auto-incertitude d'un MLLM en un signal de contrôle global pour la sélection de jetons dans les vidéos longues. AdaptToken divise une vidéo en groupes, extrait l'attention multimodale pour classer les jetons au sein de chaque groupe, et utilise l'entropie de la réponse du modèle pour estimer la pertinence de chaque groupe par rapport à l'invite. Ce signal d'entropie permet une allocation globale du budget de jetons entre les groupes et soutient en outre l'arrêt anticipé (AdaptToken-Lite), en sautant les groupes restants lorsque le modèle devient suffisamment certain. Sur quatre benchmarks de vidéos longues (VideoMME, LongVideoBench, LVBench et MLVU) et plusieurs MLLM de base (7B-72B), AdaptToken améliore constamment la précision (par exemple, +6.7 en moyenne sur Qwen2.5-VL 7B) et continue de bénéficier d'entrées extrêmement longues (jusqu'à 10 000 images), tandis qu'AdaptToken-Lite réduit le temps d'inférence d'environ la moitié avec des performances comparables. Page du projet : https://haozheqi.github.io/adapt-token
La pathologie computationnelle nécessite des modèles de fondation pour images de lame entière (WSI) capables de se transférer à diverses tâches cliniques. Cependant, les approches actuelles restent largement centrées sur la lame, dépendent souvent de données privées et d'une supervision coûteuse par rapports appariés, et ne modélisent pas explicitement les relations entre plusieurs lames d'un même patient. Nous présentons MOOZY, un modèle de fondation pathologique axé sur le patient, où le cas clinique, et non la lame individuelle, constitue l'unité fondamentale de représentation. MOOZY modélise explicitement les dépendances entre toutes les lames d'un même patient via un transformeur de cas lors du pré-entraînement, combinant une auto-supervision ouverte multi-étapes avec une supervision de tâches à faible coût et à grande échelle. Lors de l'Étape 1, nous pré-entraînons un encodeur de lame visuel sur 77 134 grilles de caractéristiques de lames publiques en utilisant une distillation auto-supervisée masquée. Lors de l'Étape 2, nous alignons ces représentations avec la sémantique clinique en utilisant un transformeur de cas et une supervision multi-tâches sur 333 tâches issues de 56 ensembles de données publics, incluant 205 tâches de classification et 128 tâches de survie couvrant quatre critères d'évaluation. Sur huit tâches de test exclues, avec une évaluation par sonde à caractéristiques gelées en validation croisée quintuple, MOOZY obtient les meilleures performances ou des performances équivalentes sur la plupart des métriques. Il améliore les moyennes macro par rapport à TITAN de +7,37 %, +5,50 % et +7,83 %, et par rapport à PRISM de +8,83 %, +10,70 % et +9,78 % pour le F1 pondéré, l'aire sous la courbe ROC pondérée et la précision équilibrée, respectivement. MOOZY est également efficace en paramètres avec 85,77 millions de paramètres, soit 14 fois plus petit que GigaPath. Ces résultats démontrent qu'un pré-entraînement ouvert et reproductible au niveau du patient produit des embeddings transférables, ouvrant une voie pratique vers des modèles de fondation histopathologiques évolutifs centrés sur le patient.
La segmentation contextuelle (ICS) vise à segmenter des concepts arbitraires (objets, parties ou instances personnalisées) à partir d'un exemple visuel annoté. Les travaux existants reposent soit (i) sur le fine-tuning de modèles de vision fondamentaux (VFMs), ce qui améliore les résultats en domaine connu mais nuit à la généralisation, soit (ii) sur la combinaison de plusieurs VFMs figés, ce qui préserve la généralisation mais entraîne une complexité architecturale et des granularités de segmentation fixes. Nous revisitons l'ICS sous un angle minimaliste en posant la question : un seul backbone auto-supervisé peut-il à la fois assurer l'appariement sémantique et la segmentation, sans aucune supervision ni modèle auxiliaire ? Nous montrons que les caractéristiques denses auto-supervisées à grande échelle de DINOv3 présentent une forte structure spatiale et une correspondance sémantique robuste. Nous présentons INSID3, une approche sans entraînement qui segmente des concepts à différentes granularités uniquement à partir des caractéristiques figées de DINOv3, en utilisant un exemple contextuel. INSID3 obtient des résultats state-of-the-art en segmentation sémantique, de parties et personnalisée en one-shot, surpassant les travaux précédents de +7,5 % de mIoU, tout en utilisant 3 fois moins de paramètres et sans aucune supervision au niveau des masques ou des catégories. Le code est disponible à l'adresse https://github.com/visinf/INSID3.
Les modèles génératifs excellent dans la synthèse de mouvements pour un nombre fixe d'agents mais peinent à généraliser avec un nombre variable d'agents. Basées sur des données limitées et spécifiques à un domaine, les méthodes existantes utilisent des modèles autorégressifs pour générer du mouvement de manière récursive, ce qui entraîne des problèmes d'inefficacité et d'accumulation d'erreurs. Nous proposons Unified Motion Flow (UMF), qui comprend Pyramid Motion Flow (P-Flow) et Semi-Noise Motion Flow (S-Flow). UMF décompose la génération de mouvements indépendante du nombre en une étape de génération de priorité motrice en une passe unique et des étapes de génération de réaction en passes multiples. Concrètement, UMF utilise un espace latent unifié pour combler l'écart de distribution entre les ensembles de données hétérogènes de mouvements, permettant un entraînement unifié efficace. Pour la génération de priorité motrice, P-Flow opère sur des résolutions hiérarchiques conditionnées par différents niveaux de bruit, réduisant ainsi la surcharge computationnelle. Pour la génération de réaction, S-Flow apprend un chemin probabiliste conjoint qui effectue de manière adaptative la transformation de réaction et la reconstruction du contexte, atténuant l'accumulation d'erreurs. Des résultats approfondis et des études utilisateurs démontrent l'efficacité d'UMF en tant que modèle généraliste pour la génération de mouvements multi-personnes à partir de texte. Page du projet : https://githubhgh.github.io/umf/.
La modélisation du plasma est au cœur de la conception des réacteurs à fusion nucléaire, mais la simulation de la cinétique collisionnelle des plasmas à partir des premiers principes reste un défi computationnel redoutable : le système de Vlasov-Maxwell-Landau (VML) décrit le transport dans l'espace des phases à six dimensions sous l'effet de champs électromagnétiques auto-cohérents, ainsi que l'opérateur de collision non linéaire et non local de Landau. Une méthode déterministe récente basée sur les particules pour le système VML complet estime la fonction score de vitesse via la méthode des blobs, une approximation par noyau dont le coût est de O(n²). Dans ce travail, nous remplaçons l'estimateur de score par blobs par une modélisation du transport basée sur le score (SBTM), dans laquelle un réseau de neurones est entraîné « à la volée » via un appariement implicite du score à un coût de O(n). Nous démontrons que l'opérateur de collision approximatif préserve la quantité de mouvement et l'énergie cinétique, et dissipe une entropie estimée. Nous caractérisons également l'unique état stationnaire global du système VML et de sa réduction électrostatique, fournissant ainsi la référence pour la validation numérique. Sur trois benchmarks canoniques — l'amortissement de Landau, l'instabilité à deux courants et l'instabilité de Weibel — la méthode SBTM est plus précise que la méthode des blobs, permet une relaxation correcte à long terme vers l'équilibre maxwellien là où la méthode des blobs échoue, et offre un temps d'exécution 50 % plus rapide avec une utilisation mémoire maximale 4 fois plus faible.