Articles de recherche IA sélectionnés quotidiennement avec traductions
L'entraînement axé sur les données est apparu comme une direction prometteuse pour améliorer les grands modèles de langage (LLM) en optimisant non seulement les paramètres du modèle, mais aussi la sélection, la composition et la pondération des données d'entraînement durant l'optimisation. Cependant, les approches existantes pour la sélection des données, l'optimisation des mélanges de données et la repondération des données sont souvent développées dans des bases de code isolées avec des interfaces incohérentes, entravant la reproductibilité, la comparaison équitable et l'intégration pratique. Dans cet article, nous présentons DataFlex, un cadre unifié et dynamique d'entraînement axé sur les données, construit sur LLaMA-Factory. DataFlex prend en charge trois paradigmes majeurs d'optimisation dynamique des données : la sélection d'échantillons, l'ajustement du mélange de domaines et la repondération des échantillons, tout en restant entièrement compatible avec le flux de travail d'entraînement original. Il fournit des abstractions de formateur extensibles et des composants modulaires, permettant un remplacement direct de l'entraînement standard des LLM, et unifie les opérations clés dépendantes du modèle telles que l'extraction d'incorporations, l'inférence et le calcul du gradient, avec une prise en charge des configurations à grande échelle incluant DeepSpeed ZeRO-3. Nous menons des expériences complètes sur plusieurs méthodes centrées sur les données. La sélection dynamique des données surpasse systématiquement l'entraînement statique sur l'intégralité des données sur MMLU, aussi bien avec Mistral-7B qu'avec Llama-3.2-3B. Pour le mélange de données, DoReMi et ODM améliorent à la fois la précision MMLU et la perplexité au niveau du corpus par rapport aux proportions par défaut lors du pré-entraînement de Qwen2.5-1.5B sur SlimPajama à des échelles de 6 et 30 milliards de tokens. DataFlex obtient également des améliorations constantes du temps d'exécution par rapport aux implémentations originales. Ces résultats démontrent que DataFlex fournit une infrastructure efficace, efficiente et reproductible pour l'entraînement dynamique des LLM axé sur les données.
L'espace latent émerge rapidement comme un substrat natif pour les modèles basés sur le langage. Bien que les systèmes modernes soient encore couramment compris via la génération explicite au niveau des tokens, un nombre croissant de travaux montre que de nombreux processus internes critiques s'effectuent plus naturellement dans l'espace latent continu que dans des traces verbales lisibles par l'homme. Cette transition est motivée par les limitations structurelles du calcul en espace explicite, incluant la redondance linguistique, les goulots d'étranglement dus à la discrétisation, l'inefficacité séquentielle et la perte sémantique. Cette synthèse vise à fournir un panorama unifié et actuel de l'espace latent dans les modèles basés sur le langage. Nous organisons cette revue selon cinq perspectives séquentielles : Fondations, Évolution, Mécanismes, Capacités et Perspectives. Nous commençons par délimiter la portée de l'espace latent, en le distinguant de l'espace explicite ou verbal et des espaces latents couramment étudiés dans les modèles génératifs visuels. Nous retraçons ensuite l'évolution du domaine, des premiers efforts exploratoires à l'expansion actuelle à grande échelle. Pour organiser le paysage technique, nous examinons les travaux existants à travers les lentilles complémentaires des mécanismes et des capacités. Du point de vue des Mécanismes, nous identifions quatre axes majeurs de développement : Architecture, Représentation, Calcul et Optimisation. Du point de vue des Capacités, nous montrons comment l'espace latent prend en charge un large spectre de capacités couvrant le Raisonnement, la Planification, la Modélisation, la Perception, la Mémoire, la Collaboration et l'Incarnation. Au-delà de la consolidation, nous discutons des principaux défis ouverts et esquissons des directions prometteuses pour les recherches futures. Nous espérons que cette synthèse servira non seulement de référence pour les travaux existants, mais aussi de fondement pour appréhender l'espace latent comme un paradigme computationnel et systémique général pour l'intelligence de nouvelle génération.
Le passage à l'échelle du rendu génératif inverse et direct pour des scénarios du monde réel est freiné par le réalisme limité et la cohérence temporelle des ensembles de données synthétiques existants. Pour combler cet écart de domaine persistant, nous présentons un jeu de données dynamique et à grande échelle, constitué à partir de jeux AAA visuellement complexes. En utilisant une nouvelle méthode de capture par écrans doubles et assemblage, nous avons extrait 4 millions d'images continues (720p/30 FPS) de données RVB synchronisées et de cinq canaux de G-buffer, couvrant une variété de scènes, d'effets visuels et d'environnements, y compris des conditions météorologiques adverses et des variantes avec flou de mouvement. Ce jeu de données fait progresser de manière unique le rendu bidirectionnel : il permet une décomposition robuste de la géométrie et des matériaux en conditions réelles, et facilite la génération vidéo guidée par G-buffer de haute fidélité. De plus, pour évaluer la performance en monde réel du rendu inverse sans vérité terrain, nous proposons un nouveau protocole d'évaluation basé sur des modèles de langage visuel (VLM) qui mesure la cohérence sémantique, spatiale et temporelle. Les expériences démontrent que les moteurs de rendu inverse affinés sur nos données atteignent une généralisation inter-jeux de données et une génération contrôlée supérieures, tandis que notre évaluation par VLM présente une forte corrélation avec le jugement humain. Combiné avec notre boîte à outils, notre moteur de rendu direct permet aux utilisateurs de modifier les styles de jeux AAA à partir des G-buffers en utilisant des invites textuelles.
Les compétences d'agent, ensembles structurés de connaissances procédurales et de ressources exécutables que les agents chargent dynamiquement au moment de l'inférence, sont devenues un mécanisme fiable pour augmenter les agents LLM. Pourtant, l'augmentation par compétences lors de l'inférence est fondamentalement limitée : le bruit de récupération introduit des indications non pertinentes, l'injection du contenu des compétences impose une surcharge token importante, et le modèle n'acquiert jamais véritablement les connaissances qu'il se contente de suivre. Nous nous demandons si les compétences peuvent plutôt être internalisées dans les paramètres du modèle, permettant un comportement autonome zero-shot sans aucune récupération de compétences à l'exécution. Nous présentons SKILL0, un cadre d'apprentissage par renforcement in-context conçu pour l'internalisation des compétences. SKILL0 introduit un curriculum d'apprentissage qui commence avec un contexte complet des compétences et le retire progressivement. Les compétences sont regroupées hors ligne par catégorie et converties, avec l'historique des interactions, en un contexte visuel compact, enseignant au modèle l'invocation d'outils et l'accomplissement de tâches multi-tours. Un Curriculum Dynamique évalue ensuite l'utilité sur la politique de chaque fichier de compétence, ne conservant que ceux dont la politique actuelle bénéficie encore dans le cadre d'un budget à décroissance linéaire, jusqu'à ce que l'agent opère dans un environnement entièrement zero-shot. Des expériences approfondies en milieu agentique démontrent que SKILL0 obtient des améliorations substantielles par rapport à la ligne de base d'apprentissage par renforcement standard (+9,7 % pour ALFWorld et +6,6 % pour Search-QA), tout en maintenant un contexte très efficace de moins de 0,5k tokens par étape. Notre code est disponible à l'adresse https://github.com/ZJU-REAL/SkillZero.
Nous présentons EgoSim, un simulateur égocentrique en boucle fermée qui génère des vidéos d'interaction spatialement cohérentes et met à jour de manière persistante l'état scénique 3D sous-jacent pour une simulation continue. Les simulateurs égocentriques existants manquent soit d'ancrage 3D explicite, entraînant une dérive structurelle lors des changements de point de vue, soit traitent la scène comme statique, ne parvenant pas à actualiser les états du monde lors d'interactions multi-étapes. EgoSim résout ces deux limitations en modélisant les scènes 3D comme des états mondiaux actualisables. Nous générons des interactions d'incarnation via un modèle de simulation d'observation sensible à la géométrie et à l'action, avec une cohérence spatiale assurée par un module de mise à jour d'état sensible à l'interaction. Pour surmonter le goulot d'étranglement critique des données posé par la difficulté d'acquérir des paires d'entraînement scène-interaction densément alignées, nous concevons un pipeline évolutif qui extrait des nuages de points statiques, des trajectoires de caméra et des actions d'incarnation à partir de vidéos égocentriques monoculaires à grande échelle capturées en conditions réelles. Nous présentons également EgoCap, un système de capture qui permet une collecte de données en monde réel à faible coût avec des smartphones non calibrés. Des expériences approfondies démontrent qu'EgoSim surpasse significativement les méthodes existantes en termes de qualité visuelle, de cohérence spatiale et de généralisation à des scènes complexes et à des interactions manuelles en conditions réelles, tout en supportant le transfert inter-incarnation vers la manipulation robotique. Les codes et jeux de données seront bientôt ouverts. La page du projet se trouve à egosimulator.github.io.
Les Vision Transformers pré-entraînés (ViTs) tels que DINOv2 et MAE fournissent des caractéristiques d'image génériques applicables à diverses tâches en aval comme la recherche, la classification et la segmentation. Cependant, ces représentations tendent à se concentrer sur les indices visuels les plus saillants de l'image, sans possibilité de les orienter vers des concepts d'intérêt moins prominents. À l'inverse, les modèles de langage multimodaux peuvent être guidés par des invites textuelles, mais les représentations résultantes deviennent centrées sur le langage et perdent en efficacité pour les tâches visuelles génériques. Pour résoudre ce problème, nous présentons les Représentations Visuels Pilotables, une nouvelle classe de représentations visuelles dont les caractéristiques globales et locales peuvent être orientées par le langage naturel. Alors que la plupart des modèles vision-langage (comme CLIP) fusionnent le texte avec les caractéristiques visuelles après l'encodage (fusion tardive), nous injectons directement le texte dans les couches de l'encodeur visuel (fusion précoce) via un mécanisme d'attention croisée léger. Nous introduisons des benchmarks pour mesurer la pilotabilité représentationnelle et démontrons que nos caractéristiques visuelles pilotables peuvent se concentrer sur n'importe quel objet souhaité dans une image tout en préservant la qualité de la représentation sous-jacente. Notre méthode égal ou surpasse également les approches spécialisées en détection d'anomalies et discrimination d'objets personnalisés, avec une généralisation zero-shot à des tâches hors distribution.
Lors de l'évaluation de tâches centrées sur l'identité, telles que la génération personnalisée et l'édition d'images, les encodeurs visuels existants entraînent un enchevêtrement de l'identité de l'objet avec le contexte de l'arrière-plan, conduisant à des représentations et des métriques peu fiables. Nous présentons le premier cadre méthodologique pour adresser cette vulnérabilité en utilisant des distracteurs de quasi-identité (NearID), où des instances sémantiquement similaires mais distinctes sont placées sur exactement le même arrière-plan qu'une image de référence, éliminant ainsi les raccourcis contextuels et isolant l'identité comme seul signal discriminatif. Sur la base de ce principe, nous présentons le jeu de données NearID (19 000 identités, 316 000 distracteurs à contexte apparié) ainsi qu'un protocole d'évaluation strict basé sur une marge. Dans ce cadre, les encodeurs pré-entraînés obtiennent de faibles performances, atteignant des Taux de Succès par Échantillon (SSR), une métrique stricte de discrimination d'identité basée sur une marge, aussi bas que 30,7 %, classant souvent les distracteurs au-dessus des véritables correspondances inter-vues. Nous résolvons ce problème en apprenant des représentations sensibles à l'identité sur un backbone figé à l'aide d'un objectif contrastif à deux niveaux imposant la hiérarchie : même identité > distracteur NearID > négatif aléatoire. Cette approche améliore le SSR à 99,2 %, renforce la discrimination au niveau des parties de 28,0 %, et produit un meilleur alignement avec les jugements humains sur DreamBench++, un benchmark aligné sur l'humain pour la personnalisation. Page du projet : https://gorluxor.github.io/NearID/
Les modèles unifiés (MU) suscitent un vif intérêt pour leur capacité à comprendre et à générer du contenu à travers des modalités hétérogènes. Comparée à la simple génération de contenu visuel, l'utilisation des MU pour un raisonnement intermodal entrelacé est plus prometteuse et précieuse, par exemple pour résoudre des problèmes de compréhension nécessitant une réflexion visuelle dense, améliorer la génération visuelle par auto-réflexion, ou modéliser la dynamique visuelle du monde physique guidée par des interventions actionnelles séquentielles. Cependant, les MU existants nécessitent un décodage pixel comme pont en raison de leurs représentations visuelles disjointes pour la compréhension et la génération, ce qui est à la fois inefficace et peu performant. Dans cet article, nous présentons LatentUM, un nouveau modèle unifié qui représente toutes les modalités dans un espace latent sémantique partagé, éliminant le besoin de médiation dans l'espace pixel entre la compréhension et la génération visuelles. Cette conception permet naturellement un raisonnement et une génération intermodaux entrelacés et flexibles. Au-delà d'une efficacité computationnelle améliorée, la représentation partagée atténue considérablement le biais du codec et renforce l'alignement intermodal, permettant à LatentUM d'atteindre des performances de pointe sur le benchmark de planification spatiale visuelle, de repousser les limites de la génération visuelle par auto-réflexion, et de supporter la modélisation du monde en prédisant les états visuels futurs au sein de l'espace latent sémantique partagé.
Les agents IA opèrent de plus en plus sur des horizons temporels étendus, mais leur capacité à retenir, organiser et rappeler des expériences multimodales reste un goulot d'étranglement critique. La construction d'une mémoire efficace tout au long de la vie nécessite de naviguer dans un vaste espace de conception couvrant l'architecture, les stratégies de récupération, l'ingénierie des prompts et les pipelines de données ; cet espace est trop vaste et interconnecté pour être exploré manuellement ou efficacement par l'AutoML traditionnel. Nous déployons un pipeline de recherche autonome pour découvrir Omni-SimpleMem, un cadre de mémoire multimodale unifié pour les agents IA tout au long de la vie. Partant d'une baseline naïve (F1=0.117 sur LoCoMo), le pipeline exécute de manière autonome ~50 expériences sur deux benchmarks, en diagnostiquant les modes de défaillance, proposant des modifications architecturales et corrigeant des bogues dans le pipeline de données, le tout sans intervention humaine dans la boucle interne. Le système résultant atteint l'état de l'art sur les deux benchmarks, améliorant le F1 de +411% sur LoCoMo (0.117 à 0.598) et de +214% sur Mem-Gallery (0.254 à 0.797) par rapport aux configurations initiales. Fait crucial, les découvertes les plus impactantes ne sont pas des ajustements d'hyperparamètres : les corrections de bogues (+175%), les changements architecturaux (+44%) et l'ingénierie des prompts (+188% sur des catégories spécifiques) dépassent individuellement la contribution cumulative de tout réglage d'hyperparamètres, démontrant des capacités fondamentalement hors de portée de l'AutoML traditionnel. Nous fournissons une taxonomie de six types de découvertes et identifions quatre propriétés qui rendent la mémoire multimodale particulièrement adaptée à l'auto-recherche, offrant des orientations pour appliquer des pipelines de recherche autonomes à d'autres domaines de systèmes IA. Le code est disponible à l'adresse https://github.com/aiming-lab/SimpleMem.
Les méthodes existantes de suppression d'objets vidéo excellent à restaurer le contenu "derrière" l'objet et à corriger les artefacts au niveau de l'apparence, tels que les ombres et les réflexions. Cependant, lorsque l'objet supprimé a des interactions plus significatives, comme des collisions avec d'autres objets, les modèles actuels échouent à les corriger et produisent des résultats peu plausibles. Nous présentons VOID, un cadre de suppression d'objets vidéo conçu pour effectuer une restauration physiquement plausible dans ces scénarios complexes. Pour entraîner le modèle, nous générons un nouveau jeu de données apparié de suppressions contrefactuelles d'objets en utilisant Kubric et HUMOTO, où supprimer un objet nécessite de modifier les interactions physiques qui en découlent. Lors de l'inférence, un modèle vision-langage identifie les régions de la scène affectées par l'objet supprimé. Ces régions sont ensuite utilisées pour guider un modèle de diffusion vidéo qui génère des résultats contrefactuels physiquement cohérents. Les expériences sur des données synthétiques et réelles montrent que notre approche préserve mieux la dynamique cohérente de la scène après suppression d'un objet par rapport aux méthodes précédentes de suppression d'objets vidéo. Nous espérons que ce cadre éclaire la manière de rendre les modèles d'édition vidéo de meilleurs simulateurs du monde grâce à un raisonnement causal de haut niveau.
Nous examinons la question suivante : lorsqu'un grand modèle de raisonnement linguistique fait un choix, a-t-il d'abord réfléchi puis décidé, ou a-t-il d'abord décidé puis réfléchi ? Dans cet article, nous présentons des preuves que des décisions détectables, encodées précocement, façonnent le raisonnement en chaîne (chain-of-thought) dans les modèles de raisonnement. Plus précisément, nous montrons qu'une simple sonde linéaire décode avec succès les décisions d'appel d'outils à partir des activations pré-génération avec une très grande confiance, et dans certains cas, avant même qu'un seul jeton de raisonnement ne soit produit. Le pilotage des activations étaye cela de manière causale : perturber la direction de la décision entraîne une délibération excessive et inverse le comportement dans de nombreux exemples (entre 7 % et 79 % selon le modèle et le benchmark). Notre analyse comportementale montre également que, lorsque le pilotage modifie la décision, le processus de raisonnement en chaîne tend souvent à rationaliser le renversement plutôt qu'à y résister. Ensemble, ces résultats suggèrent que les modèles de raisonnement peuvent encoder des choix d'action avant même de commencer à délibérer en texte.
Les modèles Vision-Langage-Action (VLA) ont récemment émergé dans le domaine de la conduite autonome, promettant d'exploiter une riche connaissance du monde pour améliorer les capacités cognitives des systèmes de conduite. Cependant, l'adaptation de ces modèles aux tâches de conduite se heurte actuellement à un dilemme critique entre la perception spatiale et le raisonnement sémantique. Par conséquent, les systèmes VLA existants sont contraints à des compromis sous-optimaux : l'adoption directe de modèles vision-langage 2D offre une perception spatiale limitée, tandis que leur amélioration avec des représentations spatiales 3D altère souvent la capacité de raisonnement native des VLM. Nous soutenons que ce dilemme découle largement de l'optimisation couplée de la perception spatiale et du raisonnement sémantique au sein de paramètres de modèle partagés. Pour le surmonter, nous proposons UniDriveVLA, un modèle unifié de conduite Vision-Langage-Action basé sur une architecture Mixture-of-Transformers qui résout le conflit perception-raisonnement via un découplage d'experts. Concrètement, il comprend trois experts dédiés respectivement à la compréhension de la conduite, à la perception de la scène et à la planification d'actions, qui sont coordonnés via un mécanisme d'attention conjointe masquée. De plus, nous combinons un paradigme de perception parcimonieuse avec une stratégie d'entraînement progressif en trois étapes pour améliorer la perception spatiale tout en préservant la capacité de raisonnement sémantique. Des expériences approfondies montrent qu'UniDriveVLA obtient des performances de pointe dans l'évaluation en boucle ouverte sur nuScenes et en boucle fermée sur Bench2Drive. De plus, il démontre de solides performances sur un large éventail de tâches de perception, de prédiction et de compréhension, incluant la détection 3D, la cartographie en ligne, la prévision de trajectoire et le VQA orienté conduite, soulignant son applicabilité étendue en tant que modèle unifié pour la conduite autonome. Le code et le modèle sont disponibles à l'adresse https://github.com/xiaomi-research/unidrivevla.
L'IA peut-elle accélérer son propre développement ? Si les systèmes agentiels récents ont démontré des performances solides sur des tâches bien délimitées avec un retour rapide, leur capacité à aborder les boucles de recherche coûteuses, à long terme et faiblement supervisées qui sous-tendent les progrès réels de l'IA reste incertaine. Nous présentons ASI-Evolve, un cadre agentiel pour la recherche en IA-pour-l'IA qui referme cette boucle via un cycle apprendre-concevoir-expérimenter-analyser. ASI-Evolve améliore les agents évolutionnistes standards avec deux composants clés : une base de cognition qui injecte des préjugés humains accumulés dans chaque round d'exploration, et un analyseur dédié qui distille les résultats expérimentaux complexes en insights réutilisables pour les itérations futures. À notre connaissance, ASI-Evolve est le premier cadre unifié à démontrer une découverte pilotée par l'IA à travers trois composants centraux du développement de l'IA : les données, les architectures et les algorithmes d'apprentissage. Dans la conception d'architectures neuronales, il a découvert 105 architectures d'attention linéaire à l'état de l'art, le meilleur modèle découvert surpassant DeltaNet de +0,97 point, soit près de 3 fois le gain des améliorations récentes conçues par l'homme. Dans la curation de données de pré-entraînement, le pipeline évolué améliore les performances moyennes de référence de +3,96 points, avec des gains dépassant 18 points sur MMLU. Dans la conception d'algorithmes d'apprentissage par renforcement, les algorithmes découverts surpassent GRPO jusqu'à +12,5 points sur AMC32, +11,67 points sur AIME24 et +5,04 points sur OlympiadBench. Nous fournissons en outre des preuves initiales que ce paradigme IA-pour-l'IA peut se transférer au-delà de la pile IA via des expériences en mathématiques et biomédecine. Ensemble, ces résultats suggèrent qu'ASI-Evolve représente une étape prometteuse vers la capacité de l'IA à accélérer l'IA à travers les étapes fondamentales du développement, offrant des preuves précoces de la faisabilité de la recherche en IA en boucle fermée.
L'essor des grands modèles de langage pour le code a remodelé le développement logiciel. Les agents de codage autonomes, capables de créer des branches, d'ouvrir des demandes de tirage (*pull requests*) et d'effectuer des revues de code, contribuent désormais activement à des projets réels. Leur rôle croissant offre une occasion unique et opportune d'étudier les contributions pilotées par l'IA et leurs effets sur la qualité du code, la dynamique des équipes et la maintenabilité des logiciels. Dans ce travail, nous constituons un nouvel ensemble de données d'environ 110 000 demandes de tirage open source, incluant les commits, commentaires, revues, issues et modifications de fichiers associés, représentant collectivement des millions de lignes de code source. Nous comparons cinq agents de codage populaires, notamment OpenAI Codex, Claude Code, GitHub Copilot, Google Jules et Devin, en examinant comment leur utilisation diffère selon divers aspects du développement, tels que la fréquence de fusion, les types de fichiers modifiés et les signaux d'interaction des développeurs, y compris les commentaires et les revues. De plus, nous soulignons que la création et la revue de code ne constituent qu'une petite partie du processus plus large de l'ingénierie logicielle, car le code produit doit également être maintenu et mis à jour dans le temps. Par conséquent, nous proposons plusieurs estimations longitudinales des taux de survie et de renouvellement (*churn*) pour le code généré par les agents par rapport au code écrit par l'homme. En définitive, nos résultats indiquent une activité croissante des agents dans les projets open source, bien que leurs contributions soient associées à un renouvellement plus important dans le temps par rapport au code d'origine humaine.
L'évolution basée sur les grands modèles de langage (LLM) est une approche prometteuse pour la découverte ouverte, où le progrès nécessite une recherche soutenue et une accumulation de connaissances. Les méthodes existantes reposent encore largement sur des heuristiques fixes et des règles d'exploration codées en dur, ce qui limite l'autonomie des agents LLM. Nous présentons CORAL, le premier cadre pour l'évolution multi-agent autonome sur des problèmes ouverts. CORAL remplace le contrôle rigide par des agents de longue durée qui explorent, réfléchissent et collaborent via une mémoire persistante partagée, une exécution multi-agent asynchrone et des interventions basées sur un battement cardiaque. Il fournit également des garanties pratiques, incluant des espaces de travail isolés, la séparation des évaluateurs, la gestion des ressources, et la gestion des sessions et de l'état des agents. Évalué sur diverses tâches mathématiques, algorithmiques et d'optimisation de systèmes, CORAL établit de nouveaux résultats de pointe sur 10 tâches, atteignant des taux d'amélioration 3 à 10 fois supérieurs avec beaucoup moins d'évaluations que les bases de référence de recherche évolutive fixe. Sur la tâche d'ingénierie de noyau d'Anthropic, quatre agents co-évolutifs améliorent le score le plus connu de 1363 à 1103 cycles. Des analyses mécanistes montrent en outre comment ces gains découlent de la réutilisation des connaissances et de l'exploration et de la communication multi-agents. Ensemble, ces résultats suggèrent qu'une plus grande autonomie des agents et une évolution multi-agent peuvent améliorer substantiellement la découverte ouverte. Le code est disponible à l'adresse https://github.com/Human-Agent-Society/CORAL.
L'automatisation de processus par interface graphique (GPA) est une forme légère mais générale d'automatisation robotique de processus (RPA) basée sur la vision, permettant une relecture de processus rapide et stable à partir d'une seule démonstration. Pour remédier à la fragilité des RPA traditionnelles et aux risques non déterministes des agents d'interface graphique actuels basés sur des modèles de langage visuel, GPA introduit trois avantages fondamentaux : (1) La robustesse via une localisation basée sur la méthode de Monte-Carlo séquentielle pour gérer l'incertitude de redimensionnement et de détection ; (2) Le caractère déterministe et la fiabilité garantis par un étalonnage de préparation ; et (3) Le respect de la vie privée grâce à une exécution entièrement locale et rapide. Cette approche offre l'adaptabilité, la robustesse et la sécurité nécessaires aux flux de travail d'entreprise. Elle peut également être utilisée comme outil MCP/CLI par d'autres agents dotés de capacités de codage, permettant à l'agent de se concentrer sur le raisonnement et l'orchestration tandis que GPA gère l'exécution de l'interface graphique. Nous avons mené une expérience pilote comparant GPA à Gemini 3 Pro (avec outils CUA) et avons constaté que GPA atteint un taux de réussite supérieur avec une vitesse d'exécution 10 fois plus rapide pour accomplir des tâches graphiques de longue haleine.
Les modèles vision-langage-action (VLA) ont démontré de fortes performances en manipulation robotique, mais leur robustesse face à des attaques adverses physiquement réalisables reste peu explorée. Les études existantes révèlent des vulnérabilités via des perturbations linguistiques et des attaques visuelles 2D, mais ces surfaces d'attaque sont soit peu représentatives des déploiements réels, soit limitées en réalisme physique. En revanche, les textures 3D adverses constituent une menace plus plausible physiquement et plus dommageable, car elles sont naturellement attachées aux objets manipulés et plus faciles à déployer dans des environnements physiques. Cependant, l'intégration de textures 3D adverses dans les systèmes VLA n'est pas triviale. Un obstacle central est que les simulateurs 3D standard ne fournissent pas de chemin d'optimisation différentiable de la fonction objectif VLA vers l'apparence des objets, rendant difficile une optimisation de bout en bout. Pour résoudre ce problème, nous introduisons le Découplage Premier Plan-Arrière-plan (FBD), qui permet une optimisation differentiable des textures via un alignement à double moteur de rendu tout en préservant l'environnement de simulation original. Pour garantir en outre que l'attaque reste efficace sur des horizons temporels longs et sous des points de vue divers dans le monde physique, nous proposons l'Optimisation Adversaire Sensible à la Trajectoire (TAAO), qui priorise les images comportementalement critiques et stabilise l'optimisation avec une paramétrisation basée sur les sommets. Fort de ces conceptions, nous présentons Tex3D, le premier cadre d'optimisation de bout en bout de textures adverses 3D directement dans l'environnement de simulation VLA. Les expériences en simulation et sur robots réels montrent que Tex3D dégrade significativement les performances des VLA sur de multiples tâches de manipulation, atteignant des taux d'échec allant jusqu'à 96,7 %. Nos résultats empiriques exposent des vulnérabilités critiques des systèmes VLA face à des attaques adverses 3D ancrées dans le physique et soulignent la nécessité d'un entraînement conscient de la robustesse.
Les modèles de diffusion vidéo présentent des capacités de raisonnement émergentes telles que la résolution de labyrinthes et de puzzles, mais leur processus de raisonnement pendant la génération reste peu compris. Nous franchissons une première étape pour comprendre ce phénomène en étudiant la dynamique de planification interne des modèles vidéo, en utilisant la résolution de labyrinthes 2D comme banc d'essai contrôlé. Nos investigations révèlent deux résultats principaux. Notre première découverte est l'engagement précoce du plan : les modèles de diffusion vidéo s'engagent dans un plan de mouvement de haut niveau dès les premières étapes de débruitage, après lesquelles les étapes supplémentaires modifient les détails visuels mais pas la trajectoire sous-jacente. Notre seconde découverte est que la longueur du chemin, et non la densité d'obstacles, est le principal facteur prédictif de la difficulté du labyrinthe, avec un seuil de rupture net à 12 étapes. Cela signifie que les modèles vidéo ne peuvent raisonner sur des labyrinthes longs qu'en enchaînant plusieurs générations séquentielles. Pour démontrer l'utilité pratique de nos résultats, nous introduisons l'Enchaînement avec Planification Précoce (ChEaP), qui ne consacre des ressources computationnelles qu'aux germes présentant des plans précoces prometteurs et les enchaîne pour résoudre des labyrinthes complexes. Cette méthode améliore la précision de 7% à 67% sur les labyrinthes à long horizon et d'un facteur 2,5 globalement sur les tâches difficiles de Frozen Lake et VR-Bench avec Wan2.2-14B et HunyuanVideo-1.5. Notre analyse révèle que les modèles vidéo actuels possèdent des capacités de raisonnement plus profondes que précédemment reconnues, qui peuvent être sollicitées plus fiabilité grâce à un meilleur scaling à l'inférence.
Bien que la génération d'images ait stimulé diverses applications grâce à son évolution rapide, la capacité des modèles de pointe à produire des illustrations académiques prêtes à l'emploi pour des articles reste largement inexplorée. Comparer ou évaluer directement l'illustration avec un modèle de langage visuel (VLM) semble intuitif, mais nécessite une capacité de compréhension multimodale de référence, qui s'avère peu fiable pour des textes et illustrations longs et complexes. Pour résoudre ce problème, nous proposons AIBench, le premier benchmark utilisant des questions à réponse visuelle (VQA) pour évaluer la justesse logique des illustrations académiques et des VLM pour évaluer l'esthétique. Concrètement, nous avons conçu quatre niveaux de questions basées sur un diagramme logique résumé à partir de la section méthodologique de l'article, interrogeant si l'illustration générée correspond au contenu de l'article à différentes échelles. Notre approche fondée sur le VQA permet des évaluations plus précises et détaillées de la cohérence visuo-logique tout en dépendant moins des capacités du VLM évaluateur. Grâce à notre benchmark AIBench de haute qualité, nous menons des expériences approfondies et concluons que l'écart de performance entre les modèles sur cette tâche est nettement plus important que pour les tâches générales, reflétant leurs capacités variables en raisonnement complexe et en génération haute densité. De plus, la logique et l'esthétique sont difficiles à optimiser simultanément, comme dans les illustrations artisanales. Des expériences supplémentaires montrent qu'un scaling au moment du test sur ces deux capacités améliore significativement les performances sur cette tâche.
Les modèles linguistiques multimodaux récents pour la vidéo obtiennent des résultats impressionnants sur diverses évaluations. Cependant, les évaluations actuelles souffrent de deux limitations critiques : (1) des scores gonflés peuvent masquer des lacunes dans la compréhension visuelle fine et le raisonnement, et (2) l'exactitude des réponses est souvent mesurée sans vérifier si les modèles identifient les preuves spatio-temporelles précises étayant leurs prédictions. Pour remédier à cela, nous présentons VideoZeroBench, un benchmark hiérarchique conçu pour des questions-réponses exigeantes sur de longues vidéos, qui vérifie rigoureusement les preuves spatio-temporelles. Il comprend 500 questions annotées manuellement couvrant 13 domaines, associées à des intervalles temporels et des boîtes englobantes spatiales comme preuves. Pour distinguer la génération de réponses, l'ancrage temporel et l'ancrage spatial, nous introduisons un protocole d'évaluation à cinq niveaux qui renforce progressivement les exigences en matière de preuves. Les expériences montrent que même Gemini-3-Pro répond correctement à moins de 17 % des questions dans le cadre standard de questions-réponses de bout en bout (Niveau 3). Lorsque des contraintes d'ancrage sont imposées, les performances chutent brutalement : aucun modèle ne dépasse 1 % de précision lorsque l'exactitude de la réponse et une localisation spatio-temporelle précise sont requises (Niveau 5), la plupart échouant à produire des prédictions ancrées correctes. Ces résultats révèlent un écart significatif entre l'exactitude superficielle des réponses et un raisonnement authentique fondé sur des preuves, indiquant que la compréhension vidéo ancrée reste un goulot d'étranglement pour les questions-réponses sur de longues vidéos. Nous analysons en outre les performances selon les étendues de preuves minimales, les capacités atomiques et les paradigmes d'inférence, offrant des perspectives pour les futures recherches sur le raisonnement vidéo ancré. Le benchmark et le code seront rendus publics.
Les attaques par inférence d'appartenance (MIA) constituent un outil fondamental d'audit pour évaluer la fuite de données d'apprentissage dans les modèles de machine learning. Cependant, les méthodologies existantes reposent principalement sur des heuristiques statiques et artisanales manquant d'adaptabilité, conduisant souvent à des performances sous-optimales lors de leur transfert entre différents grands modèles. Dans ce travail, nous proposons AutoMIA, un cadre agentique qui reformule l'inférence d'appartenance comme un processus automatisé d'auto-exploration et d'évolution stratégique. À partir de spécifications de haut niveau, AutoMIA explore automatiquement l'espace d'attaque en générant des stratégies exécutables au niveau des logits et en les affinant progressivement grâce à un retour d'évaluation en boucle fermée. En dissociant le raisonnement stratégique abstrait de l'exécution de bas niveau, notre cadre permet un parcours systématique et agnostique du modèle dans l'espace de recherche des attaques. Des expériences approfondies démontrent qu'AutoMIA égale ou surpasse systématiquement l'état de l'art tout en éliminant le besoin d'ingénierie manuelle des caractéristiques.
Anticiper les perturbations de la chaîne d'approvisionnement avant qu'elles ne se matérialisent est un défi fondamental pour les entreprises et les décideurs politiques. La principale difficulté consiste à apprendre à raisonner de manière fiable sur des événements peu fréquents mais à fort impact à partir de données bruitées et non structurées - un contexte dans lequel les modèles généralistes peinent sans adaptation spécifique à la tâche. Nous présentons un cadre de bout en bout qui forme des LLM à produire des prévisions probabilistes calibrées en utilisant les résultats de perturbations observées comme supervision. Le modèle obtenu surpasse considérablement des bases de référence solides - incluant GPT-5 - en termes de précision, de calibration et de justesse. Nous montrons également que l'entraînement induit un raisonnement probabiliste plus structuré et fiable sans incitation explicite. Ces résultats suggèrent une voie générale pour former des modèles de prévision spécialisés par domaine qui produisent des signaux directement exploitables pour la décision. Pour favoriser la transparence, nous mettons en open source le jeu de données d'évaluation utilisé dans cette étude. Jeu de données : https://huggingface.co/datasets/LightningRodLabs/supply-chain-predictions
L'adaptation de modèles de langage (LM) pré-entraînés en modèles vision-langage (VLM) peut dégrader leur capacité linguistique native en raison d'un décalage de représentation et d'interférences inter-modales introduits lors de l'adaptation multimodale. Cette perte est difficile à récupérer, même avec un fine-tuning ciblé par tâche utilisant des objectifs standards. Les approches de récupération antérieures introduisent généralement des modules supplémentaires qui agissent comme des couches d'alignement intermédiaires pour maintenir ou isoler des sous-espaces spécifiques à une modalité, ce qui augmente la complexité architecturale, ajoute des paramètres au moment de l'inférence et limite la flexibilité entre les modèles et les configurations. Nous proposons LinguDistill, une méthode de distillation sans adaptateur qui restaure la capacité linguistique en utilisant le LM original gelé comme enseignant. Nous surmontons le défi principal de permettre une supervision enseignante conditionnée par la vision en introduisant un partage de cache KV par couches, ce qui expose l'enseignant aux représentations multimodales de l'étudiant sans modifier l'architecture d'aucun des deux modèles. Nous distillons ensuite sélectivement le fort signal linguistique de l'enseignant sur des données à forte intensité linguistique pour récupérer la capacité langagière, tout en préservant l'ancrage visuel de l'étudiant sur les tâches multimodales. En conséquence, LinguDistill récupère environ 10 % des performances perdues sur les benchmarks de langage et de connaissances, tout en maintenant des performances comparables sur les tâches à dominance visuelle. Nos résultats démontrent que la capacité linguistique peut être récupérée sans modules supplémentaires, offrant une solution efficace et pratique à la dégradation spécifique à une modalité dans les modèles multimodaux.
Nous présentons le benchmark Multilingual Document Parsing Benchmark (MDPBench), premier benchmark dédié à l'analyse de documents numériques et photographiés en contexte multilingue. L'analyse documentaire a accompli des progrès remarquables, mais se concentre presque exclusivement sur des pages numériques, propres et bien formatées, dans une poignée de langues dominantes. Aucun benchmark systématique n'existe pour évaluer les performances des modèles sur des documents numériques et photographiés couvrant divers systèmes d'écriture et langues peu dotées. MDPBench comprend 3 400 images de documents réparties sur 17 langues, divers scripts et différentes conditions photographiques, avec des annotations de haute qualité produites via un pipeline rigoureux de labellisation par modèle expert, correction manuelle et vérification humaine. Pour garantir une comparaison équitable et prévenir les fuites de données, nous maintenons des divisions d'évaluation publiques et privées distinctes. Notre évaluation exhaustive des modèles open-source et closed-source révèle un constat frappant : si les modèles closed-source (notamment Gemini3-Pro) se montrent relativement robustes, les alternatives open-source subissent un effondrement dramatique des performances, particulièrement sur les scripts non-latins et les documents photographiés en conditions réelles, avec une baisse moyenne de 17,8 % sur les documents photographiés et de 14,0 % sur les scripts non-latins. Ces résultats mettent en lumière des déséquilibres significatifs de performance entre les langues et les conditions, et indiquent des directions concrètes pour construire des systèmes d'analyse plus inclusifs et prêts pour le déploiement. Code source disponible à l'adresse https://github.com/Yuliang-Liu/MultimodalOCR.
L'édition continue d'images vise à offrir un contrôle de type curseur sur l'intensité de la retouche, tout en préservant la fidélité à l'image source et en maintenant une direction d'édition cohérente. Les méthodes existantes basées sur l'apprentissage reposent généralement sur des modules auxiliaires entraînés avec une supervision synthétique ou par procuration. Cela introduit une surcharge d'entraînement supplémentaire et couple le comportement du curseur à la distribution d'apprentissage, ce qui peut réduire la fiabilité face à des décalages de distribution dans les retouches ou les domaines. Nous proposons FlowSlider, une méthode sans entraînement pour l'édition continue dans Rectified Flow qui ne nécessite aucun post-entraînement. FlowSlider décompose la mise à jour de FlowEdit en (i) un terme de fidélité, qui agit comme un stabilisateur conditionné par la source préservant l'identité et la structure, et (ii) un terme de pilotage qui guide la transition sémantique vers la retouche cible. L'analyse géométrique et les mesures empiriques montrent que ces termes sont approximativement orthogonaux, permettant un contrôle stable de l'intensité en modulant uniquement le terme de pilotage tout en gardant le terme de fidélité inchangé. Par conséquent, FlowSlider offre un contrôle fluide et fiable sans post-entraînement, améliorant la qualité de l'édition continue pour diverses tâches.
Malgré les progrès récents, les modèles de diffusion vidéo peinent encore à synthétiser des vidéos réalistes impliquant des mouvements hautement dynamiques ou nécessitant une contrôlabilité fine du mouvement. Une limitation centrale réside dans la rareté de tels exemples dans les jeux de données d'entraînement couramment utilisés. Pour y remédier, nous présentons DynaVid, un cadre de synthèse vidéo qui exploite des données de mouvement synthétiques lors de l'entraînement, représentées sous forme de flux optique et rendues à l'aide de pipelines de synthèse d'images. Cette approche présente deux avantages clés. Premièrement, le mouvement synthétique offre des schémas de mouvement diversifiés et des signaux de contrôle précis difficiles à obtenir à partir de données réelles. Deuxièmement, contrairement aux vidéos rendues ayant des apparences artificielles, le flux optique rendu encode uniquement le mouvement et est découplé de l'apparence, empêchant ainsi les modèles de reproduire l'aspect non naturel des vidéos synthétiques. Sur cette base, DynaVid adopte un cadre de génération en deux étapes : un générateur de mouvement synthétise d'abord le mouvement, puis un générateur vidéo guidé par le mouvement produit les images vidéo conditionnées par ce mouvement. Cette formulation découplée permet au modèle d'apprendre des schémas de mouvement dynamiques à partir de données synthétiques tout en préservant le réalisme visuel des vidéos du monde réel. Nous validons notre cadre sur deux scénarios difficiles, la génération de mouvements humains vigoureux et le contrôle extrême du mouvement de caméra, où les jeux de données existants sont particulièrement limités. Des expériences approfondies démontrent que DynaVid améliore le réalisme et la contrôlabilité dans la génération de mouvements dynamiques et le contrôle du mouvement de la caméra.
Les grands modèles de langage multimodaux récents ont obtenu des performances remarquables dans la compréhension et la génération unifiées de texte et d'images, mais l'extension de cette capacité native à la 3D reste difficile en raison du manque de données. Comparé à l'abondance d'imagery 2D, les actifs 3D de haute qualité sont rares, rendant la synthèse 3D sous-contrainte. Les méthodes existantes reposent souvent sur des pipelines indirects qui modifient en 2D et projettent les résultats en 3D via une optimisation, sacrifiant la cohérence géométrique. Nous présentons Omni123, un modèle fondateur natif 3D qui unifie la génération texte-vers-2D et texte-vers-3D dans un cadre autoregressif unique. Notre idée clé est que la cohérence intermodale entre les images et la 3D peut servir de contrainte structurelle implicite. En représentant le texte, les images et la 3D comme des tokens discrets dans un espace séquentiel partagé, le modèle exploite les données 2D abondantes comme préalable géométrique pour améliorer les représentations 3D. Nous introduisons un paradigme d'entraînement entrelacé X-vers-X qui coordonne diverses tâches intermodales sur des jeux de données hétérogènes appariés sans nécessiter de triplets texte-image-3D parfaitement alignés. En parcourant des cycles sémantique-visuel-géométriques (par exemple, texte vers image vers 3D vers image) dans des séquences autoregressives, le modèle applique conjointement l'alignement sémantique, la fidélité d'apparence et la cohérence géométrique multi-vues. Les expériences montrent qu'Omni123 améliore significativement la génération et l'édition 3D guidées par le texte, démontrant une voie évolutive vers des modèles mondiaux 3D multimodaux.
La découverte scientifique traditionnelle repose sur un cycle itératif hypothèse-expérience-affinement qui a guidé le progrès pendant des siècles, mais sa mise en œuvre intuitive et ad hoc gaspille souvent les ressources, produit des conceptions inefficaces et manque des insights critiques. Ce tutoriel présente l'Optimisation Bayésienne (OB), un cadre probabiliste fondamental qui formalise et automatise ce cycle scientifique central. L'OB utilise des modèles de substitution (par exemple, des processus gaussiens) pour modéliser les observations empiriques comme des hypothèses évolutives, et des fonctions d'acquisition pour guider la sélection des expériences, en équilibrant l'exploitation des connaissances acquises et l'exploration de domaines inconnus pour éliminer les conjectures et les essais-erreurs manuels. Nous définissons d'abord la découverte scientifique comme un problème d'optimisation, puis détaillons les composants centraux de l'OB, les workflows de bout en bout, et son efficacité pratique via des études de cas en catalyse, science des matériaux, synthèse organique et découverte de molécules. Nous couvrons également des extensions techniques cruciales pour les applications scientifiques, incluant l'expérimentation groupée, l'hétéroscédasticité, l'optimisation contextuelle et l'intégration humaine dans la boucle. Conçu pour un large public, ce tutoriel fait le lien entre les avancées de l'IA en OB et les applications pratiques en sciences naturelles, offrant un contenu à plusieurs niveaux pour permettre aux chercheurs interdisciplinaires de concevoir des expériences plus efficaces et d'accélérer une découverte scientifique fondée sur des principes.
La construction de modèles de raisonnement généralistes par apprentissage par renforcement avec récompenses vérifiables (RLVR) sur des domaines variés est largement adoptée par les modèles open-weight de pointe. Cependant, leurs méthodes d'entraînement et leurs mélanges de domaines restent souvent non divulgués. L'optimisation conjointe sur plusieurs domaines présente des défis majeurs : les domaines varient considérablement en longueur de déploiement, difficulté des problèmes et efficacité d'échantillonnage. De plus, les modèles avec de longues chaînes de raisonnement accroissent les coûts d'inférence et la latence, rendant l'efficacité cruciale pour un déploiement pratique. Nous présentons Apriel-Reasoner, entraîné avec une recette reproductible de post-training RL multi-domaines sur Apriel-Base, un LLM open-weight de 15 milliards de paramètres, sur cinq domaines utilisant des jeux de données publics : mathématiques, génération de code, suivi d'instructions, puzzles logiques et appels de fonctions. Nous introduisons un mécanisme d'échantillonnage adaptatif des domaines qui préserve les ratios cibles malgré des dynamiques de déploiement hétérogènes, et une extension du pénalité de longueur standard sensible à la difficulté qui, sans surcoût d'entraînement, encourage les raisonnements longs pour les problèmes difficiles et les traces courtes pour les problèmes simples. Entraîné avec un budget strict de 16K tokens en sortie, Apriel-Reasoner généralise à 32K tokens à l'inférence et surpasse Apriel-Base sur AIME 2025, GPQA, MMLU-Pro et LiveCodeBench tout en produisant des traces de raisonnement 30 à 50 % plus courtes. Il égale les performances de modèles open-weight solides de taille similaire à un coût tokenique inférieur, repoussant ainsi la frontière de Pareto entre précision et budget tokenique.
Les modèles de langages neuronaux autogressifs pour codec ont démontré une forte capacité de clonage vocal en zero-shot, mais les architectures à décodeur seul traitent le texte d'entrée comme un préfixe qui entre en concurrence avec la séquence audio croissante pour la capacité positionnelle, affaiblissant le conditionnement textuel sur les énoncés longs. Nous présentons T5Gemma-TTS, un modèle de langage à codec de type encodeur-décodeur qui maintient un conditionnement textuel persistant en acheminant des représentations textuelles bidirectionnelles via une attention croisée à chaque couche du décodeur. Construit sur l'architecture pré-entraînée encodeur-décodeur T5Gemma (encodeur 2B + décodeur 2B ; 4 milliards de paramètres), il hérite de riches connaissances linguistiques sans conversion phonémique et traite le texte directement au niveau des sous-mots. Pour améliorer le contrôle de la durée, nous introduisons un encodage positionnel rotatoire avec surveillance de la progression (PM-RoPE) dans les 26 couches d'attention croisée, injectant des signaux de progression normalisés qui aident le décodeur à suivre la longueur de parole cible. Entraîné sur 170 000 heures de parole multilingue en anglais, chinois et japonais, T5Gemma-TTS obtient un gain de similarité du locuteur statistiquement significatif pour le japonais par rapport à XTTSv2 (0,677 contre 0,622 ; intervalles de confiance à 95 % non chevauchants) et la similarité du locuteur coréen numérique la plus élevée (0,747) bien que le coréen ne soit pas inclus dans l'entraînement, bien que cette marge par rapport à XTTSv2 (0,741) ne soit pas statistiquement concluante. Il atteint également le taux d'erreur sur les caractères japonais numérique le plus bas parmi cinq modèles de référence (0,126), bien que ce classement doive être interprété avec prudence en raison d'un chevauchement partiel des intervalles de confiance avec Kokoro. Les résultats en anglais sur LibriSpeech doivent être considérés comme une estimation de la borne supérieure car LibriHeavy est un sur-ensemble de LibriSpeech. En utilisant la même checkpoint, la désactivation de PM-RoPE lors de l'inférence provoque un échec de synthèse quasi-complet : le CER se dégrade de 0,129 à 0,982 et la précision de la durée chute de 79% à 46%. Le code et les poids sont disponibles à l'adresse https://github.com/Aratako/T5Gemma-TTS.
Les progrès récents en génération visuelle contrôlable par diffusion ont conduit à des améliorations remarquables de la qualité d'image. Cependant, ces modèles puissants sont généralement déployés sur des serveurs cloud en raison de leurs importantes exigences computationnelles, ce qui soulève de sérieuses préoccupations concernant la confidentialité des données utilisateur. Pour permettre une génération sécurisée et efficace sur les appareils, nous explorons dans cet article des modèles de diffusion contrôlable basés sur des architectures à attention linéaire, qui offrent une scalabilité et une efficacité supérieures, même sur les appareils edge. Pourtant, nos expériences révèlent que les cadres de génération contrôlable existants, tels que ControlNet et OminiControl, manquent soit de flexibilité pour prendre en charge plusieurs types de conditions hétérogènes, soit souffrent d'une convergence lente sur de tels modèles à attention linéaire. Pour remédier à ces limitations, nous proposons un nouveau cadre de diffusion contrôlable conçu pour des architectures à attention linéaire comme SANA. Le cœur de notre méthode réside dans un module de conditionnement à porte unifiée fonctionnant dans un pipeline à double voie, qui intègre efficacement des entrées conditionnelles de types multiples, telles que des indices spatialement alignés et non alignés. Des expériences approfondies sur plusieurs tâches et benchmarks démontrent que notre approche atteint des performances de pointe en génération contrôlable basée sur des modèles à attention linéaire, surpassant les méthodes existantes en termes de fidélité et de contrôlabilité.
Bien que les modèles à Interaction Tardive présentent de solides performances en recherche d'information, nombre de leurs dynamiques sous-jacentes restent peu étudiées, ce qui pourrait masquer des goulots d'étranglement limitant leurs performances. Dans ce travail, nous nous concentrons sur deux aspects de la recherche par Interaction Tardive : un biais de longueur qui survient lors de l'utilisation du score multi-vecteurs, et la distribution des similarités au-delà des meilleurs scores agrégés par l'opérateur MaxSim. Nous analysons ces comportements pour des modèles de pointe sur le benchmark NanoBEIR. Les résultats montrent que si le biais de longueur théorique des modèles à Interaction Tardive causale se vérifie en pratique, les modèles bidirectionnels peuvent également en souffrir dans des cas extrêmes. Nous constatons également qu'aucune tendance significative de similarité n'existe au-delà du meilleur token de document, ce qui valide que l'opérateur MaxSim exploite efficacement les scores de similarité au niveau token.
Les agents de programmation basés sur LLM actuels suivent un paradigme d'exécution séquentielle : le modèle génère d'abord le code complet, puis invoque un interpréteur pour l'exécuter. Ce flux de travail laisse l'exécuteur inactif pendant la génération et le générateur inactif pendant l'exécution, ce qui entraîne une latence de bout en bout inutile. Nous observons que, contrairement aux développeurs humains, les LLM produisent les tokens de code séquentiellement sans révision, ce qui rend possible l'exécution du code pendant sa génération. Nous formalisons ce paradigme d'exécution parallèle en le modélisant comme un pipeline à trois étapes (génération, détection, exécution) et dérivons des bornes de latence sous forme close qui caractérisent son potentiel d'accélération et ses régimes de fonctionnement. Nous présentons ensuite Eager, une implémentation concrète dotée d'un découpage basé sur l'AST, d'un traitement par lots dynamique avec exécution conditionnelle et d'une interruption anticipée en cas d'erreur. Nous évaluons Eager sur quatre benchmarks, sept LLM et trois environnements d'exécution. Les résultats montrent qu'Eager réduit la latence d'exécution non chevauchée jusqu'à 99,9 % et la latence de bout en bout jusqu'à 55 % sur l'ensemble des sept LLM et quatre benchmarks.
Alors que les agents de modèles de langage de grande taille (LLM) sont de plus en plus déployés dans des domaines ouverts comme l'ingénierie logicielle, ils rencontrent fréquemment des instructions sous-spécifiées qui manquent de contexte crucial. Alors que les développeurs humains résolvent naturellement la sous-spécification en posant des questions de clarification, les agents actuels sont largement optimisés pour une exécution autonome. Dans ce travail, nous évaluons systématiquement les capacités de recherche de clarification des agents LLM sur une variante sous-spécifiée de SWE-bench Verified. Nous proposons une architecture multi-agents consciente de l'incertitude qui découple explicitement la détection de la sous-spécification de l'exécution du code. Nos résultats démontrent que ce système multi-agents utilisant OpenHands + Claude Sonnet 4.5 atteint un taux de résolution de tâches de 69,40 %, surpassant significativement une configuration mono-agent standard (61,20 %) et comblant l'écart de performance avec les agents opérant sur des instructions pleinement spécifiées. De plus, nous constatons que le système multi-agents présente une incertitude bien calibrée, économisant les requêtes sur les tâches simples tout en recherchant activement des informations sur les problèmes plus complexes. Ces résultats indiquent que les modèles actuels peuvent être transformés en collaborateurs proactifs, où les agents reconnaissent indépendamment quand poser des questions pour obtenir les informations manquantes dans des tâches réelles sous-spécifiées.
La communauté de recherche audio s'appuie sur des modèles génératifs ouverts comme outils fondamentaux pour développer de nouvelles approches et établir des références. Dans ce rapport, nous présentons Woosh, le modèle fondation pour effets sonores publié publiquement par Sony AI, en détaillant son architecture, son processus d'entraînement et une évaluation comparative avec d'autres modèles ouverts populaires. Optimisé pour les effets sonores, nous fournissons (1) un modèle encodeur/décodeur audio de haute qualité et (2) un modèle d'alignement texte-audio pour le conditionnement, ainsi que (3) des modèles génératifs texte-vers-audio et (4) vidéo-vers-audio. Des modèles distillés texte-vers-audio et vidéo-vers-audio sont également inclus dans la publication, permettant un fonctionnement avec peu de ressources et une inférence rapide. Notre évaluation sur des données publiques et privées montre des performances compétitives ou supérieures pour chaque module par rapport aux alternatives ouvertes existantes comme StableAudio-Open et TangoFlux. Le code d'inférence et les poids des modèles sont disponibles à l'adresse https://github.com/SonyResearch/Woosh. Des échantillons de démonstration peuvent être consultés sur https://sonyresearch.github.io/Woosh/.
Les modèles vision-langage (VLM) produisent souvent des descriptions incohérentes d'un même objet selon les points de vue, ce qui entrave la capacité des agents incarnés à construire des représentations sémantiques cohérentes dans le temps. Les méthodes antérieures résolvaient ces incohérences par agrégation multi-vues hors-ligne ou par des pipelines multi-étapes dissociant exploration, association de données et apprentissage de légendes, avec une capacité limitée à raisonner sur les objets précédemment observés. Dans cet article, nous présentons un agent vision-langage unifié, augmenté d'une mémoire, qui traite simultanément l'association de données, la légendation d'objets et la politique d'exploration dans un cadre autoregressif unique. Le modèle traite l'observation RGB courante, une carte explorée en vue de dessus et une mémoire épisodique au niveau objet sérialisée en tokens, garantissant une identité persistante des objets et une cohérence sémantique sur des séquences étendues. Pour entraîner le modèle de manière auto-supervisée, nous collectons un jeu de données dans des environnements 3D photoréalistes à l'aide d'une politique basée sur les désaccords et d'un modèle de pseudo-légendage imposant la cohérence des historiques de légendes multi-vues. Une évaluation approfondie sur un jeu de test annoté manuellement au niveau objet démontre des améliorations allant jusqu'à +11,86% sur les scores de légendage standard et +7,39% sur l'auto-similarité des légendes par rapport aux modèles de référence, tout en permettant des performances évolutives grâce à une représentation compacte de la scène. Le code, les poids des modèles et les données sont disponibles à l'adresse https://hsp-iit.github.io/epos-vlm/.
Les récents progrès en diffusion vidéo ont permis le développement de « modèles du monde » capables de simuler des environnements interactifs. Cependant, ces modèles sont largement limités à des configurations à agent unique, ne parvenant pas à contrôler simultanément plusieurs agents dans une scène. Dans ce travail, nous abordons un problème fondamental de liaison d'actions dans les modèles de diffusion vidéo existants, qui peinent à associer des actions spécifiques à leurs sujets correspondants. À cette fin, nous proposons ActionParty, un modèle du monde multi-sujets à contrôle d'action pour les jeux vidéo génératifs. Il introduit des jetons d'état de sujet, c'est-à-dire des variables latentes qui capturent de manière persistante l'état de chaque sujet dans la scène. En modélisant conjointement les jetons d'état et les latents vidéo avec un mécanisme de biais spatial, nous dissocions le rendu global de l'image vidéo des mises à jour individuelles des sujets contrôlés par des actions. Nous évaluons ActionParty sur le benchmark Melting Pot, démontrant le premier modèle du monde vidéo capable de contrôler jusqu'à sept joueurs simultanément dans 46 environnements diversifiés. Nos résultats montrent des améliorations significatives en matière de précision du suivi des actions et de cohérence d'identité, tout en permettant un suivi autorégressif robuste des sujets à travers des interactions complexes.
La modélisation 3D à partir de vues éparses représente une tension fondamentale entre la fidélité de reconstruction et la plausibilité générative. Alors que la reconstruction par propagation avant excelle en efficacité et alignement avec l'entrée, elle manque souvent des connaissances a priori globales nécessaires à l'intégrité structurelle. Inversement, la génération par diffusion fournit des détails géométriques riches mais peine avec la cohérence multi-vues. Nous présentons UniRecGen, un cadre unifié intégrant ces deux paradigmes en un système coopératif unique. Pour surmonter les conflits inhérents aux espaces de coordonnées, représentations 3D et objectifs d'apprentissage, nous alignons les deux modèles dans un espace canonique partagé. Nous employons un apprentissage coopératif désentrelacé, maintenant un entraînement stable tout en permettant une collaboration transparente lors de l'inférence. Spécifiquement, le module de reconstruction est adapté pour fournir des ancrages géométriques canoniques, tandis que le générateur par diffusion exploite un conditionnement à latents augmentés pour affiner et compléter la structure géométrique. Les résultats expérimentaux démontrent qu'UniRecGen atteint une fidélité et une robustesse supérieures, surpassant les méthodes existantes dans la création de modèles 3D complets et cohérents à partir d'observations éparses.
Les applications agentiques basées sur les grands modèles de langage reposent de plus en plus sur des boucles d'interaction multi-étapes impliquant la planification, l'exécution d'actions et le retour d'environnement. Bien que ces systèmes soient désormais déployés à grande échelle, leur amélioration post-déploiement reste difficile. Les trajectoires des agents sont volumineuses et non déterministes, et l'examen de chacune d'elles, que ce soit par une revue humaine ou par des LLM auxiliaires, est lent et économiquement prohibitif. Nous proposons un cadre léger, basé sur des signaux, pour le triage des trajectoires d'interaction agentiques. Notre approche calcule des signaux peu coûteux et largement applicables à partir des interactions en direct et les attache en tant qu'attributs structurés pour le triage des trajectoires, identifiant ainsi les interactions susceptibles d'être informatives sans affecter le comportement en ligne de l'agent. Nous organisons les signaux en une taxonomie à grain grossier couvrant l'interaction (désalignement, stagnation, désengagement, satisfaction), l'exécution (échec, boucle) et l'environnement (épuisement), conçue pour un calcul sans appels de modèle. Dans une étude d'annotation contrôlée sur τ-bench, un benchmark largement utilisé pour l'évaluation d'agents augmentés par outils, nous montrons que l'échantillonnage basé sur les signaux atteint un taux d'informativité de 82 % contre 74 % pour le filtrage heuristique et 54 % pour l'échantillonnage aléatoire, avec un gain d'efficacité de 1,52x par trajectoire informative. L'avantage est robuste across les strates de récompense et les domaines de tâches, confirmant que les signaux procurent de réels gains d'informativité par trajectoire plutôt que de simplement suréchantillonner les échecs évidents. Ces résultats montrent que des signaux légers peuvent servir d'infrastructure d'échantillonnage pratique pour les systèmes agentiques, et suggèrent une voie vers la construction de données de préférence et l'optimisation post-déploiement.
Les traits morphologiques sont des caractéristiques physiques des organismes biologiques qui fournissent des indices essentiels sur la manière dont les organismes interagissent avec leur environnement. Pourtant, l'extraction de ces traits reste un processus lent, piloté par des experts, ce qui limite leur utilisation dans les études écologiques à grande échelle. Un goulot d'étranglement majeur est l'absence de jeux de données de haute qualité reliant les images biologiques à des annotations au niveau des traits. Dans ce travail, nous démontrons que des autoencodeurs épars entraînés sur des caractéristiques de modèles de fondation produisent des neurones monosémantiques et spatialement ancrés qui s'activent systématiquement sur des parties morphologiques significatives. En tirant parti de cette propriété, nous introduisons un pipeline d'annotation de traits qui localise les régions saillantes et utilise l'incitation vision-langage pour générer des descriptions de traits interprétables. En utilisant cette approche, nous constituons Bioscan-Traits, un jeu de données de 80 000 annotations de traits couvrant 19 000 images d'insectes issues de BIOSCAN-5M. Une évaluation humaine confirme la plausibilité biologique des descriptions morphologiques générées. Nous évaluons la sensibilité de la conception par une étude d'ablation complète, en faisant varier systématiquement les choix de conception clés et en mesurant leur impact sur la qualité des descriptions de traits résultantes. En annotant les traits avec un pipeline modulaire plutôt que par des efforts manuels prohibitifs, nous offrons un moyen évolutif d'injecter une supervision biologiquement significative dans les modèles de fondation, de permettre des analyses morphologiques à grande échelle et de combler le fossé entre la pertinence écologique et la praticité de l'apprentissage automatique.
Les modèles de langage peuvent répondre à de nombreuses questions factuelles centrées sur des entités, mais les mécanismes internes impliqués dans ce processus restent mal compris. Nous étudions cette question à travers plusieurs modèles de langage. Nous localisons des neurones MLP sélectifs aux entités en utilisant des invites modélisées concernant chaque entité, puis nous les validons par des interventions causales sur des exemples de questions-réponses basés sur PopQA. Sur un ensemble curatisé de 200 entités tirées de PopQA, les neurones localisés se concentrent dans les couches précoces. L'ablation négative produit une amnésie spécifique à l'entité, tandis que l'injection contrôlée sur un token placeholder améliore la récupération des réponses par rapport à des contrôles d'entité moyenne et de cellule erronée. Pour de nombreuses entités, l'activation d'un seul neurone localisé suffit à rétablir des prédictions cohérentes avec l'entité une fois le contexte initialisé, ce qui correspond à une récupération compacte de l'entité plutôt qu'à un enrichissement purement graduel en profondeur. La robustesse aux alias, acronymes, fautes d'orthographe et formes multilingues soutient une interprétation par canonicalisation. L'effet est fort mais pas universel : toutes les entités n'admettent pas un point d'accès fiable à un seul neurone, et la couverture est plus élevée pour les entités populaires. Globalement, ces résultats identifient des points d'accès épars et causalement actionnables pour analyser et moduler le comportement factuel conditionné par les entités.
Les modèles vidéo du monde ont démontré un immense potentiel pour la simulation interactive et le divertissement, mais les systèmes actuels peinent encore avec deux aspects cruciaux de l'interactivité : le contrôle utilisateur sur l'environnement pour des expériences reproductibles et modifiables, et l'inférence partagée où les joueurs exercent une influence sur un monde commun. Pour résoudre ces limitations, nous introduisons une mémoire externe explicite dans le système - un état persistant fonctionnant indépendamment de la fenêtre de contexte du modèle - qui est continuellement mise à jour par les actions des utilisateurs et interrogée tout au long du déroulement de la génération. Contrairement aux moteurs de jeu par diffusion conventionnels qui fonctionnent comme des prédicteurs d'image suivante, notre approche décompose la génération en modules Mémoire, Observation et Dynamique. Cette conception offre aux utilisateurs un contrôle direct et modifiable sur la structure de l'environnement via une représentation mémoire éditable, et s'étend naturellement à des déploiements multijoueurs en temps réel avec des points de vue cohérents et des interactions transversales consistantes entre les joueurs.
La reconnaissance phonétique (RP) est un élément clé pour les tâches de traitement de la parole multilingues et à faibles ressources, mais une performance robuste reste difficile à atteindre. Les modèles très performants axés sur l'anglais ne se généralisent pas à travers les langues, tandis que les modèles multilingues sous-utilisent les représentations pré-entraînées. La manière dont l'échelle des données, l'architecture et l'objectif d'entraînement contribuent à la RP multilingue reste également peu claire. Nous présentons PhoneticXEUS -- entraîné sur des données multilingues à grande échelle et atteignant des performances de pointe à la fois sur la parole multilingue (17,7% PFER) et sur la parole anglaise accentuée (10,6% PFER). Grâce à des ablations contrôlées avec des évaluations couvrant plus de 100 langues dans un cadre unifié, nous établissons empiriquement notre méthode d'entraînement et quantifions l'impact des représentations d'apprentissage auto-supervisé, de l'échelle des données et des fonctions de perte. De plus, nous analysons les motifs d'erreur à travers les familles de langues, la parole accentuée et les traits articulatoires. Toutes les données et tous les codes sont publiés ouvertement.
Nous présentons Brainstacks, une architecture modulaire pour le fine-tuning continu multi-domaine des grands modèles de langage, qui conditionne l'expertise de domaine sous forme de piles d'adaptateurs gelées, composables de manière additive sur une base partagée et figée lors de l'inférence. Cinq composants imbriqués : (1) un MoE-LoRA avec un routage bruité de type Shazeer (top-2) sur les sept projections du transformeur, sous quantification 4-bit QLoRA avec mise à l'échelle rsLoRA ; (2) une boucle interne effectuant un renforcement résiduel en gelant les piles entraînées et en ajoutant de nouvelles ; (3) une boucle externe entraînant séquentiellement des piles spécifiques à un domaine avec des dépendances ordonnées par curriculum ; (4) une projection dans l'espace nul via SVD randomisée, contraignant les nouvelles piles à des sous-espaces orthogonaux aux directions antérieures, permettant un oubli nul en isolation ; (5) un méta-routeur sigmoïde basé sur les résultats, entraîné sur des cibles de combinaison de domaines découvertes empiriquement, qui pondère sélectivement les piles, permettant une composition inter-domaines. Deux expériences limites : (6) un pré-entraînement PSN sur un modèle initialisé aléatoirement ; (7) un apprentissage par renforcement par domaine (DPO/GRPO) validant la compatibilité avec l'alignement post-SFT. Validé sur TinyLlama-1.1B (4 domaines, 9 piles) et Gemma 3 12B IT (5 domaines, 10 piles), le MoE-LoRA atteint une convergence 2,5 fois plus rapide qu'un LoRA unique à paramètres équivalents, le renforcement résiduel dépasse le plafond de performance d'une pile unique, et le système routé retrouve la qualité de génération détruite par l'accumulation non gérée des piles. Le résultat principal : le routeur basé sur les résultats découvre que les piles de domaine encodent des primitives cognitives transférables (clarté dans le suivi d'instructions, raisonnement numérique, logique procédurale, structure de raisonnement en chaîne) plutôt qu'une connaissance spécifique à un domaine, les requêtes médicales étant routées vers les piles de dialogue et de mathématiques dans 97 % des cas, bien que ces piles ne contiennent aucune donnée médicale.