Articles de recherche IA sélectionnés quotidiennement avec traductions
Avec les progrès rapides de la compréhension vidéo, les benchmarks existants atteignent progressivement la saturation, révélant un écart critique entre les scores gonflés sur les classements et les capacités réelles des modèles en situation réelle. Pour combler ce fossé grandissant, nous présentons Video-MME-v2, un benchmark complet conçu pour évaluer rigoureusement la robustesse et la fiabilité de la compréhension vidéo. Afin d'évaluer systématiquement les capacités des modèles, nous concevons une hiérarchie progressive à trois niveaux qui accroît graduellement la complexité de la compréhension vidéo, allant de l'agrégation d'informations visuelles multi-points, à la modélisation de la dynamique temporelle, et aboutissant au raisonnement multimodal complexe. Par ailleurs, contrairement à la précision par question conventionnelle, nous proposons une stratégie d'évaluation non-linéaire par groupes qui impose à la fois la cohérence entre les requêtes apparentées et la logique dans le raisonnement à plusieurs étapes. Elle pénalise les réponses correctes mais fragmentées ou basées sur des conjectures, et n'accorde de crédit qu'aux réponses étayées par un raisonnement valide. Pour garantir la qualité des données, Video-MME-v2 est construit via un pipeline d'annotation humaine rigoureusement contrôlé, impliquant 12 annotateurs et 50 relecteurs indépendants. Soutenu par 3 300 heures de travail humain et jusqu'à 5 cycles d'assurance qualité, Video-MME-v2 vise à devenir l'un des benchmarks vidéo les plus autoritaires. Des expériences approfondies révèlent un écart substantiel entre le meilleur modèle actuel, Gemini-3-Pro, et les experts humains, et mettent en lumière un goulot d'étranglement hiérarchique clair : les erreurs dans l'agrégation d'informations visuelles et la modélisation temporelle se propagent pour limiter le raisonnement de haut niveau. Nous constatons en outre que le raisonnement de type "pensée" est fortement dépendant des indices textuels, améliorant les performances avec les sous-titres mais les dégradant parfois dans des contextes purement visuels. En exposant ces limitations, Video-MME-v2 établit un nouveau banc d'essai exigeant pour le développement de la prochaine génération de MLLMs vidéo.
Les grands modèles de langage sont de plus en plus déployés en tant qu'agents autonomes exécutant des workflows multi-étapes dans des environnements logiciels réels. Cependant, les benchmarks existants pour les agents souffrent de trois limitations critiques : (1) une évaluation opaque des trajectoires qui ne vérifie que les résultats finaux, (2) une évaluation sous-spécifiée de la sécurité et de la robustesse, et (3) une couverture modale et des paradigmes d'interaction restreints. Nous présentons Claw-Eval, une suite d'évaluation de bout en bout abordant ces trois lacunes. Elle comprend 300 tâches vérifiées par des humains couvrant 9 catégories réparties en trois groupes (orchestration de services généraux, perception et génération multimodales, et dialogue professionnel multi-tours). Chaque action de l'agent est enregistrée via trois canaux de preuve indépendants (traces d'exécution, journaux d'audit et instantanés de l'environnement), permettant une évaluation prenant en compte la trajectoire sur 2 159 critères granulaires. Le protocole de notation évalue l'Achèvement, la Sécurité et la Robustesse, rapportant le Score Moyen, Pass@k et Pass^k sur trois essais pour distinguer la capacité réelle des résultats chanceux. Les expériences sur 14 modèles de pointe révèlent que : (1) l'évaluation opaque des trajectoires est systématiquement peu fiable, manquant 44 % des violations de sécurité et 13 % des échecs de robustesse que notre pipeline hybride détecte ; (2) l'injection contrôlée d'erreurs dégrade principalement la cohérence plutôt que la capacité maximale, avec Pass^3 chutant jusqu'à 24 % tandis que Pass@3 reste stable ; (3) les performances multimodales varient fortement, la plupart des modèles performant moins bien sur la vidéo que sur les documents ou les images, et aucun modèle unique ne dominant sur toutes les modalités. Au-delà du benchmarking, Claw-Eval met en lumière des pistes d'action pour le développement d'agents, éclairant ce qu'il faut pour construire des agents non seulement capables, mais déployables de manière fiable.
Les systèmes de recherche d'information (RI) ont traditionnellement été conçus et entraînés pour des utilisateurs humains, les méthodes d'apprentissage du classement reposant largement sur des logs d'interaction humaine à grande échelle tels que les clics et le temps de consultation. Cependant, avec l'émergence rapide d'agents de recherche alimentés par des grands modèles de langage (LLM), la récupération est de plus en plus consommée par des agents plutôt que par des êtres humains, et est intégrée comme composant central dans des boucles de raisonnement et d'action multi-tours. Dans ce contexte, les modèles de recherche entraînés selon des hypothèses centrées sur l'humain présentent une inadéquation fondamentale avec la manière dont les agents formulent des requêtes et consomment les résultats. Dans ce travail, nous soutenons que les modèles de recherche pour la recherche agentique devraient être entraînés directement à partir des données d'interaction des agents. Nous introduisons l'apprentissage de la récupération à partir des trajectoires d'agents comme un nouveau paradigme d'entraînement, où la supervision est dérivée d'interactions agentiques multi-étapes. Par une analyse systématique des trajectoires des agents de recherche, nous identifions des signaux comportementaux clés qui révèlent l'utilité des documents, incluant les actions de navigation, les rejets non consultés et les traces de raisonnement post-consultation. Guidés par ces observations, nous proposons LRAT, un cadre simple mais efficace qui extrait une supervision de haute qualité pour la recherche à partir des trajectoires d'agents et intègre l'intensité de pertinence via une optimisation pondérée. Des expériences approfondies sur des benchmarks de recherche approfondie en domaine connu et hors domaine démontrent que les retrieveurs entraînés avec LRAT améliorent constamment le rappel des preuves, la réussite des tâches de bout en bout et l'efficacité d'exécution sur diverses architectures et échelles d'agents. Nos résultats mettent en évidence les trajectoires d'agents comme source de supervision pratique et évolutive, indiquant une direction prometteuse pour la recherche d'information à l'ère de la recherche agentique.
La sélection de candidats de code générés par LLM à l'aide de tests générés par LLM est difficile car les tests eux-mêmes peuvent être incorrects. Les méthodes existantes traitent soit tous les tests de manière égale, soit s'appuient sur des heuristiques ad hoc pour filtrer les tests non fiables. Pourtant, déterminer la correction des tests nécessite de savoir quels codes sont corrects, créant une dépendance circulaire. Notre idée clé est qu'il n'est pas nécessaire de déterminer la correction des tests : les votes des tests doivent classer, et non simplement compter. Ce qui importe n'est pas combien de codes passent un test, mais si le test peut distinguer le code correct du code incorrect. Nous brisons la dépendance circulaire via une évaluation leave-one-out : mettre de côté un test, classer les codes par leurs scores agrégés sur tous les tests restants, et mesurer si le motif de réussite/échec du test mis de côté est cohérent avec ce classement. Nous formalisons cette cohérence comme l'AUC leave-one-out (LOO-AUC) et prouvons que l'espérance de la LOO-AUC est proportionnelle à la capacité de chaque test à séparer le code correct du code incorrect. Sur cette base, nous proposons ACES (AUC ConsistEncy Scoring) avec deux variantes complémentaires : ACES-C fournit des poids sous forme close qui approchent théoriquement l'oracle en espérance sous une hypothèse faible sur la qualité moyenne des tests ; ACES-O supprime cette hypothèse et optimise itérativement un objectif LOO-AUC différentiable. Les deux opèrent uniquement sur la matrice binaire de réussite avec une surcharge négligeable, et atteignent l'état de l'art en Pass@k sur plusieurs benchmarks de génération de code.
La découverte autonome de bugs reste un défi majeur dans le développement logiciel moderne. Comparée à la génération de code, la complexité des environnements d'exécution dynamiques rend la découverte de bugs considérablement plus difficile pour les grands modèles de langage (LLM). Dans cet article, nous prenons le développement de jeux comme domaine représentatif et présentons le Benchmark de Jeux pour l'Assurance Qualité (GBQA), un benchmark contenant 30 jeux et 124 bugs vérifiés par des humains sur trois niveaux de difficulté, pour évaluer si les LLM peuvent détecter de manière autonome les bugs logiciels. Le benchmark est construit à l'aide d'un système multi-agents qui développe des jeux et injecte des bugs de manière scalable, avec des experts humains dans la boucle pour garantir l'exactitude. De plus, nous fournissons un agent interactif de base équipé d'une boucle ReAct multi-tours et d'un mécanisme de mémoire, permettant une exploration à long terme des environnements de jeu pour la détection de bugs sur différents LLM. Des expériences approfondies sur les LLM de pointe démontrent que la découverte autonome de bugs reste très difficile : le modèle le plus performant, Claude-4.6-Opus en mode pensée, n'identifie que 48,39 % des bugs vérifiés. Nous pensons que GBQA fournit un banc d'essai et un critère d'évaluation adéquats, et que de nouveaux progrès permettront de combler l'écart dans l'ingénierie logicielle autonome.
Nous présentons ThinkTwice, un cadre simple à deux phases qui optimise conjointement les LLM pour résoudre des problèmes de raisonnement et affiner les réponses, en s'appuyant sur l'Optimisation de Politique Relative par Groupe (GRPO). À chaque paire d'étapes d'entraînement, ThinkTwice optimise d'abord le modèle sur la résolution de problèmes de raisonnement, puis l'optimise sur l'affinage de ses propres solutions pour les mêmes problèmes, en utilisant la même récompense binaire de justesse dans les deux phases, sans signaux de correction ni annotations critiques. Sur cinq benchmarks de raisonnement mathématique et deux familles de modèles incluant Qwen3-4B et Olmo3-7B, ThinkTwice améliore substantiellement les performances en raisonnement et en affinage par rapport à des bases de référence compétitives d'optimisation de politique en ligne. Concrètement, sur Qwen3-4B, ThinkTwice surpasse GRPO sur AIME de 5 points de pourcentage avant l'affinage et de 11,5 points après une étape d'auto-affinage, mesuré par pass@4. L'analyse de la dynamique d'entraînement de ThinkTwice révèle un curriculum implicite de rectification puis renforcement : l'affinage corrige principalement les erreurs en début d'entraînement et évolue naturellement vers la préservation des solutions déjà correctes à mesure que le modèle s'améliore, produisant un signal de récompense plus rectifié. Notre travail établit l'entraînement conjoint du raisonnement et de l'auto-affinage comme une méthodologie fondée et efficace pour le RLVR.
Dans les scénarios réels de raisonnement intégrant des outils (TIR), où les LLM entrelacent raisonnement et appels à des outils externes, une source majeure d'inefficacité est que ces appels créent des pauses entre les requêtes du LLM et provoquent l'éviction du cache KV, forçant un recalcul. De plus, la longue réponse non filtrée renvoyée par les outils externes gonfle le cache KV, de sorte que chaque étape de décodage passe plus de temps à charger le cache croissant et devient donc progressivement plus lente à mesure que la longueur du contexte augmente. Cependant, les métriques d'efficacité existantes, comme le nombre de tokens et le nombre d'appels d'outils, ne parviennent pas à capturer la latence réelle d'inférence du modèle. Pour résoudre ce problème, nous introduisons les ETP (Équivalents en Tokens de Préremplissage), une métrique d'efficacité TIR prenant en compte le matériel, qui unifie les coûts du raisonnement interne et de l'utilisation d'outils externes tout en tenant compte explicitement du cache KV non réutilisable et des scénarios de réponses longues des outils. La validation dans un contexte industriel à haute concurrence indique que les ETP correspondent significativement mieux à la latence réelle mesurée que les décomptes standards de tokens, tout en maintenant des classements d'efficacité cohérents sur divers profils matériels. Nous menons des expériences approfondies sur cinq benchmarks TIR, quantifions leurs coûts en ETP et identifions quatre schémas d'inefficacité qui apparaissent dans le TIR. Nous découvrons également que les trajectoires avec des coûts ETP plus élevés ont tendance à avoir une exactitude de raisonnement plus faible, ce qui indique qu'utiliser simplement plus d'outils n'améliore pas la qualité de la réponse.
Nous présentons Vanast, un cadre unifié générant directement des vidéos d'animation humaine avec transfert de vêtements à partir d'une seule image humaine, d'images de vêtements et d'une vidéo de guidage de pose. Les approches conventionnelles en deux étapes traitent l'essayage virtuel basé sur l'image et l'animation pilotée par la pose comme des processus distincts, ce qui entraîne souvent une dérive identitaire, une distorsion des vêtements et une incohérence avant-arrière. Notre modèle résout ces problèmes en effectuant l'intégralité du processus en une seule étape unifiée pour obtenir une synthèse cohérente. Pour permettre ce cadre, nous construisons une supervision à grande échelle par triplets. Notre pipeline de génération de données comprend la génération d'images humaines préservant l'identité avec des tenues alternatives différentes des images de catalogue, la capture de triplets complets (haut et bas) pour surmonter la limitation des paires vidéo-pose à vêtement unique, et l'assemblage de triplets divers "in-the-wild" sans nécessiter d'images de catalogue. Nous introduisons en outre une architecture à Double Module pour les transformateurs de diffusion vidéo afin de stabiliser l'entraînement, de préserver la qualité générative pré-entraînée, et d'améliorer la précision des vêtements, l'adhésion à la pose et la préservation de l'identité, tout en supportant l'interpolation de vêtements zero-shot. Ensemble, ces contributions permettent à Vanast de produire une animation de haute fidélité et cohérente sur l'identité pour une large gamme de types de vêtements.
Il est crucial que les modèles vision-langage (VLM) comprennent de manière exhaustive les indices visuels, temporels et textuels. Cependant, malgré les progrès rapides en modélisation multimodale, les performances en compréhension vidéo restent à la traîne par rapport au raisonnement basé sur le texte. Dans ce travail, nous constatons que la situation est pire que ce qui était supposé : les benchmarks couramment rapportés pour la compréhension de vidéos longues contiennent 40 à 60 % de questions pouvant être résolues en utilisant les seuls indices textuels. De plus, nous observons que ces problèmes sont également omniprésents dans les ensembles de données de post-formation largement utilisés, compromettant potentiellement leur capacité à améliorer les performances des VLM en compréhension vidéo. Guidés par cette observation, nous présentons VidGround comme une solution simple mais efficace : n'utiliser pour la post-formation que les questions réellement ancrées visuellement, sans aucun biais linguistique. Employée conjointement avec des algorithmes de post-formation par apprentissage par renforcement, cette technique simple améliore les performances jusqu'à 6,2 points par rapport à l'utilisation du jeu de données complet, tout en n'utilisant que 69,1 % des données de post-formation originales. Par ailleurs, nous montrons qu'une curation des données avec un algorithme de post-formation simple surpasse plusieurs techniques de post-formation plus complexes, soulignant que la qualité des données est un goulot d'étranglement majeur pour l'amélioration de la compréhension vidéo des VLM. Ces résultats soulignent l'importance de curer les données de post-formation et les benchmarks d'évaluation qui exigent véritablement un ancrage visuel pour faire progresser le développement de VLM plus performants. Page du projet : http://vidground.etuagi.com.
Nous présentons MegaTrain, un système centré sur la mémoire qui entraîne efficacement des modèles de langage de plus de 100 milliards de paramètres en pleine précision sur un seul GPU. Contrairement aux systèmes traditionnels centrés sur le GPU, MegaTrain stocke les paramètres et les états de l'optimiseur dans la mémoire hôte (mémoire du CPU) et utilise les GPU comme des moteurs de calcul temporaires. Pour chaque couche, nous transférons les paramètres et calculons les gradients, en minimisant l'état persistant sur le périphérique. Pour lutter contre le goulot d'étranglement de la bande passante CPU-GPU, nous adoptons deux optimisations clés. 1) Nous introduisons un moteur d'exécution pipeline à double tampon qui chevauche le préchargement des paramètres, le calcul et le déchargement des gradients sur plusieurs flux CUDA, permettant une exécution GPU continue. 2) Nous remplaçons les graphes de rétropropagation persistants par des modèles de couche sans état, liant les poids dynamiquement lors de leur transfert, éliminant ainsi les métadonnées de graphe persistantes tout en offrant une flexibilité dans l'ordonnancement. Sur un seul GPU H200 avec 1,5 To de mémoire hôte, MegaTrain entraîne de manière fiable des modèles jusqu'à 120 milliards de paramètres. Il atteint également un débit d'entraînement 1,84 fois supérieur à celui de DeepSpeed ZeRO-3 avec déchargement sur CPU pour l'entraînement de modèles de 14 milliards de paramètres. MegaTrain permet également l'entraînement de modèles de 7 milliards de paramètres avec un contexte de 512 000 tokens sur un seul GH200.
Les compétences d'agent, qui sont des artefacts de connaissances réutilisables et spécifiques à un domaine, sont devenues un mécanisme populaire pour étendre les agents basés sur LLM, mais l'évaluation formelle des performances d'utilisation des compétences reste rare. Les efforts d'évaluation existants se concentrent sur des conditions excessivement idéalisées, où les LLM reçoivent directement des compétences spécifiques à la tâche, étroitement adaptées et créées manuellement pour chaque tâche, alors que dans de nombreux contextes réalistes, l'agent LLM peut devoir rechercher et sélectionner lui-même les compétences pertinentes, et même les compétences les plus proches peuvent ne pas être bien adaptées à la tâche. Dans cet article, nous menons la première étude complète de l'utilité des compétences dans des contextes réalistes progressivement difficiles, où les agents doivent récupérer des compétences parmi une large collection de 34 000 compétences réelles et peuvent ne pas avoir accès à des compétences présélectionnées manuellement. Nos résultats révèlent que les avantages des compétences sont fragiles : les gains de performance se dégradent systématiquement à mesure que les contextes deviennent plus réalistes, avec des taux de réussite approchant les lignes de base sans compétence dans les scénarios les plus difficiles. Pour réduire cet écart, nous étudions des stratégies de raffinement des compétences, incluant des approches spécifiques et non spécifiques à la requête, et nous montrons que le raffinement spécifique à la requête permet de récupérer substantiellement la performance perdue lorsque les compétences initiales présentent une pertinence et une qualité raisonnables. Nous démontrons en outre la généralité de la récupération et du raffinement sur Terminal-Bench 2.0, où ils améliorent le taux de réussite de Claude Opus 4.6 de 57,7 % à 65,5 %. Nos résultats, cohérents sur plusieurs modèles, soulignent à la fois la promesse et les limitations actuelles des compétences pour les agents basés sur LLM. Notre code est disponible à l'adresse https://github.com/UCSB-NLP-Chang/Skill-Usage.
La croissance rapide de la littérature scientifique rend de plus en plus difficile pour les chercheurs la découverte, l'évaluation et la synthèse efficaces des travaux pertinents. Les progrès récents des modèles de langage de grande taille (LLM) multi-agents ont démontré un fort potentiel pour la compréhension de l'intention de l'utilisateur et sont entraînés à utiliser divers outils. Dans cet article, nous présentons Paper Circle, un système multi-agents de découverte et d'analyse de la recherche conçu pour réduire l'effort nécessaire pour trouver, évaluer, organiser et comprendre la littérature académique. Le système comprend deux pipelines complémentaires : (1) un Pipeline de Découverte qui intègre la recherche en ligne et hors ligne à partir de multiples sources, le scoring multi-critères, le classement tenant compte de la diversité et les sorties structurées ; et (2) un Pipeline d'Analyse qui transforme les articles individuels en graphes de connaissances structurés avec des nœuds typés tels que concepts, méthodes, expériences et figures, permettant un système de questions-réponses basé sur les graphes et une vérification de la couverture. Les deux pipelines sont implémentés dans un cadre d'orchestration multi-agents basé sur un LLM codeur et produisent des résultats entièrement reproductibles et synchronisés, incluant JSON, CSV, BibTeX, Markdown et HTML à chaque étape de l'agent. Cet article décrit l'architecture du système, les rôles des agents, les méthodes de recherche et de scoring, le schéma du graphe de connaissances et les interfaces d'évaluation qui forment ensemble le flux de travail de recherche Paper Circle. Nous évaluons Paper Circle à la fois sur la recherche de documents et sur la génération de synthèses d'articles, en rapportant le taux de succès, le MRR et le Rappel à K. Les résultats montrent des améliorations constantes avec des modèles d'agents plus performants. Nous avons rendu public le site web à l'adresse https://papercircle.vercel.app/ et le code à l'adresse https://github.com/MAXNORM8650/papercircle.
L'évolution est un moteur extraordinaire de diversité enzymatique, mais la chimie qu'elle a explorée ne représente qu'une infime partie de ce que l'ADN peut encoder. Les modèles génératifs profonds peuvent concevoir de nouvelles protéines qui se lient à des ligands, mais aucun n'a créé d'enzymes sans pré-spécifier les résidus catalytiques. Nous présentons DISCO (DIffusion pour la CO-conception de séquences et de structures), un modèle multimodal qui co-conçoit la séquence protéique et la structure 3D autour de biomolécules arbitraires, ainsi que des méthodes de mise à l'échelle lors de l'inférence qui optimisent les objectifs dans les deux modalités. Conditionné uniquement sur des intermédiaires réactionnels, DISCO conçoit des enzymes à hème diverses avec des géométries de site actif novatrices. Ces enzymes catalysent des réactions de transfert de carbène nouvelles pour la nature, notamment la cyclopropanation d'alcènes, la spirocyclopropanation, et des insertions B-H et C(sp³)-H, avec des activités élevées dépassant celles d'enzymes issues du génie protéique. La mutagénèse aléatoire d'un design sélectionné a en outre confirmé que l'activité enzymatique peut être améliorée par évolution dirigée. En offrant une voie évolutive et évoluable vers de nouvelles enzymes, DISCO élargit le champ potentiel des transformations génétiquement encodables. Le code est disponible à l'adresse https://github.com/DISCO-design/DISCO.
Les modèles de langage à diffusion à grande échelle (dLLM) émergent comme une alternative convaincante aux modèles autorégressifs dominants, remplaçant la génération strictement séquentielle de tokens par une dynamique de génération parallèle et de dé-bruitage itératif. Cependant, leur écosystème open source reste fragmenté entre les familles de modèles et, en particulier, entre les pipelines de post-formation, où les objectifs d'apprentissage par renforcement, les implémentations de déploiement et les scripts d'évaluation sont souvent publiés sous forme de bases de code spécifiques à un article. Cette fragmentation ralentit l'itération de la recherche, alourdit la charge technique de reproduction et rend difficile la comparaison équitable des algorithmes. Nous présentons DARE (dLLMs Alignment and Reinforcement Executor), un cadre ouvert pour la post-formation et l'évaluation des dLLM. Construit sur verl~sheng2024hybridflow et OpenCompass~2023opencompass, DARE unifie le réglage fin supervisé, le réglage fin efficace en paramètres, l'optimisation des préférences et l'apprentissage par renforcement spécifique aux dLLM sous une pile d'exécution commune pour les modèles de langage à diffusion masquée et par blocs. Sur un ensemble de familles de modèles représentatives, incluant LLaDA, Dream, SDAR et LLaDA2.x, DARE offre une couverture algorithmique étendue, une évaluation reproductible par benchmark et une accélération pratique. Des résultats empiriques approfondis positionnent DARE comme un substrat de recherche réutilisable pour développer, comparer et déployer des méthodes de post-formation pour les dLLM actuels et émergents.
Les agents de modèles de langage de grande taille (LLM) sont de plus en plus déployés pour automatiser les tâches de productivité (par exemple, courriel, planification, gestion de documents), mais leur évaluation sur des services en direct est risquée en raison de modifications potentiellement irréversibles. Les bancs d'essai existants reposent sur des environnements simplifiés et ne parviennent pas à capturer des workflows réalistes, avec état et multi-services. Nous présentons ClawsBench, un banc d'essai pour évaluer et améliorer les agents LLM dans des contextes de productivité réalistes. Il comprend cinq services simulés de haute fidélité (Gmail, Slack, Google Agenda, Google Docs, Google Drive) avec une gestion complète de l'état et des fonctions déterministes d'instantané/restauration, ainsi que 44 tâches structurées couvrant des scénarios mono-service, inter-services et critiques pour la sécurité. Nous décomposons l'échafaudage des agents en deux leviers indépendants (les compétences métier qui injectent des connaissances API via une divulgation progressive, et un méta-invite qui coordonne le comportement entre les services) et faisons varier les deux pour mesurer leurs effets séparés et combinés. Les expériences sur 6 modèles, 4 infrastructures d'agents et 33 conditions montrent qu'avec un échafaudage complet, les agents atteignent des taux de réussite des tâches de 39 à 64 % mais présentent des taux d'actions non sécurisées de 7 à 33 %. Sur OpenClaw, les cinq meilleurs modèles se situent dans une fourchette de 10 points de pourcentage pour la réussite des tâches (53-63 %), avec des taux d'actions non sécurisées de 7 % à 23 % et aucun ordre cohérent entre les deux métriques. Nous identifions huit schémas récurrents de comportement non sécurisé, incluant l'escalade de privilèges en plusieurs étapes et la modification silencieuse de contrats.
Le paradigme statique « entraînement puis déploiement » limite fondamentalement la capacité des grands modèles de langage (LLM) à adapter dynamiquement leurs poids en réponse aux flux continus de nouvelles informations inhérents aux tâches du monde réel. L’apprentissage en phase de test (Test-Time Training, TTT) offre une alternative convaincante en mettant à jour un sous-ensemble de paramètres du modèle (poids rapides) lors de l’inférence, mais son potentiel dans l’écosystème actuel des LLM est entravé par des obstacles critiques, notamment l’incompatibilité architecturale, l’inefficacité computationnelle et des objectifs de poids rapides non alignés avec la modélisation du langage. Dans ce travail, nous présentons l’apprentissage en phase de test sur place (In-Place TTT), un cadre qui dote de manière transparente les LLM de la capacité d’apprentissage en phase de test. In-Place TTT utilise la matrice de projection finale des blocs MLP omniprésents comme poids rapides adaptables, permettant une amélioration « prête à l’emploi » pour les LLM sans réentraînement coûteux depuis zéro. De plus, nous remplaçons l’objectif générique de reconstruction de TTT par un objectif sur mesure et théoriquement fondé, explicitement aligné avec la tâche de prédiction du token suivant qui régit la modélisation autoregressive du langage. Cet objectif principiel, combiné à un mécanisme de mise à jour efficace par blocs, donne lieu à un algorithme hautement scalable compatible avec le parallélisme de contexte. Des expériences approfondies valident l’efficacité de notre cadre : en tant qu’amélioration sur place, il permet à un modèle de 4 milliards de paramètres d’atteindre des performances supérieures sur des tâches avec des contextes allant jusqu’à 128k, et lorsqu’il est pré-entraîné depuis zéro, il surpasse constamment les approches concurrentes liées au TTT. Les résultats de l’étude d’ablation fournissent en outre un aperçu plus profond de nos choix de conception. Collectivement, nos résultats établissent In-Place TTT comme une étape prometteuse vers un paradigme d’apprentissage continu dans les LLM.
L'élagage de réseau, qui supprime les paramètres ou architectures moins importants, est souvent censé améliorer l'efficacité tout en préservant les performances. Cependant, cette attente ne se vérifie pas systématiquement selon les tâches linguistiques : les modèles élagés peuvent bien performer sur des tâches non génératives mais échouent fréquemment dans des contextes génératifs. Pour comprendre cet écart, nous analysons l'élagage de réseau sous l'angle de la hiérarchie des représentations, en décomposant le calcul interne des modèles linguistiques en trois espaces séquentiels : plongement lexical (représentations cachées), logit (sorties pré-activation softmax) et probabilité (distributions post-softmax). Nous constatons que les représentations dans les espaces de plongement et de logit sont largement robustes aux perturbations induites par l'élagage. Cependant, la transformation non linéaire des logits vers les probabilités amplifie ces déviations, qui s'accumulent à travers les pas de temps et conduisent à une dégradation substantielle durant la génération. En revanche, la stabilité du sous-espace probabiliste catégoriel des tokens, couplée à la robustesse de l'espace de plongement, soutient l'efficacité de l'élagage pour les tâches non génératives comme la recherche d'information et la sélection à choix multiples. Notre analyse dissocie les effets de l'élagage selon les tâches et fournit des orientations pratiques pour son application. Le code est disponible à l'adresse https://github.com/CASE-Lab-UMD/Pruning-on-Representations
Nous présentons MedGemma 1.5 4B, le dernier modèle de la collection MedGemma. MedGemma 1.5 étend les capacités de MedGemma 1 en intégrant de nouvelles fonctionnalités : l'imagerie médicale haute dimension (volumes de tomodensitométrie/IRM et images de lames histopathologiques complètes), la localisation anatomique via des boîtes englobantes, l'analyse multi-temporelle des radiographies thoraciques et une meilleure compréhension des documents médicaux (rapports de laboratoire, dossiers médicaux électroniques). Nous détaillons les innovations nécessaires pour permettre ces modalités au sein d'une architecture unique, incluant de nouvelles données d'entraînement, le découpage contextuel long de volumes 3D et l'échantillonnage de lames histopathologiques complètes. Comparé à MedGemma 1 4B, MedGemma 1.5 4B démontre des gains significatifs dans ces nouveaux domaines, améliorant la précision de classification des conditions en IRM 3D de 11 % et en tomodensitométrie 3D de 3 % (améliorations absolues). Pour l'imagerie pathologique sur lames complètes, MedGemma 1.5 4B obtient un gain de F1 macro de 47 %. De plus, il améliore la localisation anatomique avec une augmentation de 35 % de l'Intersection sur Union sur les radiographies thoraciques et atteint une précision macro de 4 % pour l'analyse longitudinale (multi-temporelle) des radiographies thoraciques. Au-delà de ses performances multimodales supérieures à MedGemma 1, MedGemma 1.5 améliore les connaissances et le raisonnement cliniques basés sur le texte, progressant de 5 % sur la précision MedQA et de 22 % sur la précision EHRQA. Il obtient également une moyenne de 18 % de F1 macro sur 4 ensembles de données différents d'extraction d'informations de rapports de laboratoire (EHR Datasets 2, 3, 4 et Mendeley Clinical Laboratory Test Reports). Dans l'ensemble, MedGemma 1.5 constitue une ressource open source robuste pour la communauté, conçue comme une base améliorée sur laquelle les développeurs peuvent créer la prochaine génération de systèmes d'IA médicale. Les ressources et tutoriels pour construire à partir de MedGemma 1.5 sont disponibles à l'adresse https://goo.gle/MedGemma.
Les modèles d'action mondiale (WAMs) sont apparus comme une direction prometteuse pour l'apprentissage de politiques robotiques, car ils peuvent exploiter des modèles de base vidéo puissants pour modéliser les états futurs. Cependant, les approches existantes reposent souvent sur des modules d'action séparés, ou utilisent des représentations d'action qui ne sont pas ancrées dans les pixels, ce qui rend difficile l'exploitation complète des connaissances pré-entraînées des modèles vidéo et limite le transfert entre les points de vue et les environnements. Dans ce travail, nous présentons Action Images, un modèle d'action mondiale unifié qui formule l'apprentissage de politiques comme une génération de vidéo multivue. Au lieu de coder le contrôle sous forme de jetons de faible dimension, nous traduisons les actions robotiques à 7 degrés de liberté en images d'action interprétables : des vidéos d'action multi-vues qui sont ancrées dans des pixels 2D et suivent explicitement le mouvement du bras robotique. Cette représentation d'action ancrée dans les pixels permet au modèle de base vidéo lui-même d'agir comme une politique zero-shot, sans tête de politique ni module d'action séparé. Au-delà du contrôle, le même modèle unifié prend en charge la génération conjointe vidéo-action, la génération vidéo conditionnée par l'action et l'étiquetage d'action sous une représentation partagée. Sur les évaluations RLBench et en conditions réelles, notre modèle atteint les taux de succès zero-shot les plus élevés et améliore la qualité de la génération conjointe vidéo-action par rapport aux modèles mondiaux antérieurs dans l'espace vidéo, suggérant que les images d'action interprétables constituent une voie prometteuse pour l'apprentissage de politiques.
Les MLLM ont été appliqués avec succès aux tâches d'embedding multimodal, mais leurs capacités de raisonnement génératif restent sous-utilisées. L'intégration directe du raisonnement en chaîne de pensée dans l'apprentissage d'embedding présente deux défis fondamentaux. Premièrement, le désalignement structurel entre le raisonnement au niveau instance et la supervision contrastive par paires peut entraîner un comportement de raccourci, où le modèle apprend simplement le format superficiel du raisonnement. Deuxièmement, le raisonnement n'est pas universellement bénéfique pour les tâches d'embedding. Imposer un raisonnement pour toutes les entrées peut introduire une latence et des calculs inutiles, et peut même obscurcir les signaux sémantiques saillants pour les cas simples. Pour résoudre ces problèmes, nous proposons MMEmb-R1, un framework d'embedding multimodal adaptatif basé sur le raisonnement. Nous formulons le raisonnement comme une variable latente et introduisons une sélection de raisonnement consciente des paires qui utilise une intervention contrefactuelle pour identifier les chemins de raisonnement bénéfiques à l'alignement requête-cible. De plus, nous adoptons l'apprentissage par renforcement pour invoker sélectivement le raisonnement uniquement lorsque nécessaire. Les expériences sur le benchmark MMEB-V2 démontrent que notre modèle atteint un score de 71,2 avec seulement 4B paramètres, établissant un nouvel état de l'art tout en réduisant significativement la surcharge de raisonnement et la latence d'inférence.
Les agents LLM multimodaux opérant dans des environnements de jeu complexes doivent réutiliser continuellement l'expérience passée pour résoudre efficacement de nouvelles tâches. Dans ce travail, nous proposons Echo, un cadre de mémoire orienté transfert qui permet aux agents de dériver des connaissances actionnables d'interactions antérieures plutôt que de traiter la mémoire comme un référentiel passif d'enregistrements statiques. Pour rendre le transfert explicite, Echo décompose les connaissances réutilisables en cinq dimensions : structure, attribut, processus, fonction et interaction. Cette formulation permet à l'agent d'identifier les motifs récurrents partagés entre différentes tâches et de déduire quelle expérience antérieure reste applicable dans de nouvelles situations. S'appuyant sur cette formulation, Echo exploite l'Apprentissage par Analogie Contextuelle (ICAL) pour récupérer les expériences pertinentes et les adapter à des tâches non vues grâce à des exemples contextuels. Les expériences dans Minecraft montrent que, dans un cadre d'apprentissage à partir de zéro, Echo achieve une accélération de 1,3 à 1,7 fois sur les tâches de déverrouillage d'objets. De plus, Echo présente un phénomène de déverrouillage en chaîne de type explosif, déverrouillant rapidement plusieurs objets similaires dans un court intervalle de temps après avoir acquis une expérience transférable. Ces résultats suggèrent que le transfert d'expérience est une direction prometteuse pour améliorer l'efficacité et l'adaptabilité des agents LLM multimodaux dans des environnements interactifs complexes.
L'évaluation par les pairs en apprentissage automatique subit une pression croissante due à l'augmentation du volume de soumissions et au temps limité des évaluateurs. La plupart des systèmes d'évaluation basés sur les LLM se contentent de lire le manuscrit et génèrent des commentaires à partir du propre récit de l'article. Cela rend leurs résultats sensibles à la qualité de la présentation et les affaiblit lorsque les preuves nécessaires à l'évaluation se trouvent dans les travaux connexes ou le code publié. Nous présentons FactReview, un système d'évaluation fondé sur des preuves qui combine l'extraction d'affirmations, le positionnement dans la littérature et la vérification des affirmations par exécution. Pour une soumission donnée, FactReview identifie les affirmations principales et les résultats rapportés, récupère les travaux similaires pour clarifier la position technique de l'article et, lorsque le code est disponible, exécute le dépôt publié avec des budgets limités pour tester les affirmations empiriques centrales. Il produit ensuite une évaluation concise et un rapport de preuves qui attribue à chaque affirmation principale l'une des cinq étiquettes : Soutenu, Soutenu par l'article, Partiellement soutenu, En conflit, ou Non concluant. Dans une étude de cas sur CompGCN, FactReview reproduit des résultats qui correspondent étroitement à ceux rapportés pour la prédiction de liens et la classification de nœuds, mais montre également que l'affirmation plus large de performance de l'article sur différentes tâches n'est pas entièrement étayée : sur la classification de graphes MUTAG, le résultat reproduit est de 88,4 %, alors que la baseline la plus forte rapportée dans l'article reste à 92,6 %. L'affirmation n'est donc que partiellement soutenue. Plus largement, ce cas suggère que l'IA est plus utile dans l'évaluation par les pairs non pas comme décisionnaire final, mais comme outil pour recueillir des preuves et aider les évaluateurs à produire des évaluations plus fondées sur des preuves. Le code est public à l'adresse https://github.com/DEFENSE-SEU/Review-Assistant.
Les agents de codage consomment de manière répétée de longues observations d'outils, bien qu'une petite fraction seulement de chaque observation soit pertinente pour l'étape suivante. Nous étudions l'élagage conditionné par la tâche des sorties d'outils : étant donné une requête ciblée et une sortie d'outil, retourner le plus petit bloc de preuve textuel que l'agent devrait examiner ensuite. Nous présentons un benchmark de 11 477 exemples construits à partir d'interactions du référentiel SWE-bench et de sorties d'outils synthétiques multi-écosystèmes, avec un ensemble de test de 618 exemples curaté manuellement. Nous affinons Qwen 3.5 2B avec LoRA et le comparons à des modèles zero-shot plus grands et à des bases d'élagage heuristiques. Notre modèle atteint un rappel de 0,86 et un F1 de 0,80 tout en supprimant 92 % des jetons d'entrée, surpassant Qwen 3.5 35B A3B zero-shot de 11 points de rappel et toutes les bases heuristiques par une large marge.
Les modèles de langage de grande taille (LLM) obtiennent des performances solides en réparation de programmes mais souffrent souvent de sur-modification, où des modifications excessives écrasent du code correct et entravent la localisation des bogues. Nous quantifions systématiquement son impact et introduisons la tâche de réparation précise, qui maximise la réutilisation du code correct tout en corrigeant uniquement les parties boguées. Sur la base de cette idée, nous proposons PRepair, un cadre qui atténue la sur-modification et améliore la précision des réparations. PRepair comprend deux composants : l'auto-corruption, qui génère des programmes bogués diversifiés via l'injection contrôlée de bogues et un échantillonnage min-max, et l'auto-réparation, qui entraîne les modèles avec l'optimisation de politique relative par groupe sensible aux modifications (EA-GRPO) en utilisant une récompense sensible aux modifications pour encourager des éditions minimales mais correctes. Les expériences montrent que PRepair améliore la précision des réparations jusqu'à 31,4 % selon la métrique fix_1@1, qui considère conjointement la correction et l'étendue des réparations, et augmente significativement le débit de décodage lorsqu'il est combiné à l'édition spéculative, démontrant son potentiel pour une réparation de code précise et pratique.
Les grands modèles de langage (LLM) ont montré des capacités prometteuses pour simuler le comportement humain, mais les agents existants présentent souvent une rigidité comportementale, un défaut fréquemment masqué par le biais autoréférentiel des évaluations actuelles de type « LLM-comme-juge ». En nous basant sur une vérité terrain empirique, nous révélons un phénomène contre-intuitif : l'intensification du raisonnement piloté par prompt n'améliore pas la fidélité comportementale, mais exacerbe plutôt la polarisation des valeurs, réduisant la diversité populationnelle. Pour y remédier, nous proposons l'architecture Contexte-Valeur-Action (CVA), fondée sur le modèle Stimulus-Organisme-Réponse (S-O-R) et la théorie des valeurs humaines fondamentales de Schwartz. Contrairement aux méthodes reposant sur l'auto-vérification, CVA dissocie la génération d'actions du raisonnement cognitif via un Vérificateur de Valeurs novateur, entraîné sur des données humaines authentiques pour modéliser explicitement l'activation dynamique des valeurs. Les expériences sur CVABench, qui comprend plus de 1,1 million de traces d'interactions réelles, démontrent que CVA surpasse significativement les méthodes de référence. Notre approche atténue efficacement la polarisation tout en offrant une fidélité comportementale et une interprétabilité supérieures.
La synthèse de programmes graphiques est essentielle pour interpréter et éditer des données visuelles, facilitant efficacement la rétro-ingénierie de visuels statiques en code TikZ modifiable. Bien que TikZ soit le standard de facto pour les schémas scientifiques grâce à sa flexibilité programmatique, son exigence de précision spatiale rigoureuse représente un défi majeur pour les modèles de langage multimodaux. Les progrès sont actuellement entravés par deux lacunes principales : (1) Lacune de qualité des données : les corpus image-TikZ existants manquent souvent d'exécutabilité stricte et d'alignement visuel fiable ; (2) Lacune d'évaluation : absence de benchmarks pour la fidélité structurelle et visuelle. Pour y remédier, nous présentons un cadre en boucle fermée comprenant : SciTikZ-230K, un jeu de données à grande échelle et de haute qualité issu de notre moteur de données centré sur l'exécution, couvrant 11 disciplines scientifiques diverses ; SciTikZ-Bench, un benchmark multidimensionnel allant des constructions géométriques de base aux schémas hiérarchiques complexes pour évaluer à la fois la fidélité visuelle et la logique structurelle. Pour élargir davantage la portée de la méthodologie d'optimisation code-visuel, nous introduisons un nouveau paradigme d'optimisation par apprentissage par renforcement à double auto-cohérence, qui utilise la vérification aller-retour pour pénaliser le code dégénéré et renforcer l'auto-cohérence globale. Fort de ces avancées, notre modèle entraîné SciTikZer-8B obtient des performances state-of-the-art, surpassant systématiquement des modèles propriétaires comme Gemini-2.5-Pro et des modèles massifs comme Qwen3-VL-235B-A22B-Instruct.
Les modèles de langage par diffusion (DLM) permettent une génération de texte parallèle et non autorégressive. Cependant, les modèles de type mixture d'experts (MoE) existants pour les DLM héritent du routage par choix de token (TC) des systèmes autorégressifs, ce qui entraîne un déséquilibre de charge et une allocation de calcul rigide. Nous démontrons que le routage par choix d'expert (EC) est mieux adapté aux DLM : il offre par conception un équilibrage de charge déterministe, procurant un débit supérieur et une convergence plus rapide que le TC. En nous appuyant sur la propriété selon laquelle la capacité des experts dans l'EC est contrôlable extérieurement, nous introduisons une capacité d'expert dépendante du pas de temps, qui fait varier l'allocation des experts en fonction de l'étape de débruitage. Nous constatons qu'allouer plus de capacité aux étapes où le ratio de masquage est faible permet systématiquement d'atteindre les meilleures performances à complexité de calcul (FLOPs) équivalente, et nous en proposons une explication mécaniste : les tokens dans des contextes à faible ratio de masquage présentent une efficacité d'apprentissage supérieure d'un ordre de grandeur, donc concentrer le calcul sur ces étapes génère le rendement marginal le plus important. Enfin, nous montrons que les DLM-TC pré-entraînés existants peuvent être adaptés à l'EC en ne remplaçant que le routeur, obtenant ainsi une convergence accélérée et une précision améliorée sur diverses tâches en aval. Ensemble, ces résultats établissent le routage EC comme un paradigme supérieur pour les modèles DLM MoE et démontrent que le calcul dans les DLM peut être traité comme une politique adaptive plutôt que comme une constante architecturale fixe. Le code est disponible à l'adresse https://github.com/zhangshuibai/EC-DLM.
La modélisation des dynamiques spatiotemporelles à longue portée en imagerie par résonance magnétique fonctionnelle (IRMf) reste un défi majeur en raison de la haute dimensionnalité des signaux quadridimensionnels. Les modèles antérieurs basés sur les voxels, bien qu'ayant démontré d'excellentes performances et capacités d'interprétation, sont limités par des exigences mémoire prohibitives et ne peuvent donc capturer que des fenêtres temporelles restreintes. Pour résoudre ce problème, nous proposons TABLeT (Two-dimensionally Autoencoded Brain Latent Transformer), une approche novatrice qui tokenise les volumes d'IRMf à l'aide d'un autoencodeur d'images naturelles 2D pré-entraîné. Chaque volume 3D d'IRMf est compressé en un ensemble compact de tokens continus, permettant une modélisation de longues séquences avec un simple encodeur Transformer nécessitant une mémoire vidéo limitée. Sur de vastes benchmarks incluant UK-Biobank (UKB), Human Connectome Project (HCP) et ADHD-200, TABLeT surpasse les modèles existants dans plusieurs tâches, tout en démontrant des gains substantiels en efficacité computationnelle et mémoire par rapport à la méthode state-of-the-art basée sur les voxels avec les mêmes entrées. Par ailleurs, nous développons une approche d'auto-supervision par modélisation de tokens masqués pour pré-entraîner TABLeT, ce qui améliore les performances du modèle pour diverses tâches en aval. Nos résultats suggèrent une approche prometteuse pour une modélisation spatiotemporelle scalable et interprétable de l'activité cérébrale. Notre code est disponible à l'adresse https://github.com/beotborry/TABLeT.
Les modèles de langage de grande taille (LLM) à architecture Mixture-of-Experts (MoE) figurent parmi les architectures les plus performantes. Les plus grands modèles, comportant souvent des centaines de milliards de paramètres, posent d'importants défis mémoire pour leur déploiement. Les approches traditionnelles pour réduire les besoins en mémoire incluent l'élagage des poids et la quantification. Motivés par la méthode REAP (Router-weighted Expert Activation Pruning) qui élimine des experts, nous proposons une nouvelle méthode, REAM (Router-weighted Expert Activation Merging). Au lieu de supprimer des experts, REAM les regroupe et fusionne leurs poids, préservant ainsi mieux les performances originales. Nous évaluons REAM contre REAP et d'autres méthodes de référence sur plusieurs LLM MoE, en utilisant divers benchmarks de questions à choix multiples (MC) et de génération de texte (GEN). Nos résultats révèlent un compromis entre les performances MC et GEN qui dépend du mélange de données d'étalonnage. En contrôlant le mélange de données générales, mathématiques et de code, nous examinons la frontière de Pareto de ce compromis et montrons que REAM surpasse souvent les méthodes de référence et, dans de nombreux cas, est comparable aux modèles originaux non compressés.
Alors que les modèles de langage évoluent d'une génération de réponses unique vers un raisonnement en plusieurs étapes qui récupère et utilise des preuves en cours d'inférence, l'évaluation du rôle des éléments individuels récupérés devient plus cruciale. L'évaluation RAG existante se concentre généralement sur la qualité de la réponse finale, la fidélité des citations ou l'attribution au niveau de la réponse, mais aucune n'aborde directement la perspective utilitaire par élément de preuve, basée sur l'intervention, que nous étudions ici. Nous présentons CUE-R, un cadre léger basé sur l'intervention pour mesurer l'utilité opérationnelle par élément de preuve dans le RAG en une seule étape, en utilisant des traces d'utilisation de la récupération observables et superficielles. CUE-R perturbe les éléments de preuve individuels via les opérateurs SUPPRIMER, REMPLACER et DUPLIQUER, puis mesure les changements selon trois axes d'utilité (exactitude, fidélité de l'ancrage par proxy et erreur de confiance) ainsi qu'un signal de divergence des traces. Nous proposons également une taxonomie opérationnelle des rôles des preuves pour interpréter les résultats des interventions. Les expériences sur HotpotQA et 2WikiMultihopQA avec Qwen-3 8B et GPT-5.2 révèlent un schéma cohérent : SUPPRIMER et REMPLACER nuisent considérablement à l'exactitude et à l'ancrage tout en produisant des décalages importants des traces, tandis que DUPLIQUER est souvent redondant pour la réponse sans être totalement neutre comportementalement. Un contrôle sans récupération confirme que ces effets résultent de la dégradation d'une récupération significative. Une ablation à deux supports montre en outre que les éléments de preuve multi-sauts peuvent interagir de manière non additive : supprimer les deux supports nuit bien plus aux performances que la suppression d'un seul. Nos résultats suggèrent que l'évaluation basée uniquement sur la réponse néglige des effets importants des preuves et que l'analyse d'utilité basée sur l'intervention est un complément pratique pour l'évaluation RAG.