Articles de recherche IA sélectionnés quotidiennement avec traductions
OpenClaw s'est rapidement imposé comme un environnement d'exécution autonome open-source de premier plan, offrant des capacités puissantes incluant l'intégration d'outils, l'accès aux fichiers locaux et l'exécution de commandes shell. Cependant, ces privilèges opérationnels étendus introduisent des vulnérabilités de sécurité critiques, transformant les erreurs de modèle en menaces tangibles au niveau du système, telles que la fuite de données sensibles, l'élévation de privilèges et l'exécution de compétences tierces malveillantes. Les mesures de sécurité existantes pour l'écosystème OpenClaw restent très fragmentées, ne couvrant que des étapes isolées du cycle de vie de l'agent plutôt que de fournir une protection holistique. Pour combler cette lacune, nous présentons ClawKeeper, un cadre de sécurité en temps réel qui intègre des mécanismes de protection multidimensionnels à travers trois couches architecturales complémentaires. (1) La protection basée sur les compétences opère au niveau de l'instruction, injectant des politiques de sécurité structurées directement dans le contexte de l'agent pour imposer des contraintes spécifiques à l'environnement et traverser les limites des plateformes. (2) La protection basée sur les plugins agit comme un agent d'exécution interne, fournissant un durcissement de la configuration, une détection proactive des menaces et une surveillance comportementale continue tout au long du pipeline d'exécution. (3) La protection basée sur les observateurs introduit un middleware de sécurité novateur et découplé au niveau du système, qui vérifie continuellement l'évolution de l'état de l'agent. Il permet une intervention d'exécution en temps réel sans couplage avec la logique interne de l'agent, supportant des opérations telles que l'interruption d'actions à haut risque ou l'imposition d'une confirmation humaine. Nous soutenons que ce paradigme d'observateur présente un fort potentiel pour servir de brique fondamentale pour sécuriser les systèmes d'agents autonomes de nouvelle génération. Des évaluations qualitatives et quantitatives approfondies démontrent l'efficacité et la robustesse de ClawKeeper dans divers scénarios de menaces. Nous publions notre code.
L'intérêt croissant pour le développement d'agents capables d'interagir avec des plateformes numériques afin d'exécuter de manière autonome des tâches métier significatives a conduit à l'exploration de diverses approches. Parmi celles-ci figurent les agents augmentés par des outils, construits sur des abstractions comme le Model Context Protocol (MCP), et les agents web qui opèrent via des interfaces graphiques. Cependant, la nécessité de tels systèmes agentiques complexes, compte tenu de leur coût et de leur surcharge opérationnelle, reste incertaine. Nous avançons qu'un agent de codage, équipé uniquement d'un terminal et d'un système de fichiers, peut résoudre de nombreuses tâches métier plus efficacement en interagissant directement avec les API des plateformes. Nous évaluons cette hypothèse sur divers systèmes réels et montrons que ces agents bas niveau utilisant un terminal égalent ou surpassent les architectures d'agents plus complexes. Nos résultats suggèrent que des interfaces programmatiques simples, combinées à des modèles de fondation performants, sont suffisantes pour une automatisation métier pratique.
Les progrès récents des systèmes de recherche approfondie sont impressionnants, mais leur évaluation reste en deçà des besoins réels des utilisateurs. Les benchmarks existants évaluent principalement les rapports finaux à l'aide de grilles fixes, sans juger le processus de recherche sous-jacent. La plupart offrent également une couverture multimodale limitée, reposent sur des tâches synthétiques qui ne reflètent pas la complexité des requêtes réelles, et ne peuvent être actualisés avec l'évolution des connaissances. Pour combler ces lacunes, nous présentons MiroEval, un benchmark et cadre d'évaluation pour les systèmes de recherche approfondie. Le benchmark comprend 100 tâches (70 textuelles, 30 multimodales), toutes ancrées dans des besoins utilisateurs réels et construites via un pipeline à double voie permettant des mises à jour périodiques, créant ainsi un environnement dynamique et évolutif. La suite d'évaluation proposée juge les systèmes de recherche approfondie selon trois dimensions complémentaires : l'évaluation adaptive de la qualité de synthèse avec des grilles spécifiques aux tâches, la vérification factuelle agentique via une récupération active et un raisonnement sur les sources web et les pièces jointes multimodales, et l'évaluation centrée sur le processus qui audite la manière dont le système recherche, raisonne et affine tout au long de son investigation. L'évaluation de 13 systèmes révèle trois conclusions principales : les trois dimensions d'évaluation capturent des aspects complémentaires des capacités du système, chacune révélant des forces et faiblesses distinctes ; la qualité du processus sert d'indicateur fiable du résultat global tout en révélant des faiblesses invisibles aux métriques de sortie ; et les tâches multimodales présentent des défis substantiellement plus grands, avec une baisse de performance de 3 à 10 points pour la plupart des systèmes. La série MiroThinker obtient les performances les plus équilibrées, avec MiroThinker-H1 classé premier dans les deux contextes. Les vérifications humaines et les résultats de robustesse confirment la fiabilité du benchmark et du cadre d'évaluation. MiroEval fournit un outil de diagnostic holistique pour la prochaine génération d'agents de recherche approfondie.
Un modèle de langage de grande taille (LLM) peut-il s'améliorer en génération de code en utilisant uniquement ses propres sorties brutes, sans vérificateur, modèle enseignant ou apprentissage par renforcement ? Nous répondons par l'affirmative avec l'auto-distillation simple (SSD) : échantillonner des solutions à partir du modèle avec certaines configurations de température et de troncature, puis effectuer un fine-tuning supervisé standard sur ces échantillons. SSD améliore Qwen3-30B-Instruct de 42,4 % à 55,3 % en pass@1 sur LiveCodeBench v6, les gains se concentrant sur les problèmes plus difficiles, et il généralise à travers les modèles Qwen et Llama aux échelles 4B, 8B et 30B, incluant à la fois les variantes instruct et thinking. Pour comprendre pourquoi une méthode si simple peut fonctionner, nous retraçons ces gains à un conflit précision-exploration dans le décodage des LLM et montrons que SSD remodelle les distributions de tokens de manière contextuelle, supprimant les queues distractrices où la précision importe tout en préservant la diversité utile là où l'exploration compte. Ensemble, SSD offre une direction complémentaire de post-entraînement pour améliorer la génération de code des LLM.
Les progrès récents des grands modèles de langage ont amélioré les capacités des agents de programmation, mais l'évaluation systématique du développement web complexe de bout en bout reste limitée. Pour combler cette lacune, nous présentons Vision2Web, un benchmark hiérarchique pour le développement visuel de sites web, couvrant la génération de code à partir d'interface utilisateur statique, la reproduction interactive d'interfaces multi-pages, jusqu'au développement full-stack à long terme. Le benchmark est construit à partir de sites web réels et comprend 193 tâches réparties dans 16 catégories, avec 918 images de prototypes et 1 255 cas de test. Pour supporter une évaluation flexible, approfondie et fiable, nous proposons un paradigme de vérification d'agents basé sur des workflows reposant sur deux composants complémentaires : un vérificateur d'agent d'interface graphique et un évaluateur basé sur un modèle visuel de langage. Nous évaluons plusieurs modèles de langage visuel instanciés sous différents frameworks d'agents de programmation, révélant d'importants écarts de performance à tous les niveaux de tâches, les modèles les plus avancés éprouvant encore des difficultés avec le développement full-stack.
Sous la fidélité visuelle époustouflante des modèles modernes de génération d'intelligence artificielle (AIGC) se cache un « désert logique », où les systèmes échouent à des tâches nécessitant un raisonnement physique, causal ou spatial complexe. Les évaluations actuelles reposent largement sur des métriques superficielles ou des benchmarks fragmentés, créant un « mirage de performance » qui néglige le processus génératif. Pour y remédier, nous présentons ViGoR (Vision-Generative Reasoning-centric Benchmark), un cadre unifié conçu pour démanteler ce mirage. ViGoR se distingue par quatre innovations clés : 1) une couverture multimodale holistique reliant les tâches Image-à-Image et Vidéo ; 2) un mécanisme à double voie évaluant à la fois les processus intermédiaires et les résultats finaux ; 3) un juge automatisé fondé sur des preuves garantissant un fort alignement avec l'évaluation humaine ; et 4) une analyse diagnostique granulaire qui décompose la performance en dimensions cognitives fines. Des expériences sur plus de 20 modèles leaders révèlent que même les systèmes les plus avancés présentent des déficits de raisonnement significatifs, établissant ViGoR comme un « test de résistance » critique pour la prochaine génération de modèles de vision intelligents. La démonstration est disponible à l'adresse https://vincenthancoder.github.io/ViGoR-Bench/.
Les grands modèles de langage (LLM) présentant des comportements d'échelle au moment des tests, tels que des traces de raisonnement étendues et l'auto-vérification, ont démontré des performances remarquables sur des tâches de raisonnement complexes et à long terme. Cependant, la robustesse de ces comportements raisonnés reste insuffisamment explorée. Pour étudier cette question, nous menons une évaluation systématique de plusieurs modèles de raisonnement dans trois scénarios : (1) des problèmes augmentés d'un contexte long et non pertinent ; (2) des configurations conversationnelles multi-tours avec des tâches indépendantes ; et (3) des problèmes présentés comme sous-tâches dans une tâche complexe. Nous observons un phénomène intéressant : les modèles de raisonnement tendent à produire des traces de raisonnement beaucoup plus courtes (jusqu'à 50%) pour un même problème sous différentes conditions contextuelles, comparé aux traces produites lorsque le problème est présenté isolément. Une analyse plus fine révèle que cette compression est associée à une diminution des comportements d'auto-vérification et de gestion de l'incertitude, comme la double vérification. Bien que ce changement comportemental ne compromette pas les performances sur des problèmes simples, il pourrait affecter les résultats sur des tâches plus difficiles. Nous espérons que nos résultats attireront davantage l'attention sur la robustesse des modèles de raisonnement et sur le problème de la gestion du contexte pour les LLM et les agents basés sur des LLM.
La prévision de séries temporelles est cruciale dans les domaines de la finance, de la santé et de l'informatique en nuage, mais les progrès sont limités par un goulot d'étranglement fondamental : la rareté de référentiels de grande taille et de haute qualité. Pour combler cette lacune, nous présentons QuitoBench, un référentiel à régimes équilibrés pour la prévision de séries temporelles couvrant huit régimes de tendances/saisonnalités/prévisibilité (TSF), conçu pour capturer des propriétés pertinentes pour la prévision plutôt que des labels de domaine définis par l'application. Ce référentiel est construit sur Quito, un corpus de séries temporelles à l'échelle du milliard représentant le trafic applicatif d'Alipay couvrant neuf domaines métier. En évaluant 10 modèles issus de l'apprentissage profond, des modèles de fondation et des modèles statistiques de référence sur 232 200 instances d'évaluation, nous rapportons quatre résultats clés : (i) un croisement lié à la longueur du contexte où les modèles d'apprentissage profond mènent avec un contexte court (L=96) mais où les modèles de fondation dominent avec un contexte long (L ≥ 576) ; (ii) la prévisibilité est le principal facteur de difficulté, produisant un écart d'EMAP de 3,64 fois entre les régimes ; (iii) les modèles d'apprentissage profond égalent ou surpassent les modèles de fondation avec 59 fois moins de paramètres ; et (iv) l'augmentation du volume de données d'entraînement procure un bénéfice substantiellement plus important que l'augmentation de la taille du modèle pour les deux familles de modèles. Ces résultats sont validés par une forte cohérence inter-référentielle et inter-métrique. Notre publication en code source ouvert permet une évaluation reproductible et consciente des régimes pour la recherche en prévision de séries temporelles.
Nous présentons HippoCamp, une nouvelle référence conçue pour évaluer les capacités des agents en matière de gestion multimodale de fichiers. Contrairement aux benchmarks existants qui se concentrent sur des tâches telles que l'interaction web, l'utilisation d'outils ou l'automatisation logicielle dans des environnements génériques, HippoCamp évalue les agents dans des environnements centrés sur l'utilisateur pour modéliser des profils individuels et rechercher des fichiers personnels massifs en vue d'un raisonnement contextuel. Notre benchmark instancie des systèmes de fichiers à l'échelle d'un appareil sur des profils réels couvrant diverses modalités, comprenant 42,4 Go de données réparties sur plus de 2 000 fichiers du monde réel. À partir des fichiers bruts, nous construisons 581 paires de questions-réponses pour évaluer les capacités des agents en matière de recherche, de perception des preuves et de raisonnement à plusieurs étapes. Pour faciliter une analyse granulaire, nous fournissons 46 100 trajectoires structurées annotées de manière dense pour un diagnostic pas à pas des échecs. Nous évaluons un large éventail de modèles de langage multimodaux (MLLM) et de méthodes agentielles de pointe sur HippoCamp. Nos expériences complètes révèlent un écart de performance significatif : même les modèles commerciaux les plus avancés n'atteignent que 48,3 % de précision dans le profilage utilisateur, peinant particulièrement avec la récupération à long terme et le raisonnement intermodal au sein de systèmes de fichiers personnels denses. De plus, notre diagnostic pas à pas des échecs identifie la perception multimodale et l'ancrage des preuves comme les principaux goulots d'étranglement. En définitive, HippoCamp expose les limitations critiques des agents actuels dans des environnements réalistes et centrés sur l'utilisateur, et fournit une base solide pour le développement de la prochaine génération d'assistants personnels en IA.
Les progrès les plus récents en modélisation générative 3D reposent sur des formulations par diffusion ou par appariement de flux. Nous explorons plutôt une alternative entièrement autorégressive et présentons GaussianGPT, un modèle basé sur des transformateurs qui génère directement des Gaussiennes 3D via la prédiction du token suivant, facilitant ainsi la génération complète de scènes 3D. Nous compressons d'abord les primitives gaussiennes en une grille latente discrète à l'aide d'un autoencodeur convolutionnel 3D creux avec quantification vectorielle. Les tokens résultants sont sérialisés et modélisés à l'aide d'un transformateur causal avec un encodage positionnel rotatif 3D, permettant une génération séquentielle de la structure spatiale et de l'apparence. Contrairement aux méthodes basées sur la diffusion qui raffinent les scènes de manière holistique, notre formulation construit les scènes étape par étape, supportant naturellement la complétion, l'extension contextuelle, l'échantillonnage contrôlable via la température et des horizons de génération flexibles. Cette formulation tire parti des biais inductifs compositionnels et de l'évolutivité de la modélisation autorégressive tout en opérant sur des représentations explicites compatibles avec les pipelines de rendu neuronal modernes, positionnant les transformateurs autorégressifs comme un paradigme complémentaire pour la génération 3D contrôlable et sensible au contexte.
Les protocoles d'évaluation standard révèlent un phénomène contre-intuitif : sur 7,7 % des problèmes de référence couvrant cinq jeux de données, les grands modèles linguistiques obtiennent des performances inférieures de 28,4 points de pourcentage à celles des modèles plus petits, malgré des paramètres 10 à 100 fois plus nombreux. Par une évaluation systématique de 31 modèles (0,5 à 405 milliards de paramètres) sur 1 485 problèmes, nous identifions le mécanisme sous-jacent comme une verbosité spontanée dépendante de l'échelle, qui introduit des erreurs par surenchère explicative. Des expériences d'intervention causale démontrent que cela relève d'une conception de prompt corrigeable plutôt que de limitations fondamentales des capacités. Contraindre les grands modèles à produire des réponses concises améliore la précision de 26 points de pourcentage et réduit les écarts de performance jusqu'aux deux tiers. Plus crucialement, les contraintes de brièveté inversent complètement les hiérarchies de performance sur les benchmarks de raisonnement mathématique et de connaissances scientifiques, les grands modèles obtenant des avantages de 7,7 à 15,9 points de pourcentage sur les petits modèles – des inversions directes des écarts initiaux. Ces renversements prouvent que les grands modèles possèdent des capacités latentes supérieures que l'invitation universelle masque. Nous validons ces résultats par trois tests de contamination indépendants et démontrons que l'échelle inverse opère continuellement sur l'ensemble du spectre paramétrique, avec des échelles optimales spécifiques aux jeux de données variant de 0,5 à 3,0 milliards de paramètres. Nos résultats établissent que maximiser les performances des grands modèles nécessite une ingénierie de prompt adaptée à l'échelle plutôt que des protocoles d'évaluation universels, avec des implications immédiates pour le déploiement : l'adaptation des prompts améliore simultanément la précision et réduit les coûts computationnels.
L'essor du scaling au moment de l'inférence a considérablement accru les capacités de raisonnement et d'agentivité des grands modèles de langage (LLM). Pourtant, les Transformers standard peinent à adapter efficacement le calcul lors de l'inférence, car les stratégies de bouclage conventionnelles souffrent d'une charge computationnelle élevée et d'un cache KV qui gonfle avec la profondeur du modèle. Nous présentons Universal YOCO (YOCO-U), qui combine l'architecture décodeur-décodeur de YOCO avec le calcul récursif pour obtenir un effet synergique supérieur à chaque approche isolée. Construit sur le framework YOCO, YOCO-U implémente un Auto-Décodeur Universel qui effectue de multiples itérations via le partage de paramètres, tout en limitant le processus itératif à des couches à attention efficace et peu profondes. Cette combinaison offre un compromis capacité-efficacité favorable qu'aucune des deux techniques seule n'atteint. L'architecture YOCO fournit un cache KV global constant et un pré-remplissage linéaire, tandis que la récursion partielle améliore la profondeur représentationnelle avec une surcharge limitée. Ensemble, YOCO-U améliore l'utilité des tokens et le comportement de mise à l'échelle tout en maintenant une inférence efficace. Les résultats empiriques confirment que YOCO-U reste très compétitif dans les benchmarks généraux et à contexte long, démontrant que l'intégration d'architectes à attention efficace et de calculs récursifs est une voie prometteuse pour les LLM scalables.
Nous présentons PerceptionComp, un benchmark annoté manuellement pour le raisonnement vidéo complexe, à long horizon et centré sur la perception. PerceptionComp est conçu de telle sorte qu'aucun instant isolé ne suffise : répondre à chaque question nécessite de multiples éléments de preuve visuelle temporellement séparés et des contraintes compositionnelles relevant d'une logique conjonctive et séquentielle. Cela implique des sous-tâches perceptives telles que la reconnaissance d'objets, d'attributs, de relations, de localisations, d'actions et d'événements, et requiert des compétences incluant la reconnaissance sémantique, la correspondance visuelle, le raisonnement temporel et le raisonnement spatial. Le benchmark contient 1 114 questions très complexes portant sur 279 vidéos provenant de domaines variés tels que des visites urbaines, des visites de villas intérieures, des jeux vidéo et des sports de plein air extrêmes, avec une annotation manuelle à 100 %. Des études humaines montrent que PerceptionComp nécessite une réflexion substantielle au moment du test et des étapes perceptives répétées : les participants prennent beaucoup plus de temps que sur les benchmarks antérieurs, et la précision chute à un niveau proche du hasard (18,97 %) lorsque le re-visionnage est interdit. Les MLLM (Modèles de Langage Multimodaux) de pointe obtiennent également des résultats substantiellement moins bons sur PerceptionComp que sur les benchmarks existants : le meilleur modèle de notre évaluation, Gemini-3-Flash, n'atteint que 45,96 % de précision dans le cadre à cinq choix, tandis que les modèles open source restent en dessous de 40 %. Ces résultats suggèrent que le raisonnement vidéo à long horizon centré sur la perception reste un goulot d'étranglement majeur, et nous espérons que PerceptionComp contribuera à faire progresser le raisonnement perceptif.
Ce document présente le premier cadre d'évaluation systématique pour quantifier la qualité et les risques des articles rédigés par des agents de codage modernes. Bien que la rédaction automatisée d'articles par l'IA soit une préoccupation croissante, l'évaluation rigoureuse de la qualité et des risques potentiels de ces articles reste limitée, et une compréhension unifiée de leur fiabilité fait encore défaut. Nous introduisons Paper Reconstruction Evaluation (PaperRecon), un cadre d'évaluation dans lequel un aperçu (overview.md) est créé à partir d'un article existant, après quoi un agent génère un article complet sur la base de cet aperçu et de ressources supplémentaires minimales, le résultat étant ensuite comparé à l'article original. PaperRecon décompose l'évaluation des articles rédigés par l'IA en deux dimensions orthogonales, Présentation et Hallucination, où la Présentation est évaluée à l'aide d'une grille et l'Hallucination est évaluée via une évaluation agentique fondée sur la source de l'article original. Pour l'évaluation, nous introduisons PaperWrite-Bench, un benchmark de 51 articles issus de conférences prestigieuses dans divers domaines, publiés après 2025. Nos expériences révèlent un compromis clair : si ClaudeCode et Codex s'améliorent avec les avancées des modèles, ClaudeCode atteint une meilleure qualité de présentation au prix de plus de 10 hallucinations par article en moyenne, tandis que Codex produit moins d'hallucinations mais une qualité de présentation inférieure. Ce travail constitue une première étape vers l'établissement de cadres d'évaluation pour la rédaction automatisée d'articles par l'IA et l'amélioration de la compréhension de ses risques au sein de la communauté scientifique.
Les agents proactifs qui anticipent les besoins des utilisateurs et exécutent des tâches de manière autonome constituent des assistants numériques très prometteurs, mais l'absence de cadres de simulation réalistes des utilisateurs entrave leur développement. Les approches existantes modélisent les applications comme des API plates d'appel de fonctions, ne parvenant pas à capturer la nature séquentielle et avec état des interactions utilisateur dans les environnements numériques, ce qui rend la simulation réaliste des utilisateurs impossible. Nous présentons Proactive Agent Research Environment (Pare), un cadre pour construire et évaluer des agents proactifs dans des environnements numériques. Pare modélise les applications comme des machines à états finis avec une navigation avec état et un espace d'actions dépendant de l'état pour le simulateur d'utilisateur, permettant une simulation active de l'utilisateur. Sur cette base, nous présentons Pare-Bench, un benchmark de 143 tâches variées couvrant les applications de communication, de productivité, de planification et de style de vie, conçu pour tester l'observation du contexte, l'inférence des objectifs, le timing des interventions et l'orchestration multi-applications.
La distillation des connaissances est devenue un mécanisme essentiel pour transférer les capacités de raisonnement et l'expertise métier des grands modèles de langage (LLM) de pointe vers des modèles étudiants plus petits et déployables. Cependant, le paradigme dominant reste hors politique : les étudiants s'entraînent sur des données statiques générées par l'enseignant et ne rencontrent jamais leurs propres erreurs pendant l'apprentissage. Cette inadéquation entre l'entraînement et l'inférence, une instance du biais d'exposition, entraîne une accumulation autoregressive des erreurs de prédiction lors de l'inférence. La distillation en politique (OPD) résout ce problème en permettant à l'étudiant de générer ses propres trajectoires et de recevoir un retour d'information de l'enseignant sur ces sorties auto-générées, ancrant ainsi la distillation dans la théorie de l'apprentissage par imitation interactive. Malgré une croissance rapide couvrant la minimisation de la divergence, l'apprentissage guidé par les récompenses et l'auto-joué, la littérature sur l'OPD reste fragmentée sans cadre unifié. Cette étude fournit la première vue d'ensemble complète de l'OPD pour les LLM. Nous introduisons un cadre unifié basé sur la f-divergence sur des échantillons de politique et organisons le paysage selon trois dimensions orthogonales : le signal de feedback (basé sur les logits, sur le résultat ou l'auto-joué), l'accès à l'enseignant (boîte blanche, boîte noire ou sans enseignant) et la granularité de la perte (au niveau token, séquence ou hybride). Nous analysons systématiquement les méthodes représentatives, examinons les déploiements industriels et identifions les problèmes ouverts, incluant les lois d'échelle de la distillation, le feedback tenant compte de l'incertitude et la distillation au niveau agent.
Le repérage visuel 3D (3D-VG) vise à localiser des objets dans des scènes 3D à l'aide de descriptions en langage naturel. Bien que les récents progrès exploitant les modèles vision-langage (VLM) aient exploré des possibilités zero-shot, ils souffrent généralement d'un flux de travail statique reposant sur des nuages de points 3D prétraités, réduisant essentiellement le repérage à une mise en correspondance de propositions. Pour contourner cette dépendance, notre motivation centrale est de découpler la tâche : utiliser des VLM 2D pour résoudre la sémantique spatiale complexe, tout en s'appuyant sur la géométrie multi-vue déterministe pour instancier la structure 3D. Guidés par cette idée, nous proposons « Think, Act, Build (TAB) », un cadre agentiel dynamique qui reformule les tâches 3D-VG en un paradigme de reconstruction générative 2D-vers-3D opérant directement sur des flux bruts RGB-D. Plus précisément, guidé par une compétence spécialisée en 3D-VG, notre agent VLM invoque dynamiquement des outils visuels pour suivre et reconstruire la cible à travers des images 2D. Surtout, pour surmonter le déficit de couverture multi-vue causé par le suivi sémantique strict du VLM, nous introduisons l'Expansion Géométrique à Ancrage Sémantique, un mécanisme qui ancre d'abord la cible dans un clip vidéo de référence, puis exploite la géométrie multi-vue pour propager sa position spatiale à travers des images non observées. Cela permet à l'agent de « Construire » la représentation 3D de la cible en agrégeant ces caractéristiques multi-vue via les paramètres de la caméra, mappant directement les indices visuels 2D aux coordonnées 3D. De plus, pour garantir une évaluation rigoureuse, nous identifions des défauts tels que l'ambiguïté de référence et les erreurs de catégorie dans les benchmarks existants et affinons manuellement les requêtes incorrectes. Des expériences approfondies sur ScanRefer et Nr3D démontrent que notre cadre, reposant entièrement sur des modèles open-source, surpasse significativement les méthodes zero-shot précédentes et dépasse même les approches supervisées.
Nous étudions si les agents d'utilisation téléphonique respectent la vie privée lors de l'exécution de tâches mobiles bénignes. Cette question est restée difficile à résoudre car le comportement respectueux de la vie privée n'est pas opérationnalisé pour les agents téléphoniques, et les applications ordinaires ne révèlent pas exactement quelles données les agents saisissent dans quels champs de formulaire pendant l'exécution. Pour rendre cette question mesurable, nous présentons MyPhoneBench, un cadre d'évaluation vérifiable du comportement en matière de vie privée pour les agents mobiles. Nous opérationnalisons l'utilisation respectueuse de la vie privée du téléphone comme un accès par autorisation, une divulgation minimale et une mémoire contrôlée par l'utilisateur via un contrat de confidentialité minimal, iMy, et l'associons à des applications fictives instrumentées ainsi qu'à un audit basé sur des règles qui rendent les demandes d'autorisation inutiles, la redivulgation trompeuse et le remplissage inutile de formulaires observables et reproductibles. Sur cinq modèles de pointe testés sur 10 applications mobiles et 300 tâches, nous constatons que la réussite de la tâche, l'exécution respectueuse de la vie privée et l'utilisation ultérieure des préférences enregistrées sont des capacités distinctes, et qu'aucun modèle unique ne domine les trois. L'évaluation conjointe de la réussite et du respect de la vie privée modifie l'ordre des modèles par rapport à chaque métrique considérée isolément. Le mode d'échec le plus persistant parmi les modèles est la minimisation simple des données : les agents remplissent encore des champs personnels facultatifs que la tâche n'exige pas. Ces résultats montrent que les manquements à la vie privée proviennent d'une exécution trop serviable de tâches bénignes, et qu'une évaluation basée uniquement sur la réussite surestime la maturité au déploiement des agents téléphoniques actuels. Tous les codes, applications fictives et trajectoires d'agents sont publiquement disponibles à l'adresse ~ https://github.com/tangzhy/MyPhoneBench.
Ces dernières années, les lois d'échelle des modèles de recommandation ont suscité une attention croissante, car elles régissent la relation entre les performances et les paramètres/FLOPs des systèmes de recommandation. Actuellement, trois architectures principales permettent d'atteindre cette mise à l'échelle : les méthodes basées sur l'attention, sur TokenMixer et sur les machines à factorisation, qui présentent des différences fondamentales tant dans leur philosophie de conception que dans leur structure architecturale. Dans cet article, nous proposons une architecture d'échelle unifiée pour les systèmes de recommandation, nommée UniMixer, visant à améliorer l'efficacité de la mise à l'échelle et à établir un cadre théorique unifié intégrant les principaux blocs de scaling. En transformant le TokenMixer à base de règles en une structure paramétrée équivalente, nous construisons un module de mélange de caractéristiques paramétré généralisé permettant d'optimiser et d'apprendre les patterns de mélange de tokens durant l'entraînement du modèle. Par ailleurs, ce mécanisme généralisé lève la contrainte du TokenMixer exigeant que le nombre de têtes soit égal au nombre de tokens. Nous établissons également un cadre de conception unifié pour les modules de mise à l'échelle dans les systèmes de recommandation, reliant les approches attention, TokenMixer et machines à factorisation. Pour optimiser davantage le retour sur investissement de la mise à l'échelle, un module léger UniMixing, appelé UniMixing-Lite, est conçu pour compresser les paramètres et les coûts computationnels tout en améliorant significativement les performances du modèle. Les courbes de scaling sont présentées dans la figure suivante. Des expérimentations approfondies hors ligne et en ligne confirment les capacités d'échelle supérieures d’UniMixer.
Les pipelines de révision multi-LLM, dans lesquels un second modèle révise et améliore un brouillon produit par un premier, sont généralement considérés comme tirant leurs gains d'une correction authentique des erreurs. Nous remettons en question cette hypothèse avec une expérience de décomposition contrôlée qui utilise quatre conditions appariées pour séparer les gains de la seconde passe en trois composantes additives : la re-résolution, l'échafaudage et le contenu. Nous évaluons cette conception sur deux paires de modèles et trois benchmarks couvrant des QCM à forte intensité de connaissances et de la programmation compétitive. Nos résultats montrent que les gains de la révision multi-LLM ne sont pas monolithiques, mais dépendent de la structure de la tâche, de la qualité du brouillon et du type d'information qu'il contient. Sur les tâches de QCM, où l'espace des réponses est contraint et les brouillons fournissent peu d'orientation structurelle, la plupart des gains sont compatibles avec une re-résolution par le modèle le plus fort, et le routage direct des requêtes vers ce modèle peut être plus efficace que la révision d'un brouillon faible. En revanche, sur les tâches de génération de code, l'incitation en deux étapes reste utile car même des brouillons sémantiquement nuls peuvent fournir un échafaudage structurel substantiel, tandis qu'un contenu de brouillon faible peut s'avérer néfaste. Enfin, des expériences à rôles inversés montrent que des brouillons de qualité profitent clairement aux réviseurs plus faibles. En définitive, nos résultats démontrent que l'utilité de la révision multi-LLM est dynamiquement limitée par la structure de la tâche et la qualité du brouillon, nécessitant des conceptions de pipeline plus ciblées plutôt que des stratégies de révision universelles.
En utilisant environ 48 solutions d'entraînement HumanEval vérifiées par exécution, le réglage d'une seule matrice d'état initiale par couche récurrente, sans surcharge d'inférence, surpasse LoRA de +10,8 points de pourcentage (p < 0,001) sur HumanEval. La méthode, que nous appelons réglage S0, optimise une matrice d'état par couche récurrente tout en gelant tous les poids du modèle. Sur Qwen3.5-4B (hybride GatedDeltaNet), le réglage S0 améliore le pass@1 glouton de +23,6 +/- 1,7 pp (10 seeds). Sur FalconH1-7B (hybride Mamba-2), S0 atteint 71,8 % +/- 1,3 et LoRA atteint 71,4 % +/- 2,4 (3 seeds), une différence statistiquement non significative pour cet échantillon tout en ne nécessitant aucune fusion de poids. Le transfert interdomaine est significatif sur MATH-500 (+4,8 pp, p = 0,00002, 8 seeds) et GSM8K (+2,8 pp, p = 0,0003, 10 seeds) ; un benchmark text-to-SQL (Spider) ne montre aucun transfert, ce qui est cohérent avec le mécanisme de guidage de trajectoire. Un contrôle par préfix-tuning sur un Transformer pur (Qwen2.5-3B) dégrade les performances de -13,9 pp dans les neuf configurations testées. Sur Qwen3.5, une variante à décalage d'état par étape atteint +27,1 pp, dépassant à la fois S0 et LoRA mais avec un coût d'inférence par étape. Pris ensemble, ces résultats montrent que l'initialisation de l'état récurrent est une surface PEFT forte sans surcharge d'inférence pour les modèles de langage hybrides lorsque la supervision vérifiée est rare. L'état réglé est un fichier d'environ 48 Mo ; le changement de tâche ne nécessite ni fusion de poids ni rechargement du modèle. Code et bibliothèque : https://github.com/jackyoung27/s0-tuning.
La compréhension de documents et l'interaction avec les interfaces graphiques comptent parmi les applications à plus haute valeur ajoutée des modèles vision-langage (VLM), mais elles imposent une charge de calcul exceptionnellement lourde : le texte fin et les petits éléments d'interface exigent des entrées haute résolution qui produisent des dizaines de milliers de tokens visuels. Nous observons que ce coût est en grande partie superflu — sur les benchmarks de documents et d'interfaces graphiques, seulement 22 à 71 % des patches d'image sont uniques au niveau des pixels, les autres étant des doublons exacts d'un autre patch de la même image. Nous proposons PixelPrune, qui exploite cette redondance au niveau des pixels grâce à une compression basée sur le codage prédictif, en élaguant les patches redondants avant l'encodeur Vision Transformer (ViT). Comme il opère dans l'espace des pixels avant tout calcul neuronal, PixelPrune accélère à la fois l'encodeur ViT et le LLM en aval, couvrant ainsi l'intégralité du pipeline d'inférence. La méthode ne nécessite aucun apprentissage, ne comporte aucun paramètre apprenable, et supporte la compression sans perte de pixels (τ=0) ainsi que la compression avec perte contrôlée (τ>0). Les expériences menées sur trois échelles de modèle et sur des benchmarks de documents et d'interfaces graphiques montrent que PixelPrune maintient une précision de tâche compétitive tout en offrant une accélération de l'inférence jusqu'à 4,2 fois et une accélération de l'entraînement jusqu'à 1,9 fois. Le code est disponible sur https://github.com/OPPO-Mente-Lab/PixelPrune.
Les grands modèles de langage modernes (LLM) dépendent de plus en plus de mécanismes efficaces de traitement et de génération de contextes longs, incluant l'attention éparse, la génération augmentée par recherche (RAG) et la mémoire contextuelle compressée, pour supporter des raisonnements complexes. Nous montrons que ces optimisations peuvent être unifiées en un pipeline de traitement de la mémoire en quatre étapes : Préparation de la Mémoire, Calcul de la Pertinence, Récupération et Application à l'Inférence. Par un profilage systématique, nous identifions une surcharge de traitement de la mémoire de 22 % à 97 % lors de l'inférence des LLM et une forte hétérogénéité dans ses caractéristiques computationnelles. Motivés par cette observation, nous soutenons que les systèmes hétérogènes sont bien adaptés pour accélérer le traitement de la mémoire et donc l'inférence de bout en bout. Nous démontrons cette approche sur un système GPU-FPGA en déléguant les opérations éparses, irrégulières et limitées par la mémoire aux FPGA, tout en conservant les opérations intensives en calcul sur les GPU. Évalué sur un GPU AMD MI210 et un FPGA Alveo U55C, notre système est 1,04 à 2,2 fois plus rapide et nécessite 1,11 à 4,7 fois moins d'énergie pour diverses optimisations d'inférence de LLM que la référence GPU (des résultats similaires sont valables sur NVIDIA A100). Ces résultats établissent les systèmes hétérogènes comme une direction pratique pour un traitement efficace de la mémoire des LLM et éclairent la conception future de matériel hétérogène.
Les agents d'achat basés sur des LLM reposent de plus en plus sur des historiques d'achats longs et des interactions multi-tours pour la personnalisation. Cependant, ajouter naïvement l'historique brut aux invites est souvent inefficace en raison du bruit, de la longueur et du décalage de pertinence. Nous proposons MemRerank, un cadre de mémoire des préférences qui distille l'historique d'achats de l'utilisateur en signaux concis et indépendants de la requête pour un reranking personnalisé des produits. Pour étudier ce problème, nous construisons un benchmark de bout en bout et un cadre d'évaluation centrés sur une tâche de sélection 1-sur-5 basée sur un LLM, qui mesure à la fois la qualité de la mémoire et l'utilité du reranking en aval. Nous entraînons ensuite l'extracteur de mémoire par apprentissage par renforcement (RL), en utilisant la performance du reranking en aval comme supervision. Les expériences avec deux rerankeurs basés sur des LLM montrent que MemRerank surpasse constamment les bases de référence sans mémoire, à historique brut et à mémoire standard, obtenant jusqu'à +10,61 points absolus en précision 1-sur-5. Ces résultats suggèrent qu'une mémoire explicite des préférences est un élément pratique et efficace pour la personnalisation dans les systèmes e-commerce agentiques.
Alors que les agents basés sur LLM sont déployés dans des systèmes de production, la compréhension de leur cohérence comportementale (c'est-à-dire s'ils produisent des séquences d'actions similaires face à des tâches identiques) devient cruciale pour la fiabilité. Nous étudions cette cohérence dans le contexte de SWE-bench, un benchmark exigeant en ingénierie logicielle qui nécessite un raisonnement complexe et multi-étapes. En comparant Claude~4.5~Sonnet, GPT-5 et Llama-3.1-70B sur 50 exécutions chacun (10 tâches multipliées par 5 exécutions), nous constatons qu'à travers les modèles, une plus grande cohérence est corrélée à une plus grande précision : Claude obtient la variance la plus faible (CV : 15,2 %) et la précision la plus élevée (58 %), GPT-5 se situe à un niveau intermédiaire (CV : 32,2 %, précision : 32 %), et Llama présente la variance la plus élevée (CV : 47,0 %) avec la précision la plus faible (4 %). Cependant, pour un modèle donné, la cohérence peut amplifier à la fois les interprétations correctes et incorrectes. Notre analyse révèle une nuance cruciale : la cohérence amplifie les résultats plutôt que de garantir leur exactitude. 71 % des échecs de Claude proviennent d'une « interprétation erronée cohérente » : faire la même hypothèse incorrecte dans toutes les exécutions. Il est intéressant de noter que GPT-5 atteint un accord stratégique initial similaire à celui de Claude (divergence à l'étape 3,4 contre 3,2), mais présente une variance 2,1 fois plus élevée, suggérant que le moment de la divergence seul ne détermine pas la cohérence. Ces résultats indiquent que pour un déploiement en production, la précision de l'interprétation est plus importante que la cohérence d'exécution, avec des implications pour l'évaluation et l'entraînement des agents.
Alors que les agents de LLM évoluent de la résolution de problèmes courts et statiques vers l'exécution de tâches complexes et à long terme dans des environnements dynamiques, la capacité à gérer les interruptions des utilisateurs, telles que l'ajout d'exigences ou la révision d'objectifs, pendant l'exécution d'une tâche devient une exigence fondamentale pour un déploiement réaliste. Cependant, les benchmarks existants supposent largement un comportement d'agent ininterrompu ou n'étudient les interruptions que dans des tâches linguistiques courtes et non contraintes. Dans cet article, nous présentons la première étude systématique des agents interruptibles dans des tâches de navigation web à long terme et ancrées dans un environnement, où les actions induisent des changements d'état persistants. Nous formalisons trois types d'interruption réalistes, incluant l'ajout, la révision et la rétractation, et introduisons InterruptBench, un benchmark dérivé de WebArena-Lite qui synthétise des scénarios d'interruption de haute qualité sous de strictes contraintes sémantiques. En utilisant un cadre unifié de simulation d'interruption, nous évaluons six modèles de LLM robustes dans des contextes d'interruption à tour unique et multi-tours, analysant à la fois leur efficacité à s'adapter aux intentions mises à jour et leur efficience à se rétablir après des changements en cours de tâche. Nos résultats montrent que gérer les interruptions des utilisateurs de manière efficace et efficiente pendant les tâches agentielles à long terme reste un défi pour les modèles de langage à grande échelle puissants. Le code et le jeu de données sont disponibles à l'adresse https://github.com/HenryPengZou/InterruptBench.
Les modèles Vision-Langage-Action (VLA) visent à contrôler des robots pour la manipulation à partir d'observations visuelles et d'instructions en langage naturel. Cependant, les paradigmes hiérarchiques et autorégressifs existants introduisent souvent une surcharge architecturale, souffrent d'incohérence temporelle et d'accumulation d'erreurs sur les longues séquences, et manquent d'un mécanisme pour capturer la dynamique de l'environnement sans modules supplémentaires. Pour pallier cela, nous présentons MMaDA-VLA, un grand modèle VLA à diffusion natif et pré-entraîné qui unifie la compréhension et la génération multimodales dans un cadre unique. Notre idée clé est une formulation de diffusion discrète native qui intègre le langage, les images et les commandes robotiques continues dans un espace de tokens discret unique, et qui entraîne un seul réseau principal par débruitage de tokens masqués pour générer conjointement et en parallèle une observation d'objectif futur et un segment d'action. Le débruitage itératif permet un raffinement global et indépendant de l'ordre, améliorant la cohérence sur les longues séquences tout en ancrant les actions dans des résultats visuels futurs prédits, sans modèles du monde auxiliaires. Les expériences sur des benchmarks de simulation et des tâches en monde réel démontrent des performances à l'état de l'art, atteignant un taux de succès moyen de 98,0 % sur LIBERO et une longueur moyenne de 4,78 sur CALVIN.
Les schémas d'assemblage 2D sont souvent abstraits et difficiles à suivre, créant un besoin d'assistants intelligents capables de surveiller la progression, détecter les erreurs et fournir des instructions étape par étape. Dans les environnements de réalité mixte, ces systèmes doivent reconnaître les étapes terminées et en cours à partir du flux vidéo et les aligner avec les instructions du schéma. Les modèles de vision et langage (VLM) montrent des résultats prometteurs pour cette tâche, mais se heurtent à un écart de représentation car les schémas d'assemblage et les images vidéo partagent peu de caractéristiques visuelles. Pour évaluer systématiquement cet écart, nous construisons IKEA-Bench, un benchmark de 1 623 questions couvrant 6 types de tâches sur 29 produits de mobilier IKEA, et évaluons 19 VLM (2B-38B) sous trois stratégies d'alignement. Nos principales conclusions : (1) la compréhension des instructions d'assemblage est récupérable via le texte, mais le texte dégrade simultanément l'alignement schéma-vidéo ; (2) la famille architecturale prédit la précision d'alignement plus fortement que le nombre de paramètres ; (3) la compréhension vidéo reste un goulot d'étranglement difficile, non affecté par la stratégie. Une analyse mécanistique à trois niveaux révèle en outre que les schémas et la vidéo occupent des sous-espaces ViT disjoints, et que l'ajout de texte fait basculer les modèles d'un raisonnement visuel vers un raisonnement piloté par le texte. Ces résultats identifient l'encodage visuel comme la cible principale pour améliorer la robustesse inter-représentations. Page du projet : https://ryenhails.github.io/IKEA-Bench/
Les grands modèles de langage (LLM) et leurs applications, telles que les agents, sont très vulnérables aux attaques par injection de prompts. Les méthodes de détection d'injection de prompts les plus avancées présentent les limitations suivantes : (1) leur efficacité se dégrade considérablement lorsque la longueur du contexte augmente, et (2) elles manquent de règles explicites définissant ce qui constitue une injection de prompts, rendant les décisions de détection implicites, opaques et difficiles à interpréter. Dans ce travail, nous proposons AgentWatcher pour résoudre ces deux limitations. Pour adresser la première limitation, AgentWatcher attribue la sortie du LLM (par exemple, l'action d'un agent) à un petit ensemble de segments contextuels causalement influents. En concentrant la détection sur un texte relativement court, AgentWatcher peut s'adapter à des contextes longs. Pour adresser la deuxième limitation, nous définissons un ensemble de règles spécifiant ce qui constitue ou non une injection de prompts, et utilisons un LLM de surveillance pour raisonner sur ces règles en se basant sur le texte attribué, rendant les décisions de détection plus explicables. Nous menons une évaluation complète sur des benchmarks d'agents utilisant des outils et des ensembles de données de compréhension de contextes longs. Les résultats expérimentaux démontrent qu'AgentWatcher peut détecter efficacement les injections de prompts et maintenir son utilité en l'absence d'attaques. Le code est disponible à l'adresse https://github.com/wang-yanting/AgentWatcher.
La stadification précise du sommeil est essentielle pour diagnostiquer le SAOS et l'hypopnée chez les patients victimes d'AVC. Bien que la PSG soit fiable, elle est coûteuse, laborieuse et nécessite une annotation manuelle. Si l'apprentissage profond permet une stadification automatique du sommeil basée sur l'EEG chez les sujets sains, notre analyse montre une mauvaise généralisation aux populations cliniques présentant un sommeil perturbé. En utilisant les interprétations Grad-CAM, nous démontrons systématiquement cette limitation. Nous présentons iSLEEPS, un nouvel ensemble de données sur l'AVC ischémique annoté cliniquement (qui sera rendu public), et évaluons un modèle SE-ResNet combiné à un LSTM bidirectionnel pour la stadification du sommeil par EEG monocanal. Comme prévu, les performances inter-domaines entre sujets sains et malades sont médiocres. Les visualisations de l'attention, étayées par les retours d'experts cliniques, montrent que le modèle se concentre sur des régions EEG physiologiquement non informatives dans les données des patients. Les analyses statistiques et computationnelles confirment en outre des différences significatives dans l'architecture du sommeil entre les cohortes de sujets sains et celles victimes d'AVC ischémique, soulignant la nécessité de modèles adaptés au sujet ou spécifiques à la pathologie, avec validation clinique préalable au déploiement. Un résumé de l'article et le code sont disponibles à l'adresse https://himalayansaswatabose.github.io/iSLEEPS_Explainability.github.io/