Articles de recherche IA sélectionnés quotidiennement avec traductions
La capacité d'un agent d'IA moderne ne dépend pas seulement de son modèle de base, mais aussi de son harnais, qui construit les invites, gère l'état, appelle les outils et coordonne l'exécution. À mesure que les modèles, les API, les environnements et les exigences évoluent, le harnais doit être continuellement modifié. Avant de pouvoir apporter un tel changement, un développeur ou un agent de codage doit identifier tous les emplacements de code qui implémentent le comportement cible. Cela est difficile car les harnais de production sont volumineux, fortement couplés et comportementalement distribués, tandis que les demandes de modification décrivent ce que le système devrait faire et les dépôts sont organisés par fichiers et modules. La recherche de code, l'indexation de dépôt et le traitement de longs contextes facilitent l'inspection, mais laissent toujours ce mappage comportement-code à reconstituer manuellement. La localisation des comportements constitue donc un goulot d'étranglement central dans l'évolution des harnais. Nous introduisons le Manuel du Harnais, une représentation centrée sur le comportement synthétisée automatiquement à partir d'une base de code de harnais via analyse statique et structuration assistée par LLM, reliant chaque comportement à son code source correspondant. Nous introduisons également la Divulgation Progressive Guidée par le Comportement (DPGC), qui guide les agents des comportements de haut niveau vers les détails d'implémentation pertinents et vérifie les emplacements candidats par rapport au code source actuel. Sur diverses demandes de modification provenant de deux harnais open-source, la planification assistée par le Manuel améliore la localisation des comportements et la qualité des plans d'édition tout en utilisant moins de jetons de planification, les plus grands gains étant obtenus sur les sites dispersés, les chemins rarement exécutés et les interactions entre modules. L'évolution de systèmes agentiques complexes dépend donc non seulement de la génération d'éditions, mais aussi de la détermination des endroits où ces éditions doivent être effectuées.
Nous présentons Boogu-Image-0.1, une famille de modèles open source unifiés pour la compréhension et la génération multimodales, comprenant les variantes Base, Turbo, Edit et Edit-Turbo. Elle offre des performances compétitives en matière de génération texte-image de haute qualité, d'inférence rapide, d'édition basée sur des instructions et de rendu de texte bilingue (chinois-anglais). Les systèmes multimodaux fermés tels que Nano-Banana-Pro et GPT-Image-2 atteignent de hautes performances grâce à une intégration au niveau du système plutôt qu'à un modèle unique, mais leurs pratiques internes restent largement confidentielles. Dans ce travail, nous démontrons que des améliorations ciblées dans la compréhension du modèle, la qualité des données et les pipelines d'entraînement, associées à un passage à l'échelle au moment de l'inférence basé sur un agent, peuvent considérablement améliorer les performances de génération et d'édition, même sous des budgets de calcul très contraints. Des évaluations complètes montrent que Boogu-Image-0.1 égale ou dépasse systématiquement les autres modèles open source sur des benchmarks standard, et atteint des résultats proches des systèmes fermés de premier plan. Notamment, cela est accompli avec seulement 208,62 millions d'images uniques. Le coût théorique d'entraînement du modèle de base n'est que d'environ 400 000 $. Nous partageons des discussions pratiques que nous estimons précieuses pour la communauté de recherche élargie, et publions les poids, le code et les recettes sous licence Apache 2.0 afin de faire progresser l'écosystème ouvert pour la compréhension et la génération multimodales unifiées. Notre code est disponible ici : https://github.com/Boogu-Project/Boogu-Image.
L'apprentissage par renforcement avec récompenses vérifiables sans données annotées par des humains, souvent appelé zéro RL, est devenu un paradigme puissant pour susciter un raisonnement en chaîne de pensée. Cependant, en raison de contraintes de calcul, les études existantes sont largement limitées aux petits modèles, laissant inexplorées les dynamiques d'entraînement et les capacités émergentes à grande échelle. Pour explorer cette frontière de manière significative, nous visons à susciter des comportements de raisonnement de haute qualité de la part du modèle. Cependant, nous constatons que la mise à l'échelle naïve souffre souvent d'une faible lisibilité, d'une redondance de tokens et d'un manque de profondeur de raisonnement adaptative. Pour relever ces défis, nous présentons un pipeline d'entraînement stable et efficace, intégrant des optimisations algorithmiques et système telles que l'échantillonnage d'importance avec écrêtage, la correction du ratio entraînement-inférence et le contrôle de précision mixte. Nos expériences offrent trois résultats clés qui valident la « leçon amère » du passage à l'échelle : (1) le passage à 1 000 milliards de paramètres améliore considérablement l'efficacité d'échantillonnage et les plafonds de performance ; (2) le processus d'entraînement progresse séquentiellement à travers une phase de découverte initiale suivie d'une phase d'affinage ; et (3) le modèle développe spontanément des comportements cognitifs avancés, notamment l'anthropomorphisme, la mise en forme structurée, l'auto-vérification, le raisonnement parallèle et l'anxiété contextuelle, rendant les heuristiques artisanales redondantes. Évalué sur sept références mathématiques, Ring-2.5-1T-Zero atteint des performances compétitives. De plus, pour évaluer la qualité de la CoT au-delà de la justesse de la réponse finale, nous proposons un cadre d'évaluation structuré à travers trois dimensions : la compréhensibilité, la reproductibilité et l'efficacité, où notre modèle démontre des avantages clairs dans la production de traces de raisonnement structurées et concises. En partageant nos phénomènes émergents observés, nous espérons fournir à la communauté des perspectives plus approfondies sur les comportements de passage à l'échelle, en particulier à l'échelle du trillion.
OpenClaw est devenu un cadre d'agents de premier plan pour l'automatisation de tâches complexes, mais il souffre d'un support insuffisant pour l'interaction GUI multiplateforme et d'un mécanisme d'auto-évolution mal conçu. Ces lacunes limitent son adaptation à des écosystèmes d'appareils diversifiés et empêchent l'amélioration des performances par l'apprentissage continu à partir de l'expérience d'exécution. Pour résoudre ces problèmes, nous proposons le paradigme Savoir Profondément, Agir Parfaitement pour les assistants personnels, selon lequel l'accumulation d'interactions utilisateur et d'expérience d'exécution de tâches améliore directement la précision et l'efficacité d'exécution, unifiant la compréhension cognitive et l'exécution opérationnelle. Sur la base de ce paradigme, nous introduisons KnowAct-GUIClaw, un nouveau cadre Savoir-Route-Agir-Réfléchir conçu pour remédier aux déficits de manipulation GUI d'OpenClaw et franchir ses limites de portabilité multiplateforme et d'auto-amélioration récursive. Premièrement, l'agent hôte exploite l'expérience d'interaction accumulée et les connaissances liées aux tâches pour la décomposition et l'allocation de tâches à long horizon (Savoir). Deuxièmement, un sous-agent GUI enfichable doté d'un système de mémoire attribuable à l'expérience (Savoir) et d'une bibliothèque de compétences auto-évolutive (Agir), permettant une migration multiplateforme transparente et une intégration de chemins rapides. Notamment, ce cadre stocke en continu les profils utilisateur et les retours pour améliorer la précision de la décomposition des tâches et des appels d'outils. Des expériences approfondies sur Android, iOS, HarmonyOS et Windows montrent que KnowAct-GUIClaw atteint une efficacité, une précision et une adaptabilité multiplateforme supérieures. En particulier, GUIClaw avec les modèles open-source Kimi-2.6 obtient la meilleure performance (64,1%) sur le benchmark à long horizon MobileWorld, surpassant tous les cadres agentiels et modèles agentiels propriétaires, par exemple Seed-2.0-Pro et GPT-5.5. De plus, la mémoire savante et les compétences d'exécution supportées par notre cadre sont transférables entre divers modèles de base, avec une amélioration de 8,5% avec Kimi-2.6.
Nous présentons OvisOCR2, un modèle d'analyse documentaire de 0,8 milliard de paramètres. OvisOCR2 est conçu comme un analyseur de bout en bout : étant donné une image de page de document, il génère une représentation Markdown dans l'ordre de lecture naturel, couvrant le texte, les formules, les tableaux et les zones visuelles. Nous construisons un moteur de données combinant des annotations filtrées de documents réels avec des pages synthétiques dont les images rendues et les cibles Markdown dérivent de la même source HTML. La recette d'entraînement inclut un fine-tuning supervisé, un apprentissage par renforcement sur une branche de 4 milliards de paramètres avec une conception de récompense multi-composante, une distillation sur politique dans le modèle de 0,8 milliard, ainsi qu'une fusion de modèles. Sur OmniDocBench v1.6, OvisOCR2 atteint un score global de pointe de 96,58, plaçant un modèle de bout en bout en tête de ce classement auparavant dominé par les méthodes par pipeline, soulignant ainsi le potentiel de l'analyse documentaire de bout en bout. Sur PureDocBench, OvisOCR2 obtient également le meilleur score Avg3, soit 75,06. Au-delà de ces deux benchmarks publics, nous évaluons OvisOCR2 sur un benchmark interne conçu pour couvrir un ensemble plus large de scénarios de longue traîne et difficiles. OvisOCR2 obtient les meilleures performances globales parmi les méthodes comparées, fournissant ainsi une preuve supplémentaire de sa généralisation et de sa robustesse. OvisOCR2 est disponible sur https://huggingface.co/ATH-MaaS/OvisOCR2.
Les garde-fous d'image sont généralement entraînés et évalués sous une politique de sécurité fixe, traitant implicitement la sécurité comme une propriété intrinsèque d'une image. Les déploiements réels sont différents : la même image peut être autorisée dans un produit, restreinte dans un autre, et nouvellement interdite lorsqu'une limite de politique change. Nous étudions le garde-fou d'image adaptatif aux politiques, où un modèle doit décider si une image viole la politique actuellement fournie et généraliser à des définitions de politiques non vues. Nous introduisons PolicyShiftBench, un référentiel complet avec 2 000 instances discriminantes par politiques sur 265 images, où chaque image est associée en moyenne à 7,55 invites conditionnées par politique pour tester si les modèles s'adaptent à la politique active plutôt que de se fier à des a priori de sécurité au niveau de l'image. Nous proposons ensuite PolicyShiftGuard, un garde-fou compact conditionné par politique, entraîné avec une méthode en deux étapes combinant l'entraînement supervisé fin par politiques randomisées (RP-SFT) avec l'adaptation par paires de politiques aux limites (BP-Adapt). BP-Adapt entraîne des invites appariées pour la même image et la même catégorie de risque en utilisant une supervision par étiquettes standard et une perte de comparaison par paires qui sépare les politiques de blocage des politiques de passage. Les expériences montrent que les VLM existants et les garde-fous spécialisés restent fragiles face aux changements de politique, tandis que PolicyShiftGuard améliore considérablement les performances sensibles aux politiques. Le modèle 7B atteint des performances de pointe de 76,9 de F1 moyen et 72,1 de PSS moyen sur PolicyShiftBench, se transfère bien à UnSafeBench et SafeEditBench, et améliore le compromis latence-performance avec un format de sortie concis. Les ablations confirment que les paires appariées de limites passage/blocage sont essentielles pour une adaptation stable aux politiques.
Les modèles de génération visuelle actuels sont capables de produire un contenu de haute qualité, mais ils manquent d'une perception cohérente de la structure spatiale. Les méthodes existantes de synthèse générative de nouvelles vues introduisent généralement des a priori géométriques explicites, qui imposent une cohérence spatiale mais limitent intrinsèquement la généralisation lors de changements de vue importants. En revanche, les méthodes génératives interactives récentes privilégient une modélisation implicite de la scène, offrant une plus grande flexibilité au détriment d'un contrôle précis de la caméra et de la cohérence géométrique. Dans cet article, nous proposons MetaView, un cadre de synthèse monoculaire de nouvelles vues basé sur la diffusion, permettant un rendu sous des changements de vue importants à partir d'une seule image. Notre idée clé consiste à combiner une modélisation géométrique implicite avec des indices 3D explicites minimaux mais essentiels : nous incorporons des a priori géométriques implicites provenant d'un réseau de perception géométrique à propagation avant pour régulariser la structure sans imposer de pipelines de reconstruction restrictifs, tout en exploitant la profondeur métrique pour ancrer la génération à une échelle métrique. Cette conception permet à MetaView d'atteindre à la fois une cohérence géométrique et une contrôlabilité précise. Des expériences approfondies montrent que, dans des conditions difficiles de changements de vue monoculaires importants, MetaView surpasse nettement les méthodes existantes et présente une généralisation supérieure. Notre code est disponible publiquement à l'adresse https://github.com/KlingAIResearch/MetaView.
Les modèles d'action du monde (World Action Models, WAMs) améliorent l'apprentissage des politiques des robots en modélisant conjointement les actions et les observations visuelles futures, utilisant l'évolution future de la scène comme supervision dense pour la génération d'actions ancrées physiquement. Cependant, une conception courante dans les WAMs existants consiste à générer explicitement des vidéos futures au moment de l'inférence, ce qui entraîne une charge de calcul substantielle et nuit au déploiement en boucle fermée en temps réel. GigaWorld-Policy résout ce problème avec une formulation centrée sur l'action, où la dynamique visuelle future est utilisée pendant l'entraînement tandis qu'un décodage uniquement basé sur l'action est employé au moment de l'inférence. En nous appuyant sur ce cadre, nous présentons GigaWorld-Policy-0.5, un WAM centré sur l'action amélioré, conçu pour un contrôle robotique plus efficace. Pendant le pré-entraînement, GigaWorld-Policy-0.5 adopte une stratégie d'entraînement mixte combinant la modélisation du monde conditionnée par l'action (Action-Conditioned World Modeling, AC-WM) et les WAMs. Cela renforce le couplage entre la dynamique visuelle et les actions du robot, et améliore la transférabilité des représentations d'action pour l'apprentissage des politiques en aval. Pour une inférence efficace, GigaWorld-Policy-0.5 introduit une architecture Mixture-of-Transformers qui sépare la modélisation de la dynamique visuelle et la génération d'actions en experts spécialisés, réduisant le calcul actif lors de l'inférence uniquement basée sur l'action et atteignant une latence d'inférence de 85 ms sur une configuration locale RTX 4090. De plus, nous utilisons un pipeline AutoResearch basé sur un agent pour rechercher systématiquement les configurations d'entraînement, permettant une identification plus efficace des configurations expérimentales optimales tout en réduisant le temps et l'intervention manuelle nécessaires au réglage des hyperparamètres. Les expériences et les ablations montrent que GigaWorld-Policy-0.5 préserve les avantages d'entraînement de la dynamique visuelle future tout en améliorant l'efficacité de l'inférence pour le contrôle robotique.
Les Vision Transformers (ViTs) sont connus pour présenter des valeurs aberrantes dans les jetons de patch de haute norme, ce qui dégrade la qualité des cartes de caractéristiques, un problème efficacement atténué par les jetons de registre. Alors que les modèles de diffusion adoptent de plus en plus des architectures de transformeurs et s’orientent vers un entraînement dans l’espace des pixels, ils se rapprochent des ViTs dans leur forme, ce qui soulève la question de savoir si les jetons de registre sont également utiles pour les Diffusion Transformers (DiTs). Dans ce travail, nous montrons que les DiTs diffèrent des ViTs sur un point clé : ils ne présentent pas de valeurs aberrantes dans les jetons de patch, mais bénéficient néanmoins des registres. Fait intéressant, les registres sont plus efficaces dans les DiTs opérant dans l’espace des pixels que dans ceux opérant dans l’espace latent. En analysant les représentations intermédiaires, nous constatons que les jetons de registre produisent des cartes de caractéristiques plus propres à des niveaux de bruit élevés, ce qui peut contribuer à leur efficacité dans la génération dans l’espace des pixels. Nous observons en outre que les architectures récentes de DiTs dans l’espace des pixels intègrent implicitement des mécanismes similaires aux registres, ce qui pourrait expliquer en partie leurs performances empiriques élevées. Motivés par ces observations, nous proposons le *Register Guidance*, une technique qui amplifie la contribution des jetons de registre responsables de l’amélioration de la structure visuelle et de la cohérence.
Les agents autonomes auto-améliorants passent des prototypes de recherche aux systèmes déployés. L'objectif principal est l'évolution contrôlable, ou l'adaptation, à partir de l'expérience avec un apport humain minimal, voire nul. Cette enquête présente les agents auto-améliorants modernes comme des systèmes adaptatifs qui convertissent l'expérience en gains de capacité accumulés. Nous proposons un cadre au niveau système qui représente un agent moderne comme une configuration couplant un modèle de fondation avec un échafaudage opérationnel d'invites, de mémoire, d'outils et de logique de contrôle. Dans ce cadre, l'auto-amélioration est formalisée comme un opérateur de mise à jour auto-induite qui obtient et applique des mises à jour des paramètres du modèle ou des composants de l'échafaudage. Nous organisons les travaux antérieurs par cible de mise à jour et par les signaux qui conduisent le changement, puis passons en revue les applications et discutons de l'évaluation, avant de conclure par les problèmes ouverts et les directions futures. Pour faciliter la consultation, nous suivons les mises à jour techniques sur https://github.com/selfimproving-agent/awesome-Self-Improving-Agents.
Bien que les récentes avancées en génération 3D aient permis une synthèse visuelle impressionnante, les méthodes existantes reposent souvent sur une supervision par diffusion 2D sans mécanismes explicites de cohérence géométrique, ce qui entraîne des hallucinations spatiales telles que des structures dupliquées et une géométrie désalignée. Ces problèmes deviennent plus graves dans la génération 4D, où le maintien de la cohérence entre les points de vue et l'évolution temporelle introduit des défis supplémentaires, notamment des tremblements, des scintillements d'identité et des dérives structurelles. Nous présentons Hallo4D, un cadre unifié et indépendant du modèle pour atténuer les hallucinations spatiotemporelles dans la génération de contenu 3D et 4D. Hallo4D introduit un paradigme de génération-détection-correction qui exploite les grands modèles de langage multimodaux (LMM) pour identifier et résumer les incohérences spatiales et temporelles à partir de rendus multi-vues et multi-images. Ces informations guident une optimisation de cohérence dans l'espace image basée sur le consensus, où un sélecteur basé sur LMM évalue les corrections candidates par vote multi-modèle, sans nécessiter de réentraînement ni de modifications architecturales. Pour améliorer davantage la cohérence temporelle et l'efficacité de l'optimisation, Hallo4D intègre un échantillonnage d'images clés sensible au mouvement, une initialisation guidée par LMM et un alignement d'apparence. Nous introduisons également une optimisation sensible à l'exposition et un élagage de visibilité pour renforcer la robustesse sous des points de vue difficiles. Des expériences approfondies démontrent que Hallo4D surpasse systématiquement les bases de référence solides dans divers contextes de génération 3D et 4D, offrant une solution évolutive et généralisable pour la génération de contenu tenant compte de la cohérence.
L'élagage structuré est une méthode compatible avec le matériel pour compresser les LLM, mais il est principalement validé sur des tâches de reconnaissance à choix multiples, alors que les mêmes points de contrôle compressés peuvent s'effondrer sur la génération libre que le déploiement réel exige. Deux observations expliquent cet écart. Premièrement, le pass@1 glouton disparaît presque après compression, alors que le pass@k se rétablit considérablement sous un échantillonnage répété : les générations utiles sont rétrogradées, non effacées. Deuxièmement, le régime de récupération échoue principalement par répétition de suffixes. La récupération devrait donc s'entraîner sur les propres états en politique du modèle compressé, avec une supervision dense au niveau des tokens, ce que la Distillation en Politique (OPD) fournit en réutilisant le modèle pré-compression comme enseignant figé. Cependant, les longs déploiements en politique dépensent le budget de récupération précoce sur des suffixes répétitifs à faible information, retardant la descente de la perte. Pour atténuer ce gaspillage, nous proposons \shortopd, un calendrier OPD de court à long qui détecte les suffixes répétitifs confirmés par l'enseignant, traite le préfixe survivant comme la longueur effective de chaque déploiement, et alloue les budgets de déploiement futurs aux longueurs effectives que la politique peut actuellement utiliser. En mathématiques, en code et en génération ouverte, \shortopd élève le score du modèle compressé à environ 9 fois sa valeur non récupérée et 1,6 à 4,4 fois les recettes de récupération standard (SFT sans KD, KD, et SeqKD), et il égale un horizon de déploiement fixe de 8192 tokens à moins de deux points près en utilisant un quart du temps d'entraînement (8,5 contre 35,9 heures) et 71 % de tokens de déploiement en moins. Nous espérons que cette recette aidera à faire passer l'élagage structuré au-delà des gains marginaux sur la perplexité et les benchmarks à choix multiples, un pas de plus vers une qualité de génération prête au déploiement.
Alors que les grands modèles de langage (LLMs) évoluent vers des agents autonomes, le besoin d’une infrastructure d’évaluation unifiée devient crucial. Cependant, les pipelines d’évaluation actuels restent très fragmentés et fortement couplés, ce qui nuit à la reproductibilité et entraîne des efforts d’ingénierie redondants. Pour répondre à ce problème, nous présentons AgentCompass, une infrastructure open-source, légère et extensible pour l’évaluation des agents basés sur les LLM. AgentCompass organise le processus d’évaluation autour de trois composants indépendants — Benchmark, Harness et Environment — permettant ainsi des configurations flexibles sans nécessiter la réimplémentation de logiques d’exécution complexes. De plus, il intègre un environnement d’exécution asynchrone tolérant aux pannes ainsi que des outils complets d’analyse de trajectoire pour diagnostiquer de manière transparente des modes de défaillance subtils tels que le détournement de récompense (reward-hacking). En prenant en charge nativement plus de 20 benchmarks couvrant cinq dimensions de capacité, AgentCompass offre à la communauté une infrastructure évolutive et reproductible pour faire progresser la recherche sur les agents.
Quand un assistant intelligent doit-il intervenir sans qu'on le lui demande ? La vidéo égocentrique continue offre un contexte riche et évolutif qui permet une nouvelle forme d'assistance : proactive plutôt que simplement réactive. Pourtant, les approches existantes soit attendent passivement les requêtes des utilisateurs, soit traitent chaque événement détecté comme nécessitant une réponse, sans tenir compte de l'historique de l'utilisateur, de son activité en cours, ni même de la pertinence de l'assistance. Nous reformulons l'assistance proactive comme un problème décisionnel dépendant du contexte : l'agent doit non seulement percevoir ce qui se passe, mais aussi raisonner à partir du contexte temporel accumulé pour déterminer quand et s'il doit intervenir. Dans cette optique, nous présentons Vinci2, un système d'assistance proactive égocentrique qui fait évoluer l'assistant intégré Vinci d'une réaction réactive vers une proactivité. Côté évaluation, nous proposons EgoServe, le premier référentiel à grande échelle pour l'assistance proactive en vidéo égocentrique continue. EgoServe comprend plus de 3 000 instances de service organisées selon 4 horizons de mémoire temporelle, allant des alertes de sécurité immédiates au coaching d'habitudes à long terme, couvrant 10 catégories de service. Côté modélisation, nous présentons EgoMemo, un agent sans apprentissage et augmenté par la mémoire, qui maintient trois représentations mémorielles complémentaires : des résumés temporels multi-échelles, un graphe de connaissances sémantiques et des archives d'encastrements visuels. À chaque pas de temps, EgoMemo effectue un raisonnement augmenté par récupération pour déterminer si une assistance est justifiée et, le cas échéant, produit des réponses fondées sur le contexte. Les expériences montrent qu'EgoMemo établit des références solides sur EgoServe tout en restant compétitif sur les référentiels égocentriques existants. Notre référentiel et notre code sont disponibles publiquement à l'adresse https://sitonggong.github.io/EgoServe-page/{Vinci2}.
L'attribution des échecs dans les systèmes agentiels basés sur des LLM, c'est-à-dire l'identification des étapes d'une trajectoire d'échec qui ont causé l'échec de la tâche, est essentielle pour le débogage et l'amélioration de ces systèmes. Les approches existantes reposent soit sur des pipelines basés sur le prompting, qui sont coûteux en calcul, soit sur un post-entraînement sur des trajectoires d'échec avec des annotations d'erreur au niveau de l'étape, dont la collecte est coûteuse et la mise à l'échelle difficile. Nous soutenons qu'un modèle pratique d'attribution des échecs doit être léger et entraînable sans supervision au niveau de l'étape sur des données d'échec. Pour cela, nous abordons l'attribution non supervisée des échecs, c'est-à-dire l'entraînement exclusivement sur des trajectoires réussies et l'identification des étapes d'erreur au moment de l'inférence sur une trajectoire d'échec. Nous proposons OAT, qui formule ce problème comme un apprentissage à une classe avec des équations différentielles contrôlées neuronales, modélisant le motif dynamique des trajectoires réussies dans l'espace latent. Lors de l'inférence, chaque étape d'une trajectoire d'échec se voit attribuer un score d'anomalie basé sur sa déviation par rapport à la dynamique apprise sur les trajectoires réussies, lequel est ensuite utilisé pour former un ensemble d'étapes d'erreur. Avec un entraînement sur seulement 100 trajectoires réussies, les expériences montrent qu'OAT est 200 à 5000 fois plus rapide que les bases de référence basées sur le prompting et, en même temps, les surpasse systématiquement sur des ensembles de données à la fois intra-domaine et hors distribution, avec des scores F1 respectifs de +20 % et +7 %, démontrant qu'OAT constitue une direction prometteuse et efficace pour diagnostiquer les échecs des systèmes agentiels.
Les modèles de diffusion avec débruitage discret (DDMs) sont récemment apparus comme une alternative convaincante à la modélisation autorégressive (AR) pour les données discrètes, offrant des capacités de génération parallèle et de raffinement global itératif. Contrairement à la diffusion continue, où l'espace d'états est fixe, les DDMs sont fondamentalement façonnés par la manière dont l'espace d'états discret est construit : le schéma de tokenisation, la topologie du vocabulaire et les alphabets structurels spécifiques au domaine. Ce travail introduit un cadre conceptuel unifié qui envisage les modèles de diffusion discrets à travers la construction de l'espace d'états discret sous-jacent. Dans ce cadre, les formulations existantes, y compris les approches basées sur les matrices de transition, les états masqués/absorbants et les approches fondées sur les scores/ratios, apparaissent comme différentes instanciations d'un espace de conception commun. Le cadre expose en outre des compromis de conception communs à travers les objectifs d'entraînement, les algorithmes d'inférence, le comportement de passage à l'échelle, l'optimisation des systèmes et les protocoles d'évaluation, suggérant plusieurs directions prometteuses pour les recherches futures.
Les agents basés sur les modèles de langage de grande taille (LLM) ont dépassé la simple génération de réponses pour exécuter des tâches multi-étapes en appelant des outils, en observant les résultats et en décidant itérativement de l'action suivante. La plupart des systèmes d'agents fonctionnent sur des ordinateurs de bureau ou des serveurs, ce qui prend en charge l'utilisation d'outils et l'automatisation des tâches. Les appareils mobiles constituent également des environnements d'agents importants, car ils sont largement accessibles et contiennent les données, les capteurs et les applications quotidiennes des utilisateurs. Les agents mobiles existants opèrent principalement sur les smartphones via des actions sur l'interface graphique utilisateur (GUI) telles que le tapotement, le balayage et la saisie, qui forment souvent de longues séquences dépendantes de l'interface, ne peuvent pas accéder directement aux capacités de l'appareil et rendent les limites d'exécution difficiles à définir. Nous présentons PalmClaw, un cadre agent open source qui s'exécute nativement sur les téléphones mobiles et gère directement sur l'appareil les sessions, la mémoire, les compétences, les outils et la boucle de l'agent. PalmClaw expose les capacités de l'appareil en tant qu'outils avec des arguments explicites, des résultats structurés et des limites d'exécution clairement définies. Cette conception permet aux agents d'utiliser directement les capacités mobiles tout en maintenant chaque action explicite et contrôlée. Les expériences montrent une amélioration relative de 11,5 % du succès des tâches et une réduction de 94,9 % du temps d'exécution par rapport à la référence la plus forte, avec une charge de configuration moindre et des traces illustrant comment les limites d'exécution sont appliquées. Le code est disponible à l'adresse https://github.com/ModalityDance/PalmClaw.
L'optimisation des agents à long horizon repose de plus en plus sur des mécanismes basés sur la réflexion, où un grand modèle de langage (LLM) agit comme un optimiseur pour diagnostiquer les échecs des agents et améliorer leurs politiques. Cependant, les traces d'exécution réelles sont difficiles à utiliser directement pour l'optimisation : les grandes collections de traces sont souvent redondantes et hétérogènes, rendant l'optimisation inefficace et sujette au surapprentissage sur des échecs de faible valeur ; parallèlement, chaque trajectoire individuelle contient également de nombreuses étapes non pertinentes, tandis que les méthodes naïves de réduction de contexte telles que la troncature ou les fenêtres glissantes peuvent écarter des preuves causalement importantes et produire des signaux d'optimisation trompeurs. Pour résoudre ce dilemme, nous introduisons STRACE (Analyse Structurale de Trajectoires et Extraction Causale), un cadre qui construit des contextes d'optimisation à haut rapport signal-bruit pour une optimisation plus précise et efficace. Au niveau du lot, STRACE extrait des schémas d'échec pour filtrer les traces redondantes et conserver les échecs représentatifs ; dans chaque trace sélectionnée, il effectue une localisation causale sur un graphe de dépendances textuelles afin d'éliminer les étapes non causales et d'identifier le véritable module de cause racine pour l'optimisation. Les résultats empiriques montrent que STRACE surpasse significativement les références standard de filtrage de contexte. Notamment, sur une tâche exigeante de vérification formelle (VeruSAGE-Bench), il optimise avec succès des agents conçus par des experts humains, offrant une amélioration du taux de réussite de 1,4 fois (de 42,5 % à 58,5 %). Le code est disponible à l'adresse https://github.com/moomight/STRACE.
L'apprentissage par renforcement avec pénalité de longueur peut raccourcir le raisonnement en chaîne de pensée tout en masquant l'influence qui motive la réponse du modèle. Dans nos expériences, l'entraînement avec pénalités de longueur n'empêche pas les indices trompeurs d'orienter les modèles, même si les chaînes de pensée de ces derniers mentionnent beaucoup moins souvent l'indice. Une évaluation de la précision par token compterait ces passages comme réussis, car ils utilisent moins de tokens de raisonnement avec une perte de précision minime ; elle ne détecterait pas si la trace restante montre encore ce qui a influencé la réponse. Nous entraînons des variantes de Qwen3-4B et Qwen3-14B avec différentes longueurs cibles de chaîne, puis nous les évaluons avec des interventions d'indices biaisés sur le jeu de test retenu de MMLU-Pro-R et quatre benchmarks de transfert. La compression réduit fortement les tokens de raisonnement, préserve la plupart de la précision de choix multiples et laisse l'influence de l'indice proche de la référence. Avec la cible la plus forte, la fidélité inférieure chute à 63,1 % de la référence pour Qwen3-14B et à 69,4 % pour Qwen3-4B ; le taux brut auquel un moniteur détecte l'utilisation de l'indice passe de 69 % à 49 % et de 60 % à 48 %. Pour séparer longueur et contenu, nous supprimons aléatoirement des phrases des chaînes de référence non compressées jusqu'à ce que le texte restant corresponde à la longueur compressée. Même après cet appariement de longueur, les chaînes compressées révèlent l'indice 7 à 35 points de pourcentage moins souvent que les chaînes de référence raccourcies aléatoirement, et ce pour les deux tailles de Qwen3 et les cinq distributions d'évaluation. La compression ne se contente donc pas de raccourcir le raisonnement, elle supprime de manière préférentielle les indices dont un moniteur a besoin pour voir ce qui a influencé la réponse. Ensemble, ces résultats révèlent une frontière compression-surveillabilité dans laquelle un raisonnement moins coûteux peut préserver les réponses tout en rendant plus difficile la détection des influences qui les sous-tendent.
Les agents de test d’intrusion basés sur l’IA gagnent en crédibilité en tant que systèmes de sécurité offensifs, mais les benchmarks actuels n’offrent qu’un aperçu limité des performances dans des cibles réelles. Les protocoles d’évaluation existants mesurent et optimisent des objectifs prédéfinis tels que le capture-the-flag, l’exécution de code à distance, la reproduction d’exploit ou la similarité de trajectoire, dans des environnements simplifiés ou restreints. Ces outils sont utiles pour évaluer des capacités bornées, mais ils ne capturent pas correctement la complexité, l’exploration ouverte et la prise de décision stratégique requises dans un test d’intrusion réaliste. Dans cet article, nous présentons un protocole d’évaluation pratique qui déplace l’évaluation de la simple réalisation de tâches vers la découverte validée de vulnérabilités, permettant ainsi une évaluation sur des cibles suffisamment complexes couvrant plusieurs surfaces d’attaque et classes de vulnérabilités. Le protocole combine une vérité terrain structurée avec un appariement sémantique basé sur LLM pour identifier les vulnérabilités, une résolution bipartite pour noter les résultats sous une ambiguïté réaliste, une maintenance continue de la vérité terrain, une évaluation répétée et cumulative des agents stochastiques, des métriques d’efficacité, et une sélection de suite réduite pour une expérimentation durable. Ce protocole repousse l’état de l’art en permettant une comparaison plus réaliste et opérationnellement informative des agents de test d’intrusion IA. Pour garantir la reproductibilité, nous publions également la vérité terrain annotée par des experts et le code du protocole d’évaluation proposé : https://github.com/ethiack/ethibench.
Les systèmes de drones autonomes s'appuient de plus en plus sur des modèles de langage multimodaux de grande taille (MLLMs) pour opérer dans des environnements réels complexes. De tels scénarios incarnés nécessitent non seulement une compréhension de l'espace environnant, mais aussi le maintien d'une représentation cohérente de l'agent lui-même. Cependant, les approches et les références existantes orientées vers les drones restent largement centrées sur l'environnement, se concentrant principalement sur des tâches de compréhension spatiale, la conscience de soi de l'agent restant implicite. Pour combler cette lacune, nous présentons SIS-Bench, un banc d'essai pour évaluer l'intelligence spatiale incarnée dans des scénarios de drones sous une formulation unifiée du soi-dans-l'espace. SIS-Bench organise l'évaluation selon deux dimensions complémentaires, l'espace et le soi, et une hiérarchie à trois niveaux de perception, mémoire et raisonnement. Il contient 4 856 paires question-répartition réparties sur 13 tâches, dérivées de 1 646 vidéos réelles de drones via un pipeline de construction conditionné par les tâches avec une vérification par des experts. Des évaluations approfondies révèlent que les MLLMs actuels présentent des limitations fondamentales dans la modélisation des processus dynamiques et centrés sur l'agent. En particulier, nous observons un déséquilibre clair entre la cognition spatiale et la conscience de soi, ainsi qu'une dégradation progressive des performances à travers les niveaux cognitifs. Motivés par ces résultats, nous explorons plus en détail une représentation consciente du mouvement qui intègre les dynamiques liées au soi via le flux optique et la fusion de caractéristiques visuelles. Les résultats expérimentaux montrent que la modélisation du mouvement de l'agent améliore systématiquement les performances de perception et de mémoire, non seulement dans la cognition spatiale mais aussi dans la conscience de soi, et se généralise à des tâches aval de prise de décision pour les drones. Nos résultats soulignent l'importance de la conscience de soi pour faire progresser l'intelligence spatiale incarnée, et fournissent à la fois un nouveau banc d'essai et des preuves empiriques pour la modélisation du soi-dans-l'espace consciente du mouvement.
Les simulateurs interactifs sont devenus des outils puissants pour l’entraînement d’agents incarnés et la génération de données visuelles synthétiques, mais les simulateurs photoréalistes existants souffrent d’une généralité, d’une programmabilité et d’une vitesse de rendu limitées. Nous remédions à ces limitations en introduisant SPEAR : un simulateur pour la recherche en IA incarnée photoréaliste. À sa base, SPEAR est une bibliothèque Python capable de se connecter à toute application Unreal Engine (UE) et de la contrôler par programmation grâce à une architecture de plugins modulaire. SPEAR expose plus de 14 000 fonctions UE uniques à Python, représentant une augmentation d’un ordre de grandeur de la fonctionnalité programmable par rapport aux simulateurs existants basés sur UE. De plus, une seule instance de SPEAR peut générer des images de beauté photoréalistes en 1920×1080 directement dans un tableau NumPy de l’utilisateur à 73 images par seconde – soit un ordre de grandeur plus rapide que les plugins UE existants – tout en fournissant des modalités d’image de vérité terrain indisponibles dans tout simulateur UE actuel (par exemple, une décomposition d’image intrinsèque non diffuse, des identifiants de matériaux et des paramètres d’ombrage basés sur la physique). Enfin, SPEAR introduit un modèle de programmation de haut niveau expressif qui permet aux utilisateurs de spécifier des graphes complexes de travaux UE avec des dépendances de données arbitraires entre les éléments de travail, et d’exécuter ces graphes de manière déterministe au sein d’une seule image UE. Nous démontrons l’utilité de SPEAR à travers une collection diversifiée d’applications exemples : le contrôle de plusieurs agents incarnés avec des espaces d’action distincts (par exemple, humains, voitures et robots) dans plusieurs projets UE en conditions réelles ; le rendu d’environnements photoréalistes à l’échelle d’une ville ; la manipulation des systèmes de génération procédurale de contenu d’UE ; le rendu d’images multivues synchronisées de visages humains détaillés ; la coordination d’une co-simulation interactive avec le simulateur physique MuJoCo ; et l’édition de scènes par langage naturel via un assistant de codage IA.
Nous présentons AffectFlow-DINO, un système d’apprentissage multitâche pour le 11e défi ABAW qui étend une architecture déterministe standard avec une tête de flux rectifié conditionnel afin de modéliser l’ambiguïté inhérente des comportements faciaux en conditions naturelles. Au lieu de prédire une seule estimation d’affect, le modèle apprend une distribution générative conditionnelle, permettant des prédictions un-à-plusieurs conscientes de l’incertitude via un échantillonnage de Monte Carlo. Le système estime conjointement une valence-arousal continue, classifie huit expressions faciales et détecte douze Unités d’Action à partir d’images faciales statiques. Construit sur un backbone DINOv3 ViT-S/16 figé, des études d’ablation approfondies montrent que le décodage par flux rectifié améliore systématiquement la prédiction déterministe, en particulier pour l’estimation valence-arousal (CCC-V +0,058). Nous montrons en outre qu’un calibrage a posteriori des seuils permet de récupérer efficacement la performance sur des classes rares fortement déséquilibrées (par exemple, Peur : 3,8 % → 33,1 %) sans réentraînement. Combiné avec le réglage fin du backbone et le réajustement du flux, le modèle final atteint P_{MTL}=1,177, surpassant nettement le score de référence officiel du défi, P_{MTL}=0,45.
Les langages dotés d’une sémantique statique riche, comme Rust, offrent de meilleures garanties pour le code généré par IA, mais leur rigueur rend la génération plus difficile. Les compilateurs prêts à l’emploi peuvent fournir un retour utile après génération, mais ils ne guident pas les étapes intermédiaires de génération, comme celles lors du décodage autorégressif des LLM. Le décodage contraint intervient plus tôt en rejetant les jetons invalides pendant l’échantillonnage, mais nécessite un accès au modèle en boîte blanche et une réimplémentation coûteuse pour les contraintes sémantiques. Nous introduisons la compilation générative, la première approche permettant d’obtenir un retour du compilateur sur des programmes partiels pendant la génération. Le dispositif technique central est un sealor : une transformation légère, principalement guidée par la syntaxe, qui convertit des programmes partiels en programmes complets que les compilateurs standards peuvent diagnostiquer. Il est conçu de sorte que les programmes partiels potentiellement complétables ne soient jamais rejetés, tout en préservant suffisamment de contexte de code pour détecter rapidement les impasses réelles. Nous construisons un tel sealor sur un calcul de type Rust de base et prouvons qu’il satisfait ces propriétés, le tout mécanisé dans Lean. Nous l’étendons au premier vérificateur de programmes partiels pour Rust réel. Nous évaluons notre méthode sur des tâches de codage Rust difficiles au niveau du dépôt, à la fois sur des modèles frontières en boîte noire et à poids ouverts. Nous montrons que la compilation générative réduit les sorties non compilables et améliore la correction fonctionnelle, par rapport au retour standard post-génération. Ceci est réalisé en détectant un large éventail d’erreurs près de leur source et tôt pendant la génération, réduisant ainsi les cascades d’erreurs et permettant des diagnostics ciblés. Plus largement, la compilation générative est un pas vers la reconnaissance des compilateurs comme citoyens de première classe de la programmation assistée par IA, actifs pendant la génération, plutôt qu’une vérification post-génération distincte.