Articles de recherche IA sélectionnés quotidiennement avec traductions
Les systèmes d'agents basés sur de grands modèles de langage ont démontré de fortes capacités. Cependant, leur dépendance au langage comme interface universelle limite fondamentalement leur applicabilité à de nombreux problèmes du monde réel, en particulier dans les domaines scientifiques où des modèles de fondation spécialisés ont été développés pour traiter des tâches spécifiques qui vont au-delà du langage naturel. Dans ce travail, nous présentons Eywa, un cadre hétérogène d'agents conçu pour étendre les systèmes centrés sur le langage à une classe plus large de modèles de fondation scientifiques. L'idée clé d'Eywa est d'augmenter les modèles de fondation spécifiques à un domaine avec une interface de raisonnement basée sur un modèle de langage, permettant ainsi à ces modèles de guider l'inférence sur des modalités de données non linguistiques. Cette conception permet aux modèles de fondation prédictifs, généralement optimisés pour des données et des tâches spécialisées, de participer à des processus de raisonnement et de prise de décision de plus haut niveau au sein de systèmes agentiques. Eywa peut servir de remplacement direct pour un pipeline à agent unique (EywaAgent) ou être intégré dans des systèmes multi-agents existants en remplaçant les agents traditionnels par des agents spécialisés (EywaMAS). Nous étudions en outre un cadre d'orchestration basé sur la planification dans lequel un planificateur coordonne dynamiquement des agents traditionnels et des agents Eywa pour résoudre des tâches complexes impliquant des modalités de données hétérogènes (EywaOrchestra). Nous évaluons Eywa sur un ensemble varié de domaines scientifiques couvrant les sciences physiques, les sciences de la vie et les sciences sociales. Les résultats expérimentaux démontrent qu'Eywa améliore les performances sur les tâches impliquant des données structurées et spécifiques à un domaine, tout en réduisant la dépendance au raisonnement basé sur le langage grâce à une collaboration efficace avec des modèles de fondation spécialisés.
Les modèles récents de génération visuelle ont accompli des progrès majeurs en photoréalisme, typographie, suivi d'instructions et édition interactive, mais ils peinent encore avec le raisonnement spatial, l'état persistant, la cohérence à long terme et la compréhension causale. Nous soutenons que le domaine devrait dépasser la synthèse d'apparence pour évoluer vers une génération visuelle intelligente : des visuels plausibles ancrés dans la structure, la dynamique, les connaissances du domaine et les relations causales. Pour cadrer cette transition, nous introduisons une taxonomie à cinq niveaux : Génération Atomique, Génération Conditionnelle, Génération en Contexte, Génération Agentique et Génération par Modélisation du Monde, progressant de moteurs de rendu passifs à des générateurs interactifs, agentiques et conscients de l'environnement. Nous analysons les moteurs techniques clés, incluant l'appariement de flux, les modèles unifiés de compréhension et de génération, l'amélioration des représentations visuelles, le post-entraînement, la modélisation de récompenses, la curation des données, la distillation de données synthétiques et l'accélération de l'échantillonnage. Nous démontrons en outre que les évaluations actuelles surestiment souvent les progrès en privilégiant la qualité perceptuelle tout en occultant les échecs structurels, temporels et causaux. En combinant une revue des benchmarks, des tests de stress en conditions réelles et des études de cas contraintes par des experts, cette feuille de route offre une perspective centrée sur les capacités pour comprendre, évaluer et faire progresser la prochaine génération de systèmes de génération visuelle intelligente.
Le RLVR et l'OPD sont devenus des paradigmes standards pour le post-entraînement. Nous proposons une analyse unifiée de ces deux paradigmes pour consolider plusieurs capacités d'expert dans un modèle unique, en identifiant la perte de capacité de différentes manières : le RLVR mixte souffre d'un coût de divergence inter-capacités, tandis que le pipeline consistant à d'abord entraîner les experts puis à effectuer l'OPD, bien qu'évitant la divergence, ne parvient pas à absorber pleinement les capacités du enseignant en raison d'écarts importants dans les schémas comportementaux entre enseignant et étudiant. Nous proposons la Distillation de Politique en Co-Évolution (CoPD), qui encourage l'entraînement parallèle des experts et introduit l'OPD pendant l'entraînement RLVR en cours de chaque expert plutôt qu'après un entraînement complet des experts, les experts servant d'enseignants mutuels (rendant l'OPD bidirectionnelle) pour co-évoluer. Cela permet des schémas comportementaux plus cohérents entre les experts tout en maintenant des connaissances complémentaires suffisantes tout au long du processus. Les expériences valident que CoPD réalise une intégration tout-en-un des capacités de raisonnement textuel, visuel et vidéo, surpassant significativement des bases de référence solides telles que le RLVR mixte et le MOPD, et dépassant même les experts spécialisés par domaine. Le modèle d'entraînement parallèle offert par CoPD pourrait inspirer un nouveau paradigme de mise à l'échelle de l'entraînement.
Les systèmes de contrôle humanoïdes ont réalisé des progrès significatifs ces dernières années, pourtant la modélisation de comportements fluides et riches en interactions entre un robot, son environnement et les objets pertinents pour la tâche reste un défi fondamental. Cette difficulté provient de la nécessité de capturer conjointement à grande échelle le contexte spatial, la dynamique temporelle, les actions du robot et l'intention de la tâche, ce qui correspond mal aux méthodes de supervision conventionnelles. Nous proposons ExoActor, un nouveau cadre qui exploite les capacités de généralisation des modèles de génération vidéo à grande échelle pour résoudre ce problème. L'idée clé d'ExoActor est d'utiliser la génération vidéo à la troisième personne comme interface unifiée pour modéliser la dynamique des interactions. Étant donné une instruction de tâche et un contexte de scène, ExoActor synthétise des processus d'exécution plausibles qui encodent implicitement des interactions coordonnées entre le robot, l'environnement et les objets. Cette sortie vidéo est ensuite transformée en comportements humanoïdes exécutables via un pipeline qui estime le mouvement humain et l'exécute via un contrôleur de mouvement général, produisant ainsi une séquence comportementale conditionnée par la tâche. Pour valider le cadre proposé, nous l'implémentons comme un système de bout en bout et démontrons sa capacité de généralisation à de nouveaux scénarios sans collecte supplémentaire de données réelles. Enfin, nous concluons en discutant des limitations de l'implémentation actuelle et en esquissant des pistes prometteuses pour les recherches futures, illustrant comment ExoActor offre une approche évolutive pour modéliser des comportements humanoïdes riches en interactions, ouvrant potentiellement une nouvelle voie pour que les modèles génératifs fassent progresser l'intelligence humanoïde généraliste.
Le réglage fin des grands modèles de langage (LLM) sur des GPU grand public est très rentable, mais il est limité par la mémoire GPU restreinte et la lenteur des interconnexions PCIe. Le parallélisme par pipeline combiné au déchargement sur le processeur atténue ces goulots d'étranglement matériels en réduisant la surcharge de communication. Cependant, les planifications de parallélisme par pipeline existantes souffrent d'une limitation intrinsèque appelée le problème de liaison des poids. La liaison de stages de modèle de taille inégale (par exemple, la tête de modélisation du langage est volumineuse) à des GPU limite le débit du pipeline à celui du GPU avec la charge la plus lourde, entraînant de sévères bulles de pipeline. Dans cet article, nous proposons RoundPipe, une nouvelle planification de pipeline qui lève la contrainte de liaison des poids sur les serveurs GPU grand public. RoundPipe traite les GPU comme un pool de workers d'exécution sans état et répartit dynamiquement les étapes de calcul sur les appareils de manière cyclique, réalisant un pipeline à bulles quasi nulles. Pour garantir la justesse de l'entraînement et l'efficacité du système, RoundPipe intègre un moteur de planification de transfert prioritaire, un protocole de synchronisation distribué basé sur des événements à granularité fine et un algorithme automatisé de partitionnement des couches. Les évaluations sur un serveur équipé de 8x RTX 4090 démontrent que RoundPipe obtient des accélérations de 1,48 à 2,16 fois par rapport aux meilleures méthodes de référence lors du réglage fin de modèles de 1,7B à 32B. Fait remarquable, RoundPipe permet le réglage fin par LoRA du modèle Qwen3-235B avec une longueur de séquence de 31K sur un seul serveur. RoundPipe est disponible publiquement sous la forme d'une bibliothèque Python open-source avec une documentation complète.
Les agents LLM sont censés accomplir des unités de travail de bout en bout à travers des outils logiciels, des services métier et des espaces de travail locaux. Pourtant, de nombreux benchmarks d'agents figent un ensemble de tâches sélectionné au moment de leur publication et évaluent principalement la réponse finale, ce qui rend difficile l'évaluation des agents face à une demande de workflow évolutive ou la vérification de l'exécution d'une tâche. Nous présentons Claw-Eval-Live, un benchmark dynamique pour les agents de workflow qui sépare une couche de signal actualisable, mise à jour à chaque version à partir de signaux publics de demande de workflow, d'un instantané de version reproductible et horodaté. Chaque version est construite à partir de signaux publics de demande de workflow, en utilisant les Top-500 compétences de ClawHub pour la version courante, et matérialisée sous forme de tâches contrôlées avec des fixtures, services, espaces de travail et correcteurs fixes. Pour l'évaluation, Claw-Eval-Live enregistre les traces d'exécution, les journaux d'audit, l'état des services et les artefacts post-exécution de l'espace de travail, en utilisant des vérifications déterministes lorsque les preuves sont suffisantes et un jugement LLM structuré uniquement pour les dimensions sémantiques. La version contient 105 tâches couvrant des services métier contrôlés et la réparation d'espaces de travail locaux, et évalue 13 modèles de pointe selon une règle de réussite publique commune. Les expériences révèlent que l'automatisation fiable des workflows est loin d'être résolue : le modèle leader ne réussit que 66,7 % des tâches et aucun modèle n'atteint 70 %. Les échecs sont structurés par famille de tâches et surface d'exécution, les workflows métier RH, de gestion et multi-systèmes constituant des goulots d'étranglement persistants, tandis que la réparation d'espaces de travail locaux est relativement plus facile mais non saturée. Le classement au leaderboard seul est insuffisant car des modèles avec des taux de réussite similaires peuvent diverger dans l'achèvement global, et la discrimination au niveau des tâches se concentre sur une bande médiane. Claw-Eval-Live suggère que l'évaluation des agents de workflow devrait être ancrée doublement : dans une demande externe actualisée et dans une action d'agent vérifiable.
Le token constitue l'unité fondamentale de calcul dans les modèles autorégressifs modernes, et la longueur de génération influence directement le coût d'inférence et les performances de raisonnement. Malgré son importance, les approches existantes manquent de modélisation fine de la longueur, opérant principalement au niveau séquentiel grossier. Nous présentons le Modèle à Valeur de Longueur (LenVM), un framework au niveau token qui modélise la longueur de génération restante. En formulant la modélisation de la longueur comme un problème d'estimation de valeur et en attribuant une récompense négative constante à chaque token généré, LenVM prédit un retour actualisé borné qui sert de proxy monotone pour l'horizon de génération restant. Cette formulation produit une supervision sans annotation, dense, non biaisée et évolutive. Les expériences sur les LLM et VLM démontrent que LenVM fournit un signal très efficace au moment de l'inférence. Sur la tâche d'appariement exact de longueur LIFEBench, l'application de LenVM à un modèle de 7B améliore le score de longueur de 30,9 à 64,8, surpassant significativement les modèles propriétaires de pointe. De plus, LenVM permet un contrôle continu du compromis entre performance et efficacité. Sur GSM8K avec un budget de 200 tokens, LenVM maintient une précision de 63% contre 6% pour la ligne de base avec budget de tokens. Il prédit également avec précision la longueur totale de génération dès la limite du prompt. Enfin, les valeurs au niveau token de LenVM offrent une vue interprétable de la dynamique de génération, révélant comment des tokens spécifiques orientent le raisonnement vers des régimes plus courts ou plus longs. Les résultats démontrent que LenVM prend en charge un large éventail d'applications et que la longueur en tokens peut être efficacement modélisée comme un signal de valeur au niveau token, soulignant le potentiel de LenVM comme framework général pour la modélisation de la longueur et comme signal de valeur spécifique à la longueur pouvant soutenir un futur apprentissage par renforcement. Le code est disponible à l'adresse https://github.com/eric-ai-lab/Length-Value-Model.
Alors que l'apprentissage par renforcement à partir de retours humains (RLHF) est devenu un paradigme pivot pour la génération d'images à partir de texte, son application à l'édition d'images reste largement inexplorée. Un goulot d'étranglement majeur est l'absence d'un modèle de récompense général robuste pour toutes les tâches d'édition. Les modèles de récompense existants attribuent généralement des scores globaux sans vérifications détaillées, ignorant les différents impératifs des instructions et entraînant des récompenses biaisées. Pour remédier à cela, nous soutenons que la clé est de passer d'un simple évaluateur à un vérificateur raisonné. Nous présentons Edit-R1, un cadre qui construit un modèle de récompense raisonné (RRM) basé sur un vérificateur à chaîne de pensée (CoT), puis l'utilise pour l'édition d'images en aval. L'Edit-RRM décompose les instructions en principes distincts, évalue l'image modifiée par rapport à chaque principe et agrège ces vérifications en une récompense interprétable et fine. Pour construire un tel RRM, nous appliquons d'abord un réglage fin supervisé (SFT) comme « démarrage à froid » pour générer des trajectoires de récompense CoT. Ensuite, nous introduisons l'optimisation des préférences par contraste de groupe (GCPO), un algorithme d'apprentissage par renforcement qui exploite des données de préférences humaines par paires pour renforcer notre RRM ponctuel. Après avoir construit le RRM, nous utilisons GRPO pour entraîner des modèles d'édition avec ce modèle de récompense non différentiable mais puissant. Des expériences approfondies démontrent que notre Edit-RRM surpasse des modèles de vision et langage (VLM) puissants tels que Seed-1.5-VL et Seed-1.6-VL en tant que modèle de récompense spécifique à l'édition, et nous observons une nette tendance à l'échelle, les performances s'améliorant constamment de 3B à 7B de paramètres. De plus, Edit-R1 apporte des gains à des modèles d'édition comme FLUX.1-kontext, soulignant son efficacité pour améliorer l'édition d'images.
L'infrastructure de recherche existante est fondamentalement centrée sur les documents, fournissant des liens de citation entre les articles mais manquant de représentations explicites de l'évolution méthodologique. En particulier, elle ne capture pas les relations structurées qui expliquent comment et pourquoi les méthodes de recherche émergent, s'adaptent et se construisent les unes sur les autres. Avec l'émergence des agents de recherche pilotés par l'IA en tant que nouvelle classe de consommateurs de connaissances scientifiques, cette limite devient de plus en plus conséquente, car ces agents ne peuvent pas reconstruire de manière fiable les topologies d'évolution méthodologique à partir de texte non structuré. Nous présentons Intern-Atlas, un graphe d'évolution méthodologique qui identifie automatiquement les entités au niveau méthodologique, infère les relations de filiation entre les méthodologies et capture les goulots d'étranglement qui motivent les transitions entre les innovations successives. Construit à partir de 1 030 314 articles couvrant des conférences, des revues et des prépublications arXiv en IA, le graphe résultant comprend 9 410 201 arêtes sémantiquement typées, chacune ancrée dans des preuves textuelles sources, formant un réseau causal interrogeable du développement méthodologique. Pour opérationnaliser cette structure, nous proposons en outre un algorithme de recherche arborescente temporelle auto-guidée pour construire des chaînes d'évolution qui retracent la progression des méthodes dans le temps. Nous évaluons la qualité du graphe résultant par rapport à des chaînes d'évolution de référence établies par des experts et observons une forte concordance. De plus, nous démontrons qu'Intern-Atlas permet des applications en aval dans l'évaluation d'idées et la génération automatisée d'idées. Nous positionnons les graphes d'évolution méthodologique comme une couche de données fondamentale pour la découverte scientifique automatisée émergente.
Nous présentons Nemotron 3 Nano Omni, le dernier modèle de la série multimodale Nemotron et le premier à prendre en charge nativement les entrées audio aux côtés du texte, des images et de la vidéo. Nemotron 3 Nano Omni offre des améliorations constantes de la précision par rapport à son prédécesseur, Nemotron Nano V2 VL, sur toutes les modalités, grâce aux avancées en matière d'architecture, de données d'entraînement et de méthodes d'apprentissage. Nemotron 3 obtient notamment des résultats leaders dans la compréhension de documents réels, la compréhension de longs contenus audio-vidéo et l'utilisation agentive d'ordinateurs. Bâti sur l'ossature très efficace de Nemotron 3 Nano 30B-A3B, Nemotron 3 Nano Omni intègre en outre des techniques innovantes de réduction de tokens multimodaux pour offrir une latence d'inférence substantiellement plus faible et un débit plus élevé que les autres modèles de taille similaire. Nous publions des points de contrôle de modèle aux formats BF16, FP8 et FP4, ainsi que des parties des données d'entraînement et du code source pour faciliter la recherche et le développement ultérieurs.
Le travail productif réaliste à long terme est fortement conditionné par les environnements informatiques spécifiques aux utilisateurs, où une grande partie du contexte de travail est stockée et organisée via des structures de répertoires et des artefacts riches en contenu. Pour mettre à l'échelle la création de données synthétiques dans de tels scénarios de productivité, nous introduisons Synthetic Computers at Scale, une méthodologie évolutive permettant de créer de tels environnements avec des hiérarchies de dossiers réalistes et des artefacts riches en contenu (par exemple, des documents, des feuilles de calcul et des présentations). Sur la base de chaque ordinateur synthétique, nous exécutons des simulations à long terme : un agent crée des objectifs de productivité spécifiques à l'utilisateur de l'ordinateur, nécessitant de multiples livrables professionnels et environ un mois de travail humain ; un autre agent agit ensuite comme cet utilisateur et continue de travailler sur l'ordinateur – par exemple, en naviguant dans le système de fichiers pour se contextualiser, en coordonnant avec des collaborateurs simulés, et en produisant des artefacts professionnels – jusqu'à ce que ces objectifs soient atteints. Dans des expériences préliminaires, nous avons créé 1 000 ordinateurs synthétiques et exécuté des simulations à long terme sur ceux-ci ; chaque exécution nécessite plus de 8 heures de temps d'exécution d'agent et s'étend en moyenne sur plus de 2 000 tours. Ces simulations produisent des signaux d'apprentissage expérientiel riches, dont l'efficacité est validée par des améliorations significatives des performances des agents lors d'évaluations de productivité intra-domaines et extra-domaines. Étant donné que les personas existent en abondance à l'échelle du milliard, cette méthodologie peut en principe s'étendre à des millions, voire des milliards de mondes utilisateurs synthétiques avec suffisamment de puissance de calcul, permettant une couverture plus large de professions, de rôles, de contextes, d'environnements et de besoins de productivité divers. Nous soutenons que la création évolutive d'ordinateurs synthétiques, associée à des simulations à grande échelle, est très prometteuse en tant que substrat fondamental pour l'auto-amélioration des agents et l'apprentissage par renforcement agentique dans des scénarios de productivité à long terme.
Avec l'avancement des modèles de langage multimodaux (MLLM) et des agents de programmation, le développement de sites web est passé d'une programmation manuelle à une synthèse de code au niveau projet, pilotée par des agents. Les benchmarks existants reposent sur des hypothèses idéalisées, notamment concernant des entrées bien structurées, riches en informations, et des environnements d'exécution statiques. En revanche, le développement réel est limité par un goulot d'étranglement critique : le décalage sémantique entre des instructions ambiguës et de faible qualité émanant d'utilisateurs non experts et la compréhension du modèle, ce qui génère un mode d'échec que nous nommons l'exécution aveugle. Pour combler cette lacune, nous présentons InteractWeb-Bench, le premier benchmark interactif multimodal pour la génération de sites web dans des conditions d'utilisateurs non experts en low-code. InteractWeb-Bench introduit quatre types d'agents utilisateurs et des perturbations d'instructions basées sur des personas pour simuler systématiquement divers comportements utilisateurs, incluant l'ambiguïté, la redondance et la contradiction, en s'appuyant sur les taxonomies des défauts en ingénierie des exigences. Nous développons un environnement d'exécution interactif pour les agents, doté d'un espace d'action unifié comprenant les actions Clarifier, Implémenter, Vérifier et Soumettre, permettant un raffinement itératif des intentions, une synthèse de code et une validation basée sur un retour visuel. Des expériences et analyses approfondies révèlent que les agents MLLM les plus avancés restent piégés dans l'exécution aveugle, exposant des limitations dans la reconnaissance des intentions et l'interaction adaptative.
Nous démontrons que la distance de Fréchet (FD), longtemps considérée comme impraticable en tant qu'objectif d'entraînement, peut en réalité être optimisée efficacement dans l'espace de représentation. Notre idée est simple : dissocier la taille de la population pour l'estimation de la FD (par exemple, 50k) de la taille du lot pour le calcul du gradient (par exemple, 1024). Nous nommons cette approche FD-loss. L'optimisation de la FD-loss révèle plusieurs découvertes surprenantes. Premièrement, le post-entraînement d'un générateur de base avec la FD-loss dans différents espaces de représentation améliore systématiquement la qualité visuelle. Dans l'espace de caractéristiques Inception, un générateur en une seule étape atteint un FID de 0,72 sur ImageNet 256x256. Deuxièmement, la même FD-loss permet de reconvertir des générateurs multi-étapes en générateurs en une seule étape performants, sans distillation de modèle enseignant, entraînement adversarial ou cibles par échantillon. Troisièmement, le FID peut mal classer la qualité visuelle : les représentations modernes peuvent produire de meilleurs échantillons malgré un FID Inception moins bon. Cela motive FDr^k, une métrique multi-représentation. Nous espérons que ce travail encouragera une exploration plus poussée des distances distributionnelles dans divers espaces de représentation, à la fois comme objectifs d'entraînement et comme métriques d'évaluation pour les modèles génératifs.
Les grands modèles de langage (LLM) acquièrent des capacités de raisonnement grâce à des schémas d'inférence partagés présents dans les données de pré-entraînement, capacités qui sont ensuite sollicitées via les pratiques de Chaîne de Pensée (CoT). Cependant, la possibilité de dissocier les schémas fondamentaux de raisonnement (comme l'induction, la déduction et l'abduction) d'instances de problèmes spécifiques reste un défi crucial pour la contrôlabilité des modèles et pour éclairer la contrôlabilité du raisonnement lui-même. Dans cet article, nous présentons la première investigation systématique de ce problème à travers le prisme des conflits de raisonnement : une tension explicite entre l'information paramétrique et contextuelle, induite en imposant des schémas logiques qui s'écartent de ceux attendus pour une tâche cible. Notre évaluation révèle que les LLM privilégient systématiquement la pertinence (« sensibilité ») par rapport à la conformité, favorisant les schémas de raisonnement adaptés à la tâche malgré des instructions contradictoires. Il est à noter que la précision sur la tâche n'est pas strictement déterminée par cette pertinence, les modèles maintenant souvent des performances élevées même avec des schémas conflictuels, ce qui suggère une dépendance à une mémoire paramétrique internalisée qui augmente avec la taille du modèle. Nous démontrons en outre que les conflits de raisonnement sont détectables en interne, car les scores de confiance chutent significativement pendant les épisodes conflictuels. Des expériences de « probing » confirment que les types de raisonnement sont encodés linéairement des couches intermédiaires aux couches tardives, indiquant un potentiel de contrôlabilité au niveau des activations. En exploitant ces insights, nous orientons les modèles vers la conformité, augmentant le suivi des instructions jusqu'à 29 %. Globalement, nos résultats établissent que si le raisonnement des LLM est ancré à des instances concrètes, des interventions mécanistes actives peuvent efficacement dissocier les schémas logiques des données, ouvrant une voie vers une meilleure contrôlabilité, fidélité et généralisabilité.
La publication scientifique compresse un processus de recherche itératif et ramifié en un récit linéaire, écartant la majorité des découvertes réalisées en cours de route. Cette compilation impose deux coûts structurels : une Taxe Narrative, où les expériences infructueuses, les hypothèses rejetées et le processus d'exploration ramifié sont abandonnés pour épouser un récit linéaire ; et une Taxe Ingénierie, où l'écart entre une prose suffisante pour les relecteurs et une spécification suffisante pour les agents laisse des détails de mise en œuvre critiques non écrits. Tolérables pour des lecteurs humains, ces coûts deviennent critiques lorsque des agents IA doivent comprendre, reproduire et étendre des travaux publiés. Nous présentons l'Artifact de Recherche Agent-Natif (ARAN), un protocole qui remplace l'article narratif par un package de recherche exécutable par une machine, structuré autour de quatre couches : la logique scientifique, le code exécutable avec ses spécifications complètes, un graphe d'exploration qui préserve les échecs que la compilation élimine, et des preuves ancrant chaque affirmation dans des résultats bruts. Trois mécanismes soutiennent l'écosystème : un Gestionnaire de Recherche Vivante qui capture les décisions et les impasses durant le développement habituel ; un Compilateur ARAN qui traduit les PDF et dépôts existants en ARAN ; et un système de relecture natif ARAN qui automatise les vérifications objectives pour permettre aux relecteurs humains de se concentrer sur la portée, la nouveauté et l'appréciation qualitative. Sur PaperBench et RE-Bench, ARAN améliore la précision des réponses aux questions de 72,4 % à 93,7 % et le taux de succès de reproduction de 57,4 % à 64,4 %. Sur les cinq tâches d'extension ouvertes de RE-Bench, les traces d'échec préservées dans l'ARAN accélèrent les progrès, mais peuvent aussi contraindre un agent compétent à ne pas sortir du cadre des exécutions antérieures, selon les capacités de l'agent.
Les modèles modernes de diffusion vidéo excellent dans la synthèse d'apparence mais peinent encore avec la cohérence physique : les objets dérivent, les collisions manquent de rebond réaliste, et les réactions des matériaux correspondent rarement à leurs propriétés sous-jacentes. Nous présentons PhyCo, un cadre qui introduit un contrôle continu, interprétable et physiquement fondé dans la génération vidéo. Notre approche intègre trois composants clés : (i) un jeu de données à grande échelle de plus de 100 000 vidéos de simulation photoréalistes où le frottement, la restitution, la déformation et la force sont systématiquement variés dans divers scénarios ; (ii) un fine-tuning supervisé par la physique d'un modèle de diffusion pré-entraîné utilisant un ControlNet conditionné par des cartes de propriétés physiques alignées pixel par pixel ; et (iii) une optimisation de récompense guidée par VLM, où un modèle vision-langage fine-tuné évalue les vidéos générées avec des requêtes physiques ciblées et fournit un retour différenciable. Cette combinaison permet à un modèle génératif de produire des résultats physiquement cohérents et contrôlables via des variations d'attributs physiques - sans aucun simulateur ou reconstruction géométrique lors de l'inférence. Sur le benchmark Physics-IQ, PhyCo améliore significativement le réalisme physique par rapport aux bases de référence solides, et des études humaines confirment un contrôle plus clair et plus fidèle des attributs physiques. Nos résultats démontrent une voie évolutive vers des modèles génératifs vidéo physiquement cohérents et contrôlables qui généralisent au-delà des environnements d'entraînement synthétiques.
Les méthodes récentes de capture de mouvement à squelette arbitraire à partir de vidéos monoculaires suivent un pipeline factorisé : un réseau Vidéo-vers-Poste prédit les positions articulaires, puis une étape d'inverse cinématique (IK) analytique reconstruit les rotations articulaires. Bien qu'efficace, cette conception est intrinsèquement limitée, car les positions articulaires ne déterminent pas entièrement les rotations et laissent des degrés de liberté, tels que la torsion de l'axe osseux, ambigus. De plus, l'étape IK non différentiable empêche le système de s'adapter aux prédictions bruitées ou d'optimiser l'objectif d'animation final. Dans ce travail, nous présentons le premier cadre entièrement end-to-end dans lequel à la fois Vidéo-vers-Poste et Posture-vers-Rotation sont apprenables et optimisés conjointement. Nous observons que l'ambiguïté dans la cartographie posture-rotation provient de l'absence d'information sur le système de coordonnées : les mêmes positions articulaires peuvent correspondre à différentes rotations selon les postures de repos et les conventions d'axes locales. Pour résoudre ce problème, nous introduisons une paire posture-référence/rotation-référence provenant de l'asset cible, qui, avec la posture de repos, ancre non seulement la cartographie mais définit aussi le système de coordonnées de rotation sous-jacent. Cette formulation transforme la prédiction de rotation en un problème conditionnel bien contraint et permet un apprentissage efficace. De plus, notre modèle prédit les positions articulaires directement à partir de la vidéo sans recourir à des intermédiaires de maillage, améliorant ainsi la robustesse et l'efficacité. Les deux étapes partagent un module d'attention multi-têtes guidée par graphe Global-Local (GL-GMHA) conscient du squelette, pour un raisonnement local au niveau articulaire et une coordination globale. Les expériences sur Truebones Zoo et Objaverse montrent que notre méthode réduit l'erreur de rotation d'environ 17 degrés à environ 10 degrés, et à 6,54 degrés sur des squelettes non vus, tout en réalisant une inférence environ 20 fois plus rapide que les pipelines basés sur le maillage. Page du projet : https://animotionlab.github.io/MoCapAnythingV2/
L'intelligence incarnée nécessite des environnements de simulation haute fidélité pour soutenir la perception et la prise de décision, mais les plateformes existantes souffrent souvent de contamination des données et d'une flexibilité limitée. Pour y remédier, nous proposons World2Minecraft, qui convertit des scènes du monde réel en environnements Minecraft structurés basés sur la prédiction d'occupation sémantique 3D. Dans les scènes reconstruites, nous pouvons effectuer sans effort des tâches en aval telles que la navigation vision-langage (VLN). Cependant, nous observons que la qualité de la reconstruction dépend fortement d'une prédiction d'occupation précise, qui reste limitée par la rareté des données et la faible généralisation des modèles existants. Nous introduisons un pipeline d'acquisition de données automatisé, peu coûteux et évolutif pour créer des ensembles de données d'occupation personnalisés, et démontrons son efficacité grâce à MinecraftOcc, un jeu de données à grande échelle comprenant 100 165 images provenant de 156 scènes intérieures richement détaillées. Des expériences approfondies montrent que notre jeu de données constitue un complément essentiel aux ensembles existants et représente un défi significatif pour les méthodes actuelles de l'état de l'art. Ces résultats contribuent à l'amélioration de la prédiction d'occupation et soulignent la valeur de World2Minecraft en fournissant une plateforme personnalisable et modifiable pour la recherche en IA incarnée personnalisée. Page du projet : https://world2minecraft.github.io/.
Les préférences visuelles humaines sont intrinsèquement multidimensionnelles, englobant l'esthétique, la fidélité des détails et l'alignement sémantique. Cependant, les ensembles de données existants ne fournissent que des annotations holistiques uniques, ce qui entraîne un bruit d'étiquetage important : les images excellent dans certaines dimensions mais sont déficientes dans d'autres sont simplement marquées comme gagnantes ou perdantes. Nous démontrons théoriquement que la compression des préférences multidimensionnelles en étiquettes binaires génère des signaux de gradient conflictuels qui induisent en erreur l'Optimisation Directe des Préférences par Diffusion (DPO). Pour résoudre ce problème, nous proposons Semi-DPO, une approche semi-supervisée qui traite les paires cohérentes comme des données étiquetées propres et les paires conflictuelles comme des données non étiquetées bruitées. Notre méthode commence par un apprentissage sur un sous-ensemble propre filtré par consensus, puis utilise ce modèle comme classificateur implicite pour générer des pseudo-étiquettes pour l'ensemble bruité en vue d'un raffinement itératif. Les résultats expérimentaux démontrent que Semi-DPO atteint des performances de pointe et améliore significativement l'alignement avec les préférences humaines complexes, sans nécessiter d'annotations humaines supplémentaires ou de modèles de récompense explicites pendant l'entraînement. Nous publierons notre code et nos modèles à l'adresse : https://github.com/L-CodingSpace/semi-dpo
Les agents d'utilisation informatique offrent une voie prometteuse vers l'automatisation logicielle générale car ils peuvent interagir directement avec des interfaces graphiques arbitraires sans dépendre d'intégrations fragiles spécifiques aux applications. Malgré les récents progrès en matière de performances sur les benchmarks, les agents d'utilisation informatique performants restent coûteux et lents en pratique, car la plupart des systèmes invoquent de grands modèles multimodaux à presque chaque étape d'interaction. Nous soutenons que cette allocation uniforme de ressources de calcul est fondamentalement inefficace pour les tâches GUI à long horizon. Ces trajectoires sont très hétérogènes : de nombreuses étapes sont routinières et peuvent être gérées de manière fiable par des politiques plus petites et moins chères, tandis que les erreurs tendent à se concentrer sur un nombre relativement faible de moments à haut risque. Dans les benchmarks d'utilisation informatique, ces échecs prennent systématiquement deux formes : des blocages de progression, où l'agent boucle, répète des actions inefficaces ou ne parvient pas à réaliser des progrès significatifs, et une dérive sémantique silencieuse, où l'agent continue d'effectuer des actions localement plausibles après s'être déjà écarté du véritable objectif de l'utilisateur. Pour remédier à cette inefficacité, nous proposons une cascade déclenchée par événements au niveau des étapes pour les agents d'utilisation informatique, qui exécute une petite politique par défaut et n'escalade vers un modèle plus puissant que lorsque des moniteurs légers détectent un risque élevé. Notre cadre combine deux signaux complémentaires : un Moniteur de Blocage qui détecte une dégradation de la progression à partir de l'historique récent raisonnement-action et déclenche une récupération, et un Moniteur d'Étapes Clés qui identifie des points de contrôle sémantiquement significatifs où une vérification éparse est la plus informative pour détecter la dérive. Cette conception transforme l'inférence permanente sur des modèles de pointe en une allocation de calcul adaptive et à la demande au cours d'une interaction évolutive. Le cadre est modulaire et orienté déploiement : il peut être superposé à des agents d'utilisation informatique existants sans modifier l'architecture sous-jacente de l'agent ni recycler le grand modèle.
Bien que l'optimisation des préférences soit cruciale pour l'amélioration des modèles génératifs visuels, la manière de mettre efficacement à l'échelle ce paradigme reste largement inexplorée. Les ensembles de données de préférences open-source actuels contiennent des schémas de préférences conflictuels, où les éléments gagnants excellent dans certaines dimensions mais sont moins performants dans d'autres. Optimiser naïvement sur de tels ensembles de données bruités ne permet pas d'apprendre les préférences, entravant une mise à l'échelle efficace. Pour renforcer la robustesse au bruit, nous proposons Poly-DPO, qui étend l'objectif DPO avec un terme polynomial supplémentaire ajustant dynamiquement la confiance du modèle en fonction des caractéristiques de l'ensemble de données, permettant un apprentissage efficace sur des distributions de données diverses. Au-delà des biais, les ensembles de données existants souffrent d'une faible résolution, d'une diversité limitée des prompts et de distributions déséquilibrées. Pour faciliter l'optimisation des préférences visuelles à grande échelle en relevant les goulots d'étranglement des données, nous construisons ViPO, un ensemble de données de préférences à grande échelle comprenant 1 million de paires d'images en 1024px sur cinq catégories et 300 000 paires vidéo en 720p+ sur trois catégories. Des modèles génératifs de pointe et des prompts diversifiés garantissent des signaux de préférence fiables avec des distributions équilibrées. Fait remarquable, lors de l'application de Poly-DPO à notre ensemble de données de haute qualité, la configuration optimale converge vers le DPO standard. Cette convergence valide la qualité de l'ensemble de données et la nature adaptive de Poly-DPO : une optimisation sophistiquée devient superflue avec une qualité de données suffisante, mais reste précieuse pour des ensembles de données imparfaits. Nous validons notre approche sur divers modèles de génération visuelle. Sur des ensembles de données bruités comme Pick-a-Pic V2, Poly-DPO obtient des gains de 6,87 et 2,32 par rapport à Diffusion-DPO sur GenEval pour SD1.5 et SDXL, respectivement. Pour ViPO, les modèles atteignent des performances dépassant largement celles entraînées sur les ensembles de données de préférences open-source existants. Ces résultats confirment qu'il est essentiel de traiter à la fois l'adaptabilité algorithmique et la qualité des données pour mettre à l'échelle l'optimisation des préférences visuelles.
La poésie a longtemps été une forme d'art centrale pour les locuteurs arabes, servant de puissant moyen d'expression et d'identité culturelle. Bien que les locuteurs arabes modernes continuent de valoriser la poésie, les recherches existantes sur la poésie arabe dans les grands modèles de langage (LLM) se sont principalement concentrées sur des tâches d'analyse telles que l'interprétation ou la prédiction de métadonnées, par exemple les schémas de rimes et les titres. En revanche, notre travail aborde l'aspect pratique de la création poétique en arabe en introduisant des capacités de génération contrôlée pour aider les utilisateurs à écrire de la poésie. Plus précisément, nous présentons un jeu de données à grande échelle, soigneusement constitué, basé sur des instructions en arabe standard moderne (MSA) et divers dialectes arabes. Ce jeu de données permet des tâches telles que l'écriture, la révision et la continuation de poèmes selon des critères prédéfinis, incluant le style et la rime, ainsi que la réalisation d'analyses poétiques. Nos expériences montrent que le fine-tuning de LLM sur ce jeu de données produit des modèles capables de générer efficacement une poésie alignée sur les exigences des utilisateurs, selon des métriques automatisées et une évaluation humaine par des locuteurs natifs arabes. Les données et le code sont disponibles à l'adresse https://github.com/mbzuai-nlp/instructpoet-ar.
Les grands modèles de langage à contexte étendu (LLM) - par exemple Gemini-3.1-Pro et Qwen-3.5 - sont largement utilisés pour alimenter de nombreuses applications réelles, telles que la génération augmentée par retrieval, les agents autonomes et les assistants IA. Cependant, la sécurité reste une préoccupation majeure pour leur déploiement à grande échelle, avec des menaces telles que l'injection de prompt et la corruption des connaissances. Pour quantifier les risques de sécurité auxquels sont confrontés les LLM face à ces menaces, la communauté scientifique a développé des méthodes de red teaming basées sur l'heuristique et sur l'optimisation. Les méthodes basées sur l'optimisation produisent généralement des attaques plus puissantes que les attaques heuristiques et offrent donc une évaluation plus rigoureuse des risques de sécurité des LLM. Cependant, elles sont souvent gourmandes en ressources, nécessitant des calculs importants et une mémoire GPU considérable, en particulier dans les scénarios à contexte long. Cette nature intensive en ressources constitue un obstacle majeur pour la communauté (en particulier les chercheurs académiques) afin d'évaluer systématiquement les risques de sécurité des LLM à contexte long et de tester l'efficacité des stratégies de défense à grande échelle. Dans ce travail, nous proposons FlashRT, le premier cadre visant à améliorer l'efficacité (en termes de calcul et de mémoire) pour les attaques par injection de prompt et corruption des connaissances basées sur l'optimisation sous les LLM à contexte long. Grâce à des évaluations approfondies, nous constatons que FlashRT offre systématiquement une accélération de 2x à 7x (par exemple, en réduit le temps d'exécution d'une heure à moins de dix minutes) et une réduction de 2x à 4x de la consommation de mémoire GPU (par exemple, en réduisant de 264,1 Go à 65,7 Go de mémoire GPU pour un contexte de 32K tokens) par rapport à la référence state-of-the-art nanoGCG. FlashRT peut être largement appliqué aux méthodes d'optimisation en boîte noire, telles que TAP et AutoDAN. Nous espérons que FlashRT pourra servir d'outil de red teaming pour permettre une évaluation systématique de la sécurité des LLM à contexte long. Le code est disponible à l'adresse : https://github.com/Wang-Yanting/FlashRT
Les modèles de fondation sont régulièrement affinés pour être utilisés dans des domaines spécifiques, mais les évaluations de sécurité sont généralement menées uniquement sur les modèles de base, supposant implicitement que les propriétés de sécurité persistent lors de l'adaptation en aval. Nous testons cette hypothèse en analysant le comportement sécuritaire de 100 modèles, incluant des affinages largement déployés dans les domaines médical et juridique ainsi que des adaptations contrôlées de modèles de fondation ouverts comparés à leurs bases. Sur des benchmarks de sécurité généralistes et spécialisés, nous constatons que l'affinage bénin induit des changements importants, hétérogènes et souvent contradictoires dans la sécurité mesurée : les modèles s'améliorent fréquemment sur certains instruments tout en se dégradant sur d'autres, avec des divergences substantielles entre les évaluations. Ces résultats montrent que le comportement sécuritaire n'est pas stable sous une adaptation aval ordinaire, soulevant des questions cruciales concernant la gouvernance et les pratiques de déploiement centrées sur les évaluations des modèles de base. Sans réévaluation explicite des modèles affinés dans des contextes pertinents pour le déploiement, ces approches échouent à gérer adéquatement les risques en aval, négligeant des sources pratiques de préjudice – des échecs particulièrement conséquents dans des contextes à haut risque qui remettent en cause les paradigmes actuels de responsabilisation.