Articles de recherche IA sélectionnés quotidiennement avec traductions
Les modèles probabilistes de diffusion ont démontré des performances remarquables dans un large éventail de tâches génératives. Cependant, nous avons observé que ces modèles souffrent souvent d'un biais lié au rapport signal-sur-bruit et au pas de temps (SNR-t). Ce biais désigne le désalignement entre le SNR de l'échantillon en cours de débruitage et son pas de temps correspondant durant la phase d'inférence. Plus précisément, pendant l'entraînement, le SNR d'un échantillon est strictement couplé à son pas de temps. Cependant, cette correspondance est perturbée lors de l'inférence, entraînant une accumulation d'erreurs et une dégradation de la qualité de génération. Nous fournissons des preuves empiriques complètes et une analyse théorique pour étayer ce phénomène et proposons une méthode de correction différentielle simple mais efficace pour atténuer le biais SNR-t. Considérant que les modèles de diffusion reconstruisent typiquement les composantes basse fréquence avant de se concentrer sur les détails haute fréquence durant le processus inverse de débruitage, nous décomposons les échantillons en diverses composantes fréquentielles et appliquons une correction différentielle à chaque composante individuellement. Des expériences approfondies montrent que notre approche améliore significativement la qualité de génération de divers modèles de diffusion (IDDPM, ADM, DDIM, A-DPM, EA-DPM, EDM, PFGM++ et FLUX) sur des jeux de données de diverses résolutions, avec une surcharge computationnelle négligeable. Le code est disponible à l'adresse https://github.com/AMAP-ML/DCW.
Les réseaux neuronaux profonds (DNN) peuvent être catastrophiquement perturbés en inversant seulement une poignée de bits de paramètres. Nous présentons Deep Neural Lesion (DNL), une méthode sans données et sans optimisation qui localise les paramètres critiques, et une variante améliorée en une seule passe, 1P-DNL, qui affine cette sélection avec une passe avant et une passe arrière sur des entrées aléatoires. Nous montrons que cette vulnérabilité s'étend à de multiples domaines, incluant la classification d'images, la détection d'objets, la segmentation d'instances et les grands modèles de langage pour le raisonnement. Dans la classification d'images, l'inversion de seulement deux bits de signe dans ResNet-50 sur ImageNet réduit la précision de 99,8 %. Dans la détection d'objets et la segmentation d'instances, l'inversion d'un ou deux bits de signe dans le backbone fait s'effondrer les AP de détection et de masque COCO pour les modèles Mask R-CNN et YOLOv8-seg. En modélisation du langage, l'inversion de deux bits de signe dans différents experts réduit la précision de Qwen3-30B-A3B-Thinking de 78 % à 0 %. Nous montrons également que la protection sélective d'une petite fraction des bits de signe vulnérables offre une défense pratique contre de telles attaques.
Les modèles de langage de grande taille multimodaux (MLLM) servent d'assistants quotidiens à des millions d'utilisateurs. Cependant, leur capacité à générer des réponses alignées sur les préférences individuelles reste limitée. Les approches antérieures ne permettent qu'une personnalisation statique et en un seul tour via l'augmentation des entrées ou l'alignement des sorties, et échouent ainsi à capturer l'évolution des préférences et de la personnalité des utilisateurs dans le temps (voir Fig.1). Dans cet article, nous présentons PersonaVLM, un cadre innovant d'agent multimodal personnalisé conçu pour une personnalisation à long terme. Il transforme un MLLM généraliste en assistant personnalisé en intégrant trois capacités clés : (a) Mémorisation : Il extrait et résume de manière proactive des mémoires multimodales chronologiques issues des interactions, en les consolidant dans une base de données personnalisée. (b) Raisonnement : Il effectue un raisonnement multi-tours en récupérant et en intégrant les mémoires pertinentes de la base de données. (c) Alignement des réponses : Il infère la personnalité évolutive de l'utilisateur tout au long des interactions à long terme pour garantir que les sorties restent alignées avec ses caractéristiques uniques. Pour l'évaluation, nous établissons Persona-MME, un benchmark complet comprenant plus de 2000 cas d'interaction soigneusement sélectionnés, conçu pour évaluer la personnalisation à long terme des MLLM sur sept aspects clés et 14 tâches granulaires. Des expériences approfondies valident l'efficacité de notre méthode, améliorant la baseline de 22,4% (Persona-MME) et 9,8% (PERSONAMEM) sous un contexte de 128k, tout en surpassant GPT-4o de 5,2% et 2,0%, respectivement. Page du projet : https://PersonaVLM.github.io.
Dans ce travail, nous présentons Qwen3.5-Omni, la dernière avancée de la famille de modèles Qwen-Omni. Représentant une évolution significative par rapport à son prédécesseur, Qwen3.5-Omni monte en puissance jusqu'à des centaines de milliards de paramètres et prend en charge une longueur de contexte de 256k. En exploitant un jeu de données massif comprenant des paires texte-vision hétérogènes et plus de 100 millions d'heures de contenu audio-visuel, le modèle démontre des capacités omni-modales robustes. Qwen3.5-Omni-plus obtient des résultats SOTA sur 215 sous-tâches et benchmarks de compréhension, de raisonnement et d'interaction audio et audio-visuelle, surpassant Gemini-3.1 Pro dans les tâches audio clés et l'égalant en compréhension audio-visuelle globale. Sur le plan architectural, Qwen3.5-Omni utilise un cadre Mixture-of-Experts (MoE) à Attention Hybride pour le Thinker et le Talker, permettant une inférence efficace sur de longues séquences. Le modèle facilite une interaction sophistiquée, prenant en charge plus de 10 heures de compréhension audio et 400 secondes de vidéo 720P (à 1 FPS). Pour résoudre l'instabilité inhérente et le manque de naturel dans la synthèse vocale en flux continu, souvent causés par les écarts d'efficacité de codage entre les tokenizers de texte et de parole, nous introduisons ARIA. ARIA aligne dynamiquement les unités de texte et de parole, améliorant significativement la stabilité et la prosodie de la parole conversationnelle avec un impact minimal sur la latence. De plus, Qwen3.5-Omni repousse les frontières linguistiques, prenant en charge la compréhension multilingue et la génération de parole dans 10 langues avec des nuances émotionnelles proches de l'humain. Enfin, Qwen3.5-Omni présente des capacités d'ancrage audio-visuel supérieures, générant des légendes structurées au niveau du script avec une synchronisation temporelle précise et une segmentation automatique des scènes. Remarquablement, nous avons observé l'émergence d'une nouvelle capacité dans les modèles omnimodaux : réaliser directement du codage à partir d'instructions audio-visuelles, que nous appelons Audio-Visual Vibe Coding.
Les systèmes de génération augmentée par récupération (RAG) dépendent de manière cruciale de stratégies efficaces de segmentation documentaire pour équilibrer qualité de récupération, latence et coût opérationnel. Les approches traditionnelles de segmentation, telles que la segmentation à taille fixe, basée sur des règles ou entièrement agentique, souffrent souvent d'une consommation élevée de tokens, de génération de texte redondante, d'une scalabilité limitée et d'une faible capacité de débogage, particulièrement pour l'ingestion de contenu web à grande échelle. Dans cet article, nous proposons Web Retrieval-Aware Chunking (W-RAC), un nouveau cadre de segmentation économe conçu spécifiquement pour les documents web. W-RAC dissocie l'extraction de texte de la planification sémantique des segments en représentant le contenu web analysé comme des unités structurées adressables par identifiant, et en n'utilisant les grands modèles de langage (LLM) que pour des décisions de regroupement conscientes de la récupération plutôt que pour la génération de texte. Cela réduit significativement l'utilisation de tokens, élimine les risques d'hallucination et améliore l'observabilité du système. Les analyses expérimentales et la comparaison architecturale démontrent que W-RAC atteint des performances de récupération comparables ou supérieures aux approches traditionnelles tout en réduisant d'un ordre de grandeur les coûts LLM liés à la segmentation.
Le raisonnement parallèle améliore les modèles de raisonnement à grande échelle (LRM) mais entraîne des coûts prohibitifs dus aux chemins futiles causés par des erreurs précoces. Pour y remédier, l’élagage des chemins au niveau du préfixe est essentiel, mais les recherches existantes restent fragmentées sans cadre standardisé. Dans ce travail, nous proposons la première taxonomie systématique de l’élagage de chemins, catégorisant les méthodes selon leur source de signal (interne vs externe) et leur capacité d’apprentissage (apprenable vs non-apprenable). Cette classification révèle le potentiel inexploré des méthodes internes apprenables, motivant notre proposition de STOP (Super Token pour l’Élagage). Des évaluations approfondies sur des LRM allant de 1,5 à 20 milliards de paramètres démontrent que STOP atteint une efficacité et une efficience supérieures aux méthodes de référence existantes. De plus, nous validons rigoureusement l’évolutivité de STOP sous différents budgets de calcul – par exemple, en améliorant la précision de GPT-OSS-20B sur AIME25 de 84 % à près de 90 % avec un budget de calcul fixe. Enfin, nous synthétisons nos résultats en des directives empiriques formalisées pour faciliter un déploiement optimal en conditions réelles. Le code, les données et les modèles sont disponibles à l’adresse https://bijiaxihh.github.io/STOP.
La tokenisation est un composant clé des modèles génératifs autorégressifs (AR), convertissant les données brutes en unités plus gérables pour la modélisation. Typiquement, les tokens décrivent des informations locales, telles que des régions de pixels dans les images ou des segments de mots dans le texte, et la génération AR prédit ces tokens dans un ordre fixe. Une question pertinente est de savoir si les structures de tokens affectent la capacité à orienter la génération via une recherche au moment du test, où plusieurs générations candidates sont explorées et évaluées par un vérificateur. En utilisant la génération d'images comme banc d'essai, nous émettons l'hypothèse que les tokeniseurs ordonnés 1D récents, avec une structure allant du grossier au fin, peuvent être plus propices à la recherche que les structures classiques en grille 2D. Cela s'enracine dans le fait que les états intermédiaires des séquences grossières-à-fines portent une signification sémantique que les vérificateurs peuvent évaluer de manière fiable, permettant un pilotage efficace pendant la génération. À travers des expériences contrôlées, nous constatons que les modèles AR entraînés sur des tokens ordonnés grossiers-à-fins présentent un comportement d'échelle amélioré au moment du test par rapport à leurs homologues basés sur une grille. De plus, nous démontrons que, grâce à la structure ordonnée, une recherche pure au moment du test sur les séquences de tokens (c'est-à-dire sans entraîner un modèle AR) peut réaliser une génération texte-à-image sans entraînement lorsqu'elle est guidée par un vérificateur image-texte. Au-delà de cela, nous étudions systématiquement comment les algorithmes de recherche classiques (meilleur-de-N, recherche en faisceau, recherche avec anticipation) interagissent avec différentes structures de tokens, ainsi que le rôle des différents vérificateurs et a priori AR. Nos résultats soulignent l'impact de la structure des tokens sur l'évolutivité au moment de l'inférence et fournissent des conseils pratiques pour la mise à l'échelle au moment du test dans les modèles AR.
Les modèles de langue post-entraînés produisent des sorties moins variées que leurs homologues de base. Cet effondrement de la diversité des sorties compromet les méthodes de mise à l'échelle au moment de l'inférence qui reposent sur des échantillons variés, et risque d'homogénéiser les productions des modèles sur des tâches créatives et chargées de valeurs. Les travaux antérieurs attribuent cet effondrement à des méthodes de post-entraînement spécifiques, sans distinguer le rôle de la composition des données d'entraînement de celui de la méthode, ni le format de génération de celui des poids du modèle. Nous traçons l'évolution de la diversité des sorties à travers trois filières parallèles de post-entraînement d'Olmo 3 : Think (distillation par raisonnement en chaîne), Instruct (données multi-sources étendues) et RL-Zero, sur 15 tâches et quatre métriques de diversité textuelle. Nous constatons que le moment de l'effondrement co-varie avec la composition des données : la filière Think perd la majeure partie de sa diversité sémantique lors du réglage fin supervisé, et l'effet de DPO est plus marqué dans Instruct que dans Think. Supprimer le raisonnement en chaîne lors de l'inférence des modèles Think réduit la précision sur les tâches difficiles, mais laisse inchangée la diversité au niveau des réponses, montrant que l'effondrement est ancré dans les poids du modèle par les données d'entraînement, et non imposé par le format de génération. La décomposition de la perte de diversité sur six tâches vérifiables en une composante de contrôle qualité (élimination des sorties incorrectes) et une composante résiduelle (rétrécissement authentique parmi les sorties correctes) révèle que la répartition dépend de la tâche, et que les modèles Think conservent une plus grande diversité de réponses correctes que les modèles Instruct, malgré un effondrement global plus prononcé. Nos résultats indiquent que l'effondrement de la diversité est déterminé pendant l'entraînement par la composition des données et ne peut être résolu uniquement au moment de l'inférence.
Nous présentons LaviGen, un cadre qui réutilise des modèles génératifs 3D pour la génération de dispositions 3D. Contrairement aux méthodes antérieures qui infèrent les agencements d'objets à partir de descriptions textuelles, LaviGen opère directement dans l'espace 3D natif, formulant la génération de disposition comme un processus autorégressif qui modélise explicitement les relations géométriques et les contraintes physiques entre les objets, produisant ainsi des scènes 3D cohérentes et physiquement plausibles. Pour améliorer davantage ce processus, nous proposons un modèle de diffusion 3D adapté qui intègre les informations de scène, d'objet et d'instruction, et emploie un mécanisme de distillation par auto-déploiement à double guidage pour accroître l'efficacité et la précision spatiale. Des expériences approfondies sur le benchmark LayoutVLM montrent que LaviGen atteint des performances supérieures en génération de dispositions 3D, avec une plausibilité physique 19 % plus élevée que l'état de l'art et un calcul 65 % plus rapide. Notre code est disponible publiquement à l'adresse https://github.com/fenghora/LaviGen.
Les grands modèles de langage (LLM) ont montré un fort potentiel pour faire progresser la découverte scientifique. La question de savoir s'ils possèdent la capacité d'innovation fondamentale reste cependant ouverte. Dans ce travail, nous nous concentrons sur un prérequis pour l'innovation fondamentale : les LLM peuvent-ils réinventer les algorithmes fondamentaux en informatique ? Notre pipeline *Unlearn-and-Reinvent* applique le *désapprentissage* (*unlearning*) à un LLM pour supprimer un algorithme fondamental spécifique, comme l'algorithme de Dijkstra ou celui d'Euclide, des connaissances pré-entraînées du modèle, puis teste si celui-ci peut le réinventer dans un environnement contrôlé. Pour permettre un désapprentissage efficace, nous adoptons une méthode de désapprentissage *on-policy* basée sur GRPO. Sur 10 algorithmes cibles, 3 modèles open-weight performants et 3 niveaux d'indice, nos expériences démontrent que (1) le modèle le plus performant, Qwen3-4B-Thinking-2507, réinvente avec succès 50 % des algorithmes sans indice, 70 % au niveau d'indice 1 et 90 % au niveau d'indice 2 ; (2) quelques indices de haut niveau peuvent améliorer le taux de réussite de la réinvention, mais même des indications étape par étape échouent pour les algorithmes complexes ; et (3) l'apprentissage par renforcement au moment du test (*test-time reinforcement learning*) permet une réinvention réussie de l'algorithme de Strassen au niveau d'indice 2. Par des analyses des trajectoires de sortie et des études d'ablation, nous constatons que le vérificateur génératif (*generative verifier*) dans la phase de réinvention joue un rôle crucial pour maintenir la force de raisonnement des modèles, aidant à éviter le phénomène d'« effondrement de la pensée » (*thought collapse*). Ces résultats offrent un éclairage à la fois sur le potentiel et les limites actuelles de la pensée innovante des LLM.
Les modèles de raisonnement visuel (VRM) ont récemment démontré d'importantes capacités de raisonnement multimodal en intégrant la perception visuelle au raisonnement linguistique. Cependant, ils souffrent souvent de sur-réflexion, produisant des chaînes de raisonnement inutilement longues pour toutes les tâches. Nous attribuons ce problème à la redondance des chemins de raisonnement dans le raisonnement visuel : de nombreuses questions visuelles ne nécessitent pas un processus de raisonnement complet. Pour y remédier, nous proposons AVR, un cadre de raisonnement visuel adaptatif qui décompose le raisonnement visuel en trois fonctions cognitives : perception visuelle, raisonnement logique et application de la réponse. Il permet en outre aux modèles de choisir dynamiquement parmi trois formats de réponse : format complet, format perception uniquement et réponse directe. AVR est entraîné avec FS-GRPO, une adaptation de l'optimisation relative de stratégie de groupe qui encourage le modèle à sélectionner le format de raisonnement le plus efficace tout en préservant l'exactitude. Les expériences sur plusieurs benchmarks vision-langage montrent qu'AVR réduit l'utilisation de tokens de 50 à 90 % tout en maintenant la précision globale, particulièrement dans les tâches intensives en perception. Ces résultats démontrent que le raisonnement visuel adaptatif peut atténuer efficacement la sur-réflexion dans les VRM. Le code et les données sont disponibles à l'adresse : https://github.com/RunRiotComeOn/AVR.
Les grands modèles de langage ont démontré de solides performances sur les tâches de programmation générales, mais leur capacité à générer des stratégies de trading algorithmique exécutables reste peu explorée. Contrairement aux benchmarks de code standard, la génération de stratégies de trading nécessite la maîtrise simultanée d'une logique financière spécifique au domaine, la connaissance d'une API spécialisée et la capacité à produire un code non seulement syntaxiquement correct, mais aussi conduisant à des transactions réelles sur des données historiques. Dans ce travail, nous présentons QuantCode-Bench, un benchmark pour l'évaluation systématique des LLM modernes dans la génération de stratégies pour le framework Backtrader à partir de descriptions textuelles en anglais. Le benchmark contient 400 tâches de difficulté variable collectées sur Reddit, TradingView, StackExchange, GitHub et des sources synthétiques. L'évaluation est menée via un pipeline multi-étapes qui vérifie la correction syntaxique, l'exécution réussie du backtest, la présence de transactions et l'alignement sémantique avec la description de la tâche à l'aide d'un LLM juge. Nous comparons des modèles de pointe dans deux configurations : en mode single-turn, où la stratégie doit être générée correctement dès le premier essai, et en mode agentique multi-tours, où le modèle reçoit un feedback itératif et peut corriger ses erreurs. Nous analysons les modes d'échec à travers les différentes étapes du pipeline et montrons que les principales limitations des modèles actuels ne sont pas liées à la syntaxe, mais plutôt à la correcte opérationnalisation de la logique de trading, à l'usage approprié de l'API et au respect de la sémantique de la tâche. Ces résultats suggèrent que la génération de stratégies de trading constitue une classe distincte de tâches de génération de code spécifique à un domaine dans laquelle la réussite nécessite non seulement une exactitude technique, mais aussi un alignement entre les descriptions en langage naturel, la logique financière et le comportement observable de la stratégie sur les données.
Les progrès récents en prétraitement vision-langage ont permis des améliorations significatives pour de nombreuses applications de vision par ordinateur en aval, telles que la classification, la recherche, la segmentation et la prédiction de profondeur. Cependant, une capacité fondamentale avec laquelle ces modèles peinent encore est l'alignement des représentations denses de patches avec les embeddings textuels des concepts correspondants. Dans ce travail, nous étudions cette problématique critique et proposons de nouvelles techniques pour renforcer cette capacité dans les modèles fondamentaux vision-langage. Premièrement, nous révélons qu'une procédure de distillation au niveau des patches améliore significativement l'alignement patch-texte dense — de façon surprenante, l'alignement patch-texte du modèle étudiant distillé dépasse largement celui du modèle enseignant. Cette observation nous incite à envisager des modifications des méthodes de prétraitement, ce qui nous conduit à proposer iBOT++, une amélioration de l'objectif masqué iBOT couramment utilisé, où les tokens non masqués contribuent également directement à la fonction de perte. Cela améliore considérablement l'alignement patch-texte des modèles prétraités. De plus, pour améliorer l'efficacité et l'efficience du prétraitement vision-langage, nous modifions la configuration de la moyenne mobile exponentielle dans la méthode d'apprentissage, et introduisons une stratégie d'échantillonnage de légendes pour tirer parti des légendes synthétiques à différentes granularités. En combinant ces composants, nous développons TIPSv2, une nouvelle famille de modèles encodeurs image-texte adaptés à un large éventail d'applications en aval. À travers des expériences exhaustives sur 9 tâches et 20 jeux de données, nous démontrons des performances solides, généralement équivalentes ou supérieures aux modèles encodeurs vision récents. Le code et les modèles sont publiés via notre page projet à l'adresse https://gdm-tipsv2.github.io/.
Le développement d'agents polyvalents nécessite une transition de l'exécution d'instructions simples vers l'accomplissement de flux de travail productifs complexes et réalistes. Cependant, les benchmarks actuels sur l'utilisation d'outils restent mal alignés avec les exigences du monde réel, reposant sur des requêtes générées par IA, des outils factices et une coordination limitée au niveau système. Pour y remédier, nous proposons GTA-2, un benchmark hiérarchique pour Agents à Outils Généraux (GTA) couvrant l'utilisation atomique d'outils et les flux de travail ouverts. Fondé sur l'authenticité du monde réel, il s'appuie sur des requêtes utilisateur réelles, des outils déployés et des contextes multimodaux. (i) GTA-Atomic, hérité de notre benchmark GTA antérieur, évalue la précision d'utilisation d'outils fermés à court terme. (ii) GTA-Workflow introduit des tâches ouvertes à long terme pour une réalisation réaliste de bout en bout. Pour évaluer les livrables ouverts, nous proposons un mécanisme d'évaluation récursif basé sur des points de contrôle qui décompose les objectifs en sous-objectifs vérifiables, permettant une évaluation unifiée des capacités des modèles et des cadres d'exécution des agents (c'est-à-dire, les harnais d'exécution). Les expériences révèlent un effondrement prononcé des capacités : alors que les modèles de pointe peinent déjà sur les tâches atomiques (moins de 50 %), ils échouent largement sur les flux de travail, les meilleurs modèles n'atteignant que 14,39 % de succès. Une analyse plus poussée montre que le retour d'information guidé par points de contrôle améliore les performances, tandis que des cadres avancés tels que Manus et OpenClaw améliorent substantiellement l'achèvement des flux de travail, soulignant l'importance de la conception du harnais d'exécution au-delà de la capacité du modèle sous-jacent. Ces résultats fournissent des orientations pour développer des assistants personnels et professionnels fiables. Le jeu de données et le code seront disponibles à l'adresse https://github.com/open-compass/GTA.
L'apprentissage fédéré (FL) permet la détection d'intrusion collaborative sans échange de données brutes, mais l'approche conventionnelle engendre une surcharge communicationnelle élevée due à la transmission de gradients en pleine précision et reste vulnérable aux attaques par inférence de gradients. Cet article présente EdgeDetect, un système de détection d'intrusion fédéré, efficace en communication et respectueux de la vie privée, conçu pour les environnements 6G-IoT à bande passante contrainte. EdgeDetect introduit la « smartification » des gradients, une binarisation statistique basée sur la médiane qui compresse les mises à jour locales en représentations {+1,-1}, réduisant la charge utile de liaison montante par un facteur de 32 tout en préservant la convergence. Nous intégrons en outre le chiffrement homomorphe de Paillier sur les gradients binarisés, protégeant contre les serveurs honnêtes mais curieux sans exposer les mises à jour individuelles. Les expériences sur CIC-IDS2017 (2,8 millions de flux, 7 classes d'attaques) démontrent une précision multi-classe de 98,0 % et un score F1 macro de 97,9 %, égalant les résultats des approches centralisées, tout en réduisant la communication par tour de 450 Mo à 14 Mo (réduction de 96,9 %). Un déploiement sur Raspberry Pi-4 confirme la faisabilité en périphérie : 4,2 Mo de mémoire, 0,8 ms de latence et 12 mJ par inférence avec une perte de précision <0,5 %. Face à des attaques par empoisonnement à 5 % et un déséquilibre sévère, EdgeDetect maintient une précision de 87 % et un score F1 de 0,95 pour les classes minoritaires (p<0,001), établissant un compromis pratique entre précision, communication et vie privée pour la détection d'intrusion de nouvelle génération en périphérie.
Nous présentons AccelOpt, un système agentique de grands modèles de langage (LLM) auto-améliorant qui optimise de manière autonome les noyaux pour les accélérateurs d'IA émergents, éliminant le besoin d'une expertise d'optimisation matérielle spécifique fournie par des experts. AccelOpt explore l'espace d'optimisation des noyaux par une génération itérative, guidée par une mémoire d'optimisation qui conserve les expériences et les enseignements tirés de paires de noyaux lents-rapides précédemment rencontrées. Nous avons développé NKIBench, une nouvelle suite de référence de noyaux pour l'accélérateur AWS Trainium, de complexité variable, extraits de charges de travail réelles de LLM, afin d'évaluer l'efficacité d'AccelOpt. Notre évaluation confirme que la capacité d'AccelOpt s'améliore avec le temps, augmentant le pourcentage moyen du débit de crête de 49 % à 61 % sur Trainium 1 et de 45 % à 59 % sur Trainium 2 pour les noyaux NKIBench. De plus, AccelOpt est très rentable : en utilisant des modèles open source, il atteint les mêmes améliorations de noyaux que Claude Sonnet 4 tout en étant 26 fois moins cher. Le code est open-source à l'adresse https://github.com/zhang677/AccelOpt.
La génération vidéo-vers-parole (VTS) vise à synthétiser la parole à partir d'une vidéo silencieuse dépourvue de signaux auditifs. Cependant, les méthodes VTS existantes négligent la nature hiérarchique de la parole, qui s'étend de la sémantique grossière liée au locuteur aux détails prosodiques fins. Cette omission entrave l'alignement direct entre les caractéristiques visuelles et vocales à des niveaux hiérarchiques spécifiques lors de l'appariement des propriétés. Dans cet article, en tirant parti de la structure hiérarchique des codecs basés sur la quantification vectorielle résiduelle (RVQ), nous proposons HiCoDiT, un nouveau Transformer à Diffusion de Codec Hiérarchique qui exploite la hiérarchie inhérente des tokens vocaux discrets pour obtenir un fort alignement audiovisuel. Plus précisément, puisque les tokens de niveau inférieur encodent une sémantique grossière liée au locuteur et que les tokens de niveau supérieur capturent une prosodie fine, HiCoDiT utilise des blocs de bas niveau et de haut niveau pour générer des tokens à différents niveaux. Les blocs de bas niveau se conditionnent sur le mouvement labial synchronisé et l'identité faciale pour capturer le contenu lié au locuteur, tandis que les blocs de haut niveau utilisent l'expression faciale pour moduler la dynamique prosodique. Enfin, pour permettre un conditionnement plus efficace du grossier au fin, nous proposons une normalisation d'instance adaptative à double échelle qui capture conjointement le style vocal global via une normalisation par canal et la dynamique prosodique locale via une normalisation temporelle. Des expériences approfondies démontrent que HiCoDiT surpasse les méthodes de référence en fidélité et en expressivité, soulignant le potentiel de la modélisation discrète pour le VTS. Le code et une démonstration audio sont disponibles à l'adresse https://github.com/Jiaxin-Ye/HiCoDiT.
Nous testons si l'évolution architecturale de l'intelligence artificielle obéit aux mêmes lois statistiques que l'évolution biologique. En compilant 935 expériences d'ablation issues de 161 publications, nous montrons que la distribution des effets de la forme physique (DFE) des modifications architecturales suit une distribution de Student à queue lourde, avec des proportions (68% délétères, 19% neutres, 13% bénéfiques pour les ablations majeures, n=568) qui placent l'IA entre les génomes viraux compacts et les eucaryotes simples. La forme de la DFE correspond à celle de D. melanogaster (KS normalisé=0,07) et de S. cerevisiae (KS=0,09) ; la fraction bénéfique élevée (13% contre 1-6% en biologie) quantifie l'avantage de la recherche dirigée sur la recherche aveugle tout en préservant la forme distributionnelle. L'origine architecturale suit une dynamique logistique (R²=0,994) avec des équilibres ponctués et une radiation adaptative dans des niches domaines. Quatorze traits architecturaux ont été inventés indépendamment 3 à 5 fois, parallèlement aux convergences biologiques. Ces résultats démontrent que la structure statistique de l'évolution est indépendante du substrat, déterminée par la topologie du paysage adaptatif plutôt que par le mécanisme de sélection.
La segmentation de l'adénocarcinomacanalaire pancréatique (PDAC) sur scanner avec injection de produit de contraste est intrinsèquement ambiguë : le désaccord entre les évaluateurs experts reflète une incertitude réelle plutôt qu'un bruit d'annotation. Les approches standard d'apprentissage profond supposent l'existence d'une seule vérité terrain, produisant des sorties probabilistes qui peuvent être mal calibrées et difficiles à interpréter face à une telle ambiguïté. Nous présentons TwinTrack, un cadre qui répond à cette lacune par le calibrage a posteriori des probabilités de segmentation d'un ensemble (ensemble) par rapport à la réponse humaine moyenne empirique (MHR) - c'est-à-dire la fraction d'annotateurs experts étiquetant un voxel comme tumeur. Les probabilités calibrées sont ainsi directement interprétables comme la proportion attendue d'annotateurs attribuant le label tumoral, modélisant explicitement le désaccord inter-évaluateurs. La procédure de calibrage a posteriori proposée est simple et ne nécessite qu'un petit ensemble de calibration multi-évaluateurs. Elle améliore constamment les métriques de calibration par rapport aux approches standard lors de l'évaluation sur le benchmark multi-évaluateurs MICCAI 2025 CURVAS-PDACVI.
L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a catalysé des avancées significatives dans les capacités de raisonnement des grands modèles de langage (LLM). Cependant, la gestion efficace du compromis entre exploration et exploitation reste un défi critique. Dans cet article, nous analysons exhaustivement le dilemme exploration-exploitation des échantillons extrêmement difficiles et faciles durant l'entraînement et proposons un nouveau mécanisme de compromis granulaire. Concrètement, nous introduisons une stratégie de dissociation de l'espace de perplexité qui divise l'espace des échantillons en sous-espaces distincts d'exploration (haute perplexité) et d'exploitation (basse perplexité, permettant ainsi d'identifier finement les échantillons nécessitant un compromis exploration-exploitation. Par la suite, nous proposons un mécanisme bidirectionnel d'allocation des récompenses avec un impact minimal sur les récompenses de vérification pour mettre en œuvre une exploration et une exploitation guidées par la perplexité, permettant une optimisation des politiques plus stable. Enfin, nous avons évalué notre méthode sur deux tâches principales : le raisonnement mathématique et l'appel de fonctions. Les résultats expérimentaux démontrent la supériorité de la méthode proposée et confirment son efficacité à améliorer les performances des LLM grâce à un compromis exploration-exploitation granulaire.
Le paradigme de la science agentique exige que les systèmes d'IA effectuent des raisonnements robustes et s'engagent dans une exploration autonome à long terme. Cependant, les benchmarks scientifiques actuels se limitent à la compréhension des connaissances disciplinaires et au raisonnement complexe, sans évaluer la nature exploratoire et la complexité procédurale de la recherche réelle. Dans ce travail, nous présentons des évaluations orientées recherche en physique théorique et computationnelle, un banc d'essai naturel doté de connaissances disciplinaires complètes, d'un raisonnement complexe et de workflows vérifiables de bout en bout sans recours à l'expérimentation. Nous introduisons PRL-Bench (Physics Research by LLMs), un benchmark conçu pour cartographier systématiquement les limites des capacités des LLM à mener des recherches physiques de bout en bout. Construit à partir de 100 articles sélectionnés parmi les derniers numéros de Physical Review Letters depuis août 2025 et validé par des experts du domaine, PRL-Bench couvre cinq sous-domaines majeurs de la physique moderne intensifs en théorie et calcul : astrophysique, physique de la matière condensée, physique des hautes énergies, information quantique et physique statistique. Chaque tâche du benchmark est conçue pour reproduire les propriétés fondamentales de la recherche scientifique authentique, incluant une formulation orientée exploration, des workflows à long terme et une vérifiabilité objective, reconstituant ainsi les processus de raisonnement essentiels et les workflows de recherche de la physique réelle. L'évaluation des modèles de pointe montre que les performances restent limitées, avec le meilleur score global inférieur à 50, révélant un écart prononcé entre les capacités actuelles des LLM et les exigences de la recherche scientifique réelle. PRL-Bench constitue un banc d'essai fiable pour évaluer la prochaine génération de scientifiques IA et faire progresser les systèmes d'IA vers la découverte scientifique autonome.
La recherche en robotique polyvalente a produit des modèles de fondation impressionnants, mais l'évaluation par simulation reste un goulot d'étranglement en raison d'une saturation rapide des performances et d'un manque de tests de généralisation authentiques. Les benchmarks existants présentent souvent un chevauchement domainal significatif entre l'entraînement et l'évaluation, banalisant les taux de succès et obscurcissant les insights sur la robustesse. Nous présentons RoboLab, un cadre d'évaluation par simulation conçu pour relever ces défis. Concrètement, notre cadre vise à répondre à deux questions : (1) dans quelle mesure pouvons-nous comprendre la performance d'une politique en monde réel en analysant son comportement en simulation, et (2) quels facteurs externes affectent le plus fortement ce comportement sous des perturbations contrôlées. Premièrement, RoboLab permet la génération manuelle ou assistée par LLM de scènes et de tâches de manière agnostique au robot et à la politique, au sein d'une simulation physiquement réaliste et photoréaliste. Ainsi, nous proposons le benchmark RoboLab-120, composé de 120 tâches catégorisées selon trois axes de compétence : compétence visuelle, procédurale et relationnelle, réparties sur trois niveaux de difficulté. Deuxièmement, nous introduisons une analyse systématique des politiques en monde réel qui quantifie à la fois leur performance et la sensibilité de leur comportement à des perturbations contrôlées, indiquant qu'une simulation haute-fidélité peut servir de proxy pour analyser la performance et sa dépendance aux facteurs externes. L'évaluation avec RoboLab révèle un écart de performance significatif dans les modèles actuels de pointe. En fournissant des métriques granulaires et une boîte à outils évolutive, RoboLab offre un cadre scalable pour évaluer les véritables capacités de généralisation des politiques robotiques généralistes.
Les bancs d'essai existants sur l'utilisation d'outils par les agents LLM sont massivement linéaires : notre analyse de six benchmarks révèle que 55 à 100 % des instances sont de simples chaînes de 2 à 5 étapes. Nous présentons The Amazing Agent Race (AAR), un benchmark comportant des puzzles en graphe acyclique orienté (ou « étapes ») avec des chaînes d'outils à embranchements et fusions. Nous publions 1 400 instances réparties en deux variantes : séquentielle (800 étapes) et compositionnelle (600 étapes en graphe). Les agents doivent naviguer sur Wikipédia, exécuter des chaînes d'outils multi-étapes et agréger les résultats en une réponse vérifiable. Les étapes sont générées procéduralement à partir de sources Wikipédia sur quatre niveaux de difficulté, avec validation en temps réel par API. Trois métriques complémentaires (précision à l'arrivée, taux de passage aux ravitaillements et taux de franchissement des obstacles) diagnostiquent respectivement les échecs de navigation, d'utilisation d'outils et de calcul. L'évaluation de trois frameworks d'agents sur 1 400 étapes montre que le meilleur n'atteint que 37,2 % de précision. Les erreurs de navigation dominent (27 à 52 % des essais) tandis que les erreurs d'utilisation d'outils restent inférieures à 17 %, et l'architecture de l'agent compte autant que la taille du modèle (Claude Code égalise Codex CLI à 37 % avec 6 fois moins de tokens). La structure compositionnelle d'AAR révèle que les agents échouent non pas à appeler des outils, mais à naviguer vers les bonnes pages, un angle mort invisible pour les benchmarks linéaires. La page du projet est accessible à l'adresse : https://minnesotanlp.github.io/the-amazing-agent-race
Ce document présente une vue d'ensemble du Défi NTIRE 2026 sur la Prédiction de la Saillance Vidéo. L'objectif pour les participants au défi était de développer des méthodes automatiques de prédiction de cartes de saillance pour les séquences vidéo fournies. Un nouveau jeu de données de 2 000 vidéos diverses sous licence libre a été préparé pour ce défi. Les fixations et les cartes de saillance correspondantes ont été collectées en utilisant un suivi de souris crowdsourcé et contiennent des données de visualisation provenant de plus de 5 000 évaluateurs. L'évaluation a été réalisée sur un sous-ensemble de 800 vidéos de test en utilisant des métriques de qualité généralement acceptées. Le défi a attiré plus de 20 équipes ayant soumis des propositions, et 7 équipes ont passé la phase finale incluant une revue de code. Toutes les données utilisées dans ce défi sont mises à disposition du public - https://github.com/msu-video-group/NTIRE26_Saliency_Prediction.
Nous présentons ArtifactNet, un cadre léger qui détecte la musique générée par IA en reformulant le problème comme une physique médico-légale — en extrayant et analysant les artefacts physiques que les codecs audio neuronaux impriment inévitablement sur l'audio généré. Un UNet à masque borné (ArtifactUNet, 3,6 millions de paramètres) extrait les résidus des codecs des spectrogrammes d'amplitude, qui sont ensuite décomposés via HPSS en caractéristiques médico-légales à 7 canaux pour la classification par un CNN compact (0,4 million de paramètres ; 4,0 millions au total). Nous introduisons ArtifactBench, un benchmark d'évaluation multi-générateur comprenant 6 183 pistes (4 383 IA provenant de 22 générateurs et 1 800 réelles provenant de 6 sources diverses). Chaque piste est étiquetée avec `bench_origin` pour une évaluation zero-shot équitable. Sur la partition de test non vue (n=2 263), ArtifactNet atteint F1 = 0,9829 avec FPR = 1,49 %, contre CLAM (F1 = 0,7576, FPR = 69,26 %) et SpecTTTra (F1 = 0,7713, FPR = 19,43 %) évalués dans des conditions identiques avec les points de contrôle publiés. L'entraînement prenant en compte le codec (augmentation 4-voies WAV/MP3/AAC/Opus) réduit en outre la dérive de probabilité inter-codec de 83 % (Delta = 0,95 -> 0,16), résolvant le principal mode de défaillance d'invariance au codec. Ces résultats établissent la physique médico-légale — l'extraction directe des artefacts au niveau du codec — comme un paradigme plus généralisable et économe en paramètres pour la détection de la musique IA que l'apprentissage de représentation, utilisant 49 fois moins de paramètres que CLAM et 4,8 fois moins que SpecTTTra.
Alors que la création vidéo assistée par l'IA devient de plus en plus pratique, l'édition vidéo guidée par instructions s'avère essentielle pour perfectionner les séquences générées ou capturées afin de répondre aux exigences professionnelles. Pourtant, ce domaine manque encore à la fois d'un jeu de données à grande échelle annoté manuellement avec des exemples d'édition complets et d'un évaluateur standardisé pour comparer les systèmes d'édition. Les ressources existantes sont limitées par leur petite taille, l'absence de sorties éditées ou le manque d'annotations humaines sur la qualité, tandis que l'évaluation actuelle repose souvent sur une inspection manuelle coûteuse ou sur des modèles génériques vision-langue non spécialisés dans la qualité de l'édition. Nous présentons VEFX-Dataset, un jeu de données annoté manuellement contenant 5 049 exemples d'édition vidéo couvrant 9 catégories principales et 32 sous-catégories, chacun étant annoté selon trois dimensions découplées : Respect des Instructions, Qualité du Rendu et Exclusivité de la Modification. Sur la base de VEFX-Dataset, nous proposons VEFX-Reward, un modèle de récompense conçu spécifiquement pour l'évaluation de la qualité de l'édition vidéo. VEFX-Reward traite conjointement la vidéo source, l'instruction d'édition et la vidéo éditée, et prédit des scores de qualité par dimension via une régression ordinale. Nous publions également VEFX-Bench, un benchmark de 300 paires vidéo-instruc-tion soigneusement sélectionnées pour la comparaison standardisée des systèmes d'édition. Les expériences montrent que VEFX-Reward s'aligne plus étroitement avec les jugements humains que les évaluateurs VLM génériques et les modèles de récompense antérieurs, tant sur les métriques IQA/VQA standard que sur l'évaluation des préférences par groupe. En utilisant VEFX-Reward comme évaluateur, nous comparons des systèmes d'édition vidéo commerciaux et open-source représentatifs, révélant un écart persistant entre la plausibilité visuelle, le respect des instructions et la localité des modifications dans les modèles actuels.