Articles de recherche IA sélectionnés quotidiennement avec traductions
Les modèles de langage visuel (VLM) ont obtenu de bonnes performances sur les benchmarks de compréhension de documents visuels tels que DocVQA, ChartQA et MMLongBench-Doc. Cependant, les documents réels combinent plusieurs facteurs tels que la longueur, la complexité de la mise en page, la modalité et la difficulté des questions, ce qui rend difficile l'attribution des échecs des modèles à des causes spécifiques. Nous présentons SynthDocBench, un benchmark entièrement synthétique pour la compréhension de documents visuels à long contexte, qui contrôle systématiquement des facteurs incluant la longueur du document, la structure de la mise en page, la composition des modalités et le type de question. Le benchmark est construit à l'aide d'une conception combinatoire, chaque facteur variant indépendamment parmi les documents générés, permettant une analyse contrôlée du comportement des modèles. Les documents sont générés de bout en bout à l'aide d'un pipeline LLM sur six archétypes de mise en page, avec un remplacement aléatoire de 40 % pour empêcher les modèles d'exploiter des corrélations fallacieuses. De plus, SynthDocBench couvre des documents à long contexte avec une longueur et une diversité structurelle nettement supérieures à celles des benchmarks existants. En évaluant sept VLM de pointe, nous découvrons trois modes d'échec que les benchmarks existants ne peuvent pas révéler : une dégradation marquée avec la longueur du document, une sensibilité positionnelle systématique où le tiers médian d'un document est le plus difficile pour cinq des six modèles et cinq des six modèles présentent une tendance 'early-to-late' négative (déclin le plus marqué : 8,3 points de pourcentage), et une rupture de la compréhension des graphiques dans des contextes de documents longs. Ces résultats suggèrent que les modèles actuels pourraient surajuster les artefacts des benchmarks plutôt que d'atteindre une compréhension robuste des documents visuels à long contexte.
Dans cet article, nous proposons SpectraReward, une fonction de récompense sans entraînement qui transforme les MLLMs pré-entraînés en modèles de récompense prêts à l'emploi pour l'apprentissage par renforcement appliqué à la génération d'images. Au lieu de demander au MLLM d'évaluer une image générée ou de répondre à des questions de vérification décomposées, SpectraReward mesure dans quelle mesure le prompt original peut être reconstruit à partir de l'image générée via un seul passage avant conditionné par l'image et forcé par l'enseignant. Nous utilisons la vraisemblance logarithmique moyenne du prompt conditionné par l'image comme récompense, réutilisant directement la capacité d'alignement texte-image pré-entraînée du MLLM sans recourir à des étiquettes de préférence ni à un fine-tuning du modèle de récompense. Nous introduisons également Self-SpectraReward, un cas particulier pour les modèles multimodaux unifiés où la propre branche de compréhension de la politique sert de modèle de récompense pour sa branche de génération, formant ainsi un cadre d'auto-amélioration en boucle fermée, sans modèle de récompense externe ni connaissance externe. Des expériences approfondies valident SpectraReward à travers une large étude de RL pour la génération d'images, couvrant deux modèles de diffusion, trois algorithmes de RL, neuf architectures de MLLM de récompense issues de quatre familles de MLLM allant de 4 à 235 milliards de paramètres, ainsi que cinq bancs d'essai texte-à-image hors distribution. Les résultats montrent que SpectraReward et Self-SpectraReward améliorent tous deux de manière significative et constante les performances de génération, surpassant les méthodes antérieures d'entraînement de récompense dérivées des MLLM. Une analyse plus poussée révèle que des MLLM de récompense plus grands ne sont pas toujours meilleurs, tandis que Self-SpectraReward peut égaler ou surpasser des modèles de récompense externes bien plus grands, suggérant que l'alignement récompense-politique est un facteur clé pour un RL efficace en génération d'images. Page du projet : https://huangrh99.github.io/SpectraReward/
Les générateurs visuels excellent dans le rendu, mais ils fabriquent avec assurance ce qu'ils ne connaissent pas. Les requêtes des utilisateurs sont illimitées, en constante évolution et profondément en queue de distribution longue : nouveaux personnages, entités tendances, événements postérieurs à la coupure, et bien plus encore. Ce goulot d'étranglement de la connaissance du monde est structurel : les générateurs sont entraînés sur des corpus fixes, alors que le monde visuel est ouvert. Nous construisons SearchGen-20K et SearchGen-Bench, avec 20 839 invites couvrant douze catégories d'échec et vingt-deux domaines, associés à un corpus multimodal pré-exécuté SearchGen-Corpus-1M pour soutenir une recherche reproductible hors ligne. Sur SearchGen-Bench, les générateurs ouverts de pointe n'obtiennent que 21 à 28 sur 100, un effondrement de 40 points invisible dans les références existantes. Le remède naturel consiste à utiliser des outils de recherche, permettant une génération visuelle agentique. Cependant, nous constatons qu'une recherche naïve échoue : elle récupère sans discernement, injectant du bruit dans les invites que le générateur traite déjà. Nous retraçons la cause racine à une frontière de connaissance spécifique au générateur et en évolution : la division entre ce qu'un générateur peut internaliser par l'entraînement et ce qui doit rester dans un contexte externe. Bien que cette frontière soit difficile à spécifier à l'avance, nous montrons qu'elle est découvrable via un cadre de co-apprentissage enseigner-puis-chercher. Même une version minimale de cette recette de co-apprentissage produit une amélioration monotone, posant les bases d'une auto-amélioration récursive dans la génération visuelle capable de répondre aux requêtes ancrées dans la connaissance du monde. Nous publions l'ensemble complet des données, le corpus de co-apprentissage et le corpus de recherche en tant que harnais rejouable pour la génération visuelle augmentée par outils et ancrée dans la connaissance du monde.
Les modèles d'IA modernes atteignent des performances élevées sur de nombreux référentiels établis, mais ils échouent encore sur des tâches que les humains considèrent comme presque triviales, telles que manipuler une corde ou dessiner un chien à cinq pattes. Ces exemples suggèrent que les référentiels existants pourraient sous-mesurer les angles morts persistants dans les systèmes actuels. Nous introduisons blind-spots-bench, un référentiel conçu pour exposer ces angles morts à travers des tâches qui paraissent simples pour les humains mais restent difficiles pour l'IA moderne. Nous recueillons des questions brutes d'étudiants dans un cours d'IA, les nettoyons et les annotons avec des solutions de référence structurées, et proposons une taxonomie des tâches adaptée à l'ensemble de données résultant de 235 échantillons. Nous développons en outre un pipeline de notation automatisé pour évaluer un large éventail de modèles, y compris des modèles de langage à poids ouverts et à sources fermées, des modèles vision-langage et des modèles de génération d'images. Notre analyse sur blind-spots-bench révèle que les modèles de pointe à sources fermées peuvent surpasser sensiblement les modèles à poids ouverts, avec un écart d'environ 10 %, même lorsqu'ils atteignent des performances comparables sur les référentiels existants. Une analyse plus fine montre qu'aucun modèle unique ne domine tous les types de tâches et que certaines tâches restent difficiles pour tous les modèles évalués. Ces résultats soulignent la valeur de blind-spots-bench en tant que test de stress diagnostique pour identifier les faiblesses concrètes des modèles modernes actuels.
Les agents de codage doivent intégrer les retours d’outils externes dans leur raisonnement en cours — une capacité que le pré-entraînement standard de gauche à droite sur du code n’expose que dans sa direction avant. Nous observons que la boucle action-observation-continuation d’un agent de codage est structurellement isomorphe à un site d’appel de fonction, où un appelant lie des arguments, un appelé retourne une valeur calculée ailleurs, et le code aval consomme cette valeur. Cette structure de conditionnement existe à l’échelle d’Internet dans le code ordinaire. Nous l’exploitons via un pré-entraînement intermédiaire de remplissage au milieu (FIM) sensible aux fonctions : un objectif auto-supervisé qui masque des fonctions sélectionnées par analyse de graphe de dépendances de programme et un double critère de complexité et d’inférabilité. Nous effectuons un pré-entraînement intermédiaire des modèles Qwen2.5-Coder-Instruct (7B/14B) et Qwen3-8B sur un corpus décontaminé de 2,6 milliards de tokens tiré de 968 dépôts GitHub, puis nous appliquons des pipelines de post-entraînement agentiques existants. Le pré-entraînement intermédiaire améliore SWE-Bench-Verified de +2,8/+3,0 à 7B/14B et de +3,2 sur Qwen3-8B ; les gains sur SWE-Bench-Lite sont de +3,7/+4,0/+5,4 sur les mêmes modèles. L’amélioration se maintient sur deux pipelines de post-entraînement (R2E-Gym, SWE-Smith) et sur une base non-Qwen2.5 (Qwen3-8B avec SWE-Lego). Au-delà des gains intra-domaine, le pré-entraînement intermédiaire atténue également l’érosion des capacités que le post-entraînement agentique inflige autrement au codage non agentique (par exemple, LiveCodeBench) et aux benchmarks d’utilisation d’outils non liés au codage (tau-bench, BFCL) : bien que le corpus de pré-entraînement intermédiaire ne contienne que du code Python, le biais inductif d’appel de fonction survit au post-entraînement et produit des gains constants.
Les agents de codage basés sur les modèles de langage (LLM) ont considérablement fait progresser la résolution automatisée de problèmes logiciels, mais ils restent très sujets à des erreurs factuelles causées par une compréhension insuffisante du dépôt. Des méthodes récentes tentent de pallier cette limitation via une exploration du dépôt avant réparation ; cependant, leurs stratégies axées sur la correction explorent le dépôt sans identifier les lacunes de connaissances de l'agent, produisant souvent un contexte imprécis qui ne comble pas le déficit de compréhension sous-jacent. Dans cet article, nous proposons ACQUIRE, un cadre basé sur des questions-réponses (QA) pour la résolution de problèmes logiciels. Reproduisant la manière dont les développeurs expérimentés comprennent d'abord un code inconnu avant de tenter une correction, ACQUIRE acquiert explicitement les connaissances du dépôt avant la réparation. Le cadre découple l'acquisition de connaissances de la génération de correctifs en deux étapes : dans la première étape, un Questionneur et un Répondeur collaborent pour acquérir des connaissances structurées sur le dépôt, où le Questionneur pose des questions ciblées et le Répondeur produit des réponses fondées sur des preuves par exploration autonome ; dans la deuxième étape, le Résolveur exploite les connaissances QA résultantes pour générer des correctifs informés. En transformant les lacunes de connaissances implicites en une compréhension explicite et fiable sur le plan factuel, ACQUIRE accélère les étapes de réparation nécessitant beaucoup de connaissances et permet une résolution plus précise. Les expériences sur SWE-bench Verified montrent qu'ACQUIRE surpasse systématiquement les méthodes de pré-réparation représentatives, augmentant le Pass@1 jusqu'à 4,4 points de pourcentage avec un coût et un temps supplémentaires modestes.
Les méthodes existantes de transcription automatique de la musique sont souvent limitées à des enregistrements mono-instrument ou échouent sur des mixages musicaux complexes et réels. Bien que des travaux antérieurs utilisent des données d'entraînement synthétiques, les modèles qui en résultent généralisent mal, conduisant à des transcriptions largement inutilisables dans des contextes réalistes et multi-instruments. Dans ce travail, nous analysons l'efficacité des données synthétiques pour le pré-entraînement, tout en les combinant avec un réglage fin sur de l'audio musical réel et un post-entraînement par apprentissage par renforcement. Nous introduisons également un conditionnement sur la présence d'instruments pour personnaliser les transcriptions. Enfin, nous publions MuScriptor, un modèle de transcription musicale multi-instruments à poids ouverts, fonctionnant sur des enregistrements musicaux réels issus d'une diversité de genres musicaux.
Les encodeurs visuels classiques sont pré-entraînés sur des images naturelles et ne peuvent être efficacement appliqués aux images de documents sans une adaptation orientée documents, car le texte dense et les traits de caractères fins exigent une perception visuelle au niveau des caractères. Nous présentons MonkeyOCRv2, un modèle pré-entraîné visuel-texte pour l'IA documentaire. Premièrement, nous construisons MonkeyDoc v2, à notre connaissance le plus grand corpus de pré-entraînement d'images de documents, comprenant 113 millions d'images couvrant 17 langues. Deuxièmement, nous proposons une stratégie de pré-entraînement qui apprend conjointement la génération image-texte et la reconstruction de documents au niveau des pixels : la première aligne les représentations visuelles avec le contenu textuel, tandis que la seconde préserve les traits de caractères et les détails de mise en page. Des expériences approfondies sont menées sur cinq tâches représentatives d'analyse de documents, notamment la reconnaissance de texte, la reconnaissance de formules, la détection de texte, la détection de falsification de documents et la segmentation de texte superposé. Remplacer les encodeurs originaux par MonkeyOCRv2 améliore systématiquement les performances sur l'ensemble des cinq tâches. Enfin, nous validons son efficacité en tant qu'encodeur visuel de grands modèles de langage multimodaux sur les tâches plus difficiles d'analyse et de compréhension de documents. Gardé figé et associé à un modèle de langage léger, il produit un modèle d'analyse de documents de 0,7 milliard de paramètres qui établit un nouvel état de l'art open-source sur MDPBench, un benchmark récent couvrant des documents numériques et photographiés dans 17 langues, dépassant le précédent meilleur modèle de 3 milliards de paramètres (dots.mocr) de 2,8 % en valeur absolue, avec un encodeur visuel environ 11 fois plus petit. L'encodeur figé alimente également un modèle de compréhension de documents qui surpasse les homologues construits sur CLIP, DINO et SAM sur huit benchmarks dans des conditions d'entraînement identiques. Ces résultats suggèrent que le pré-entraînement visuel orienté documents peut servir de fondement à part entière pour l'intelligence documentaire.
En partant de l’utilisation de réseaux de neurones profonds pour approximer la fonction de valeur état-action, qui a permis de remporter l’un des jeux les plus difficiles, jusqu’aux avancées algorithmiques ayant permis de résoudre des problèmes sans même énoncer explicitement les règles du défi en question, la recherche en apprentissage par renforcement a été au cœur de progrès scientifiques remarquables au cours de la dernière décennie. Dans cet article, nous nous concentrons sur les ingrédients clés de ces progrès de recherche et analysons les paradigmes canoniques d’évaluation et de conception en apprentissage par renforcement. Nous introduisons les fondements théoriques des lois d’échelle en apprentissage par renforcement et montrons que la performance asymptotique des algorithmes d’apprentissage par renforcement n’entretient pas de relation monotone entre les classements de performance et les régimes de données. Nous menons des expériences à grande échelle et nos résultats démontrent qu’un courant de recherche en apprentissage par renforcement, sous les paradigmes canoniques de conception et d’évaluation, a conduit à des conclusions incorrectes. Notre analyse et nos résultats fournissent une analyse fondamentale sur l’échelle, la capacité et la complexité de l’apprentissage par renforcement profond.
Les agents de grands modèles de langage (LLM) commencent à automatiser l'ingénierie de l'apprentissage automatique (MLE) en couplant planification, exécution de code, débogage et retour empirique. Transposer cette capacité à l'imagerie médicale reste difficile car chaque tâche impose une expérimentation spécifique à la modalité ainsi que des exigences strictes concernant les protocoles de validation et les artefacts de prédiction. Nous présentons ici AMID, un cadre multi-agents autonome pour le développement de modèles d'imagerie médicale. AMID propose d'abord une Planification de Méthode Conditionnée par les Données, qui affine des espaces de recherche grossiers au niveau des tâches en voies de méthode exécutables et parallélisables, ancrées dans l'analyse de données spécifiques à la tâche et des ressources d'imagerie médicale exploitables. Il développe ensuite une Optimisation en Deux Étapes Guidée par la Vérification, passant d'une exploration initiale large de diverses voies de méthode à une exploitation sélective de candidats prometteurs, tout en imposant une vérification stricte des protocoles de validation, du calcul des métriques et des artefacts de prédiction tout au long de l'optimisation. Sur 20 tâches de challenge d'imagerie médicale couvrant diverses modalités et types de prédiction, AMID a surpassé les systèmes MLE à usage général évalués et, pour plusieurs tâches, s'est approché ou a égalé des solutions de challenge conçues manuellement et de haute qualité. Ces résultats suggèrent qu'AMID peut transformer le développement de modèles d'imagerie médicale spécifiques à une tâche, passant d'une ingénierie manuelle sur mesure à un flux de travail agentique produisant des artefacts de modèle performants et auditables sur des tâches hétérogènes.
Ce travail introduit une formulation unifiée pour les modèles de vision, où diverses formes d’informations visuelles au-delà des images naturelles, telles que les masques, les cartes de profondeur et autres signaux visuels structurés, sont toutes représentées sous forme d’images RVB, tandis que des tâches visuelles générales peuvent être converties en un problème commun d’édition d’images RVB vers RVB. Dans ce paradigme, différents types d’informations visuelles partagent en interne la même architecture d’encodage et de décodage ainsi que les mêmes paramètres que les images naturelles, permettant à un seul modèle de faire le transfert entre tâches via une interface visuelle unifiée, de manière analogue au fonctionnement des modèles de langage sur le texte. Nous désignons cette formulation sous le nom de RVB Entrée et RVB Sortie (RINO). Construit sur une architecture de base générique d’édition d’images sans ajustement fin spécifique à une tâche, RINO démontre des performances robustes et compétitives en zero-shot à la fois sur des tâches de compréhension dense telles que la segmentation et l’estimation de profondeur (où nous unifions les sorties en RVB), et sur des tâches de génération conditionnée dense telles que la génération d’images à partir de poses (où nous unifions les entrées en RVB). Nous espérons que cette étude apportera des perspectives utiles vers des systèmes vision-langage unifiés généraux, où diverses tâches visuelles peuvent être exprimées, interprétées et résolues à travers un langage visuel partagé. Le code est disponible à l’adresse https://github.com/yangtiming/RINO.
Les grands modèles de langage affinés pour la prévision peuvent être précis mais mal calibrés, et leur raisonnement par chaîne de pensée (CoT) peut ne pas refléter fidèlement les preuves sous-jacentes à une prévision. Nous nous demandons si les représentations internes offrent une fenêtre plus directe sur ces deux aspects. En travaillant avec Eternis-Forecaster 8B sur OpenForesight, nous entraînons des sondes de pooling de représentations sur les activations intermédiaires et constatons qu'elles atteignent une calibration nettement meilleure — un résultat qui se vérifie également pour GLM-4.7-Flash et GLM-4.5-Air. Nous évaluons ensuite la fidélité du CoT par ablation des preuves et injection de diversion : la suppression d'une source influente dans l'invite modifie souvent la prévision du modèle sans toucher au tracé du raisonnement. Les mêmes sondes fonctionnent comme des détecteurs de mensonge : leurs activations suivent les changements comportementaux bien mieux que le tracé du raisonnement, et elles prédisent également la direction du changement dans 84 % des cas, y compris lorsque le CoT dissimule l'influence de la perturbation. Enfin, la réponse forcée révèle que les prévisions sont largement fixées avant même que le raisonnement ne commence : un unique passage pré-raisonnement retrouve la réponse et la confiance engagées, et l'acheminement des questions selon la dispersion de cette distribution de réponses préétablie permet d'économiser 30 à 47 % des jetons générés, sans perte de précision. Ensemble, ces résultats établissent l'interrogation des représentations internes comme un outil pratique pour calibrer, auditer et trier les modèles de langage prévisionnels et les modèles de raisonnement plus largement.