papers.description
La construction de modèles vision-langage (VLMs) de pointe dotés de solides capacités de génération de légendes nécessite généralement un entraînement sur des milliards de paires image-texte de haute qualité, exigeant des millions d'heures de calcul sur GPU. Cet article présente le cadre auto-encodeur Vision-Langage-Vision (VLV), qui exploite stratégiquement des composants pré-entraînés clés : un encodeur visuel, le décodeur d'un modèle de diffusion Texte-à-Image (T2I), et ensuite, un Grand Modèle de Langage (LLM). Plus précisément, nous établissons un goulot d'étranglement d'information en régularisant l'espace de représentation linguistique, obtenu par le gel du décodeur du modèle de diffusion T2I pré-entraîné. Notre pipeline VLV distille efficacement les connaissances du modèle de diffusion conditionné par le texte en utilisant des embeddings continus, démontrant une compréhension sémantique approfondie grâce à des reconstructions de haute qualité. De plus, en affinant un LLM pré-entraîné pour décoder les représentations linguistiques intermédiaires en descriptions détaillées, nous construisons un générateur de légendes de pointe comparable aux modèles leaders comme GPT-4o et Gemini 2.0 Flash. Notre méthode démontre une efficacité exceptionnelle en termes de coût et réduit considérablement les besoins en données ; en utilisant principalement des images unimodales pour l'entraînement et en maximisant l'utilité des modèles pré-entraînés existants (encodeur d'image, modèle de diffusion T2I et LLM), elle évite la nécessité de vastes ensembles de données image-texte appariés, maintenant le coût total de l'entraînement en dessous de 1 000 USD.
Ce rapport technique présente EXAONE 4.0, qui intègre un mode Non-raisonnement et un mode Raisonnement pour combiner à la fois l'excellente utilisabilité d'EXAONE 3.5 et les capacités de raisonnement avancées d'EXAONE Deep. Pour ouvrir la voie à l'ère de l'IA agentique, EXAONE 4.0 intègre des fonctionnalités essentielles telles que l'utilisation d'outils agentiques, et ses capacités multilingues sont étendues pour inclure l'espagnol en plus de l'anglais et du coréen. La série de modèles EXAONE 4.0 se compose de deux tailles : un modèle de taille moyenne de 32B optimisé pour des performances élevées, et un modèle de petite taille de 1,2B conçu pour des applications sur appareil. EXAONE 4.0 démontre des performances supérieures par rapport aux modèles open-weight de sa catégorie et reste compétitif même face aux modèles de classe frontière. Les modèles sont disponibles publiquement à des fins de recherche et peuvent être facilement téléchargés via https://huggingface.co/LGAI-EXAONE.
Les grands modèles de base sont généralement entraînés sur des données provenant de multiples domaines, le mélange de données—la proportion de chaque domaine utilisé—jouant un rôle critique dans la performance du modèle. L'approche standard pour sélectionner ce mélange repose sur des essais et erreurs, ce qui devient impraticable pour un pré-entraînement à grande échelle. Nous proposons une méthode systématique pour déterminer le mélange de données optimal pour tout domaine cible en utilisant les lois d'échelle. Notre approche prédit avec précision la perte d'un modèle de taille N entraîné avec D tokens et un vecteur de poids de domaine spécifique h. Nous validons l'universalité de ces lois d'échelle en démontrant leur pouvoir prédictif dans trois contextes distincts et à grande échelle : le pré-entraînement de grands modèles de langage (LLM), de modèles multimodaux natifs (NMM) et de grands modèles de vision (LVM). Nous montrons en outre que ces lois d'échelle peuvent extrapoler à de nouveaux mélanges de données et à travers différentes échelles : leurs paramètres peuvent être estimés avec précision à l'aide de quelques entraînements à petite échelle, et utilisés pour estimer la performance à des échelles plus grandes et pour des poids de domaine inédits. Les lois d'échelle permettent de dériver les poids de domaine optimaux pour tout domaine cible sous un budget d'entraînement donné (N, D), offrant ainsi une alternative rigoureuse aux méthodes coûteuses d'essais et erreurs.
Cet article présente MISS-QA, le premier benchmark spécifiquement conçu pour évaluer la capacité des modèles à interpréter des diagrammes schématiques dans la littérature scientifique. MISS-QA comprend 1 500 exemples annotés par des experts, issus de 465 articles scientifiques. Dans ce benchmark, les modèles sont chargés d'interpréter des diagrammes schématiques illustrant des synthèses de recherche et de répondre à des questions de recherche d'informations basées sur le contexte plus large de l'article. Nous évaluons les performances de 18 modèles fondationnels multimodaux de pointe, notamment o4-mini, Gemini-2.5-Flash et Qwen2.5-VL. Nous révélons un écart de performance significatif entre ces modèles et les experts humains sur MISS-QA. Notre analyse des performances des modèles sur des questions sans réponse et notre analyse détaillée des erreurs mettent en lumière les forces et les limites des modèles actuels, offrant des insights clés pour améliorer la compréhension des modèles dans la littérature scientifique multimodale.
Les modèles de langage à grande échelle (LLMs) ont démontré des capacités puissantes de résolution de problèmes, en particulier lorsqu'ils sont organisés en systèmes multi-agents. Cependant, l'avènement de tels systèmes soulève également plusieurs questions sur la capacité d'un réseau complexe d'agents à s'auto-organiser et à collaborer efficacement. Bien que la mesure des performances sur des benchmarks de raisonnement standard indique dans quelle mesure les systèmes multi-agents peuvent résoudre des tâches de raisonnement, il n'est pas clair si ces systèmes sont capables d'exploiter efficacement leur topologie. Ici, nous proposons AgentsNet, un nouveau benchmark pour le raisonnement multi-agent. En s'inspirant de problèmes classiques des systèmes distribués et de la théorie des graphes, AgentsNet mesure la capacité des systèmes multi-agents à collaborer pour former des stratégies de résolution de problèmes, d'auto-organisation et de communication efficace, compte tenu d'une topologie de réseau. Nous évaluons une variété de méthodes de base sur AgentsNet, y compris des réseaux homogènes d'agents qui doivent d'abord s'accorder sur des protocoles de base pour l'organisation et la communication. Nous constatons que certains LLMs de pointe montrent déjà de solides performances pour les petits réseaux, mais commencent à décliner une fois que la taille du réseau augmente. Alors que les benchmarks multi-agents existants couvrent au plus 2 à 5 agents, AgentsNet est pratiquement illimité en taille et peut évoluer avec les nouvelles générations de LLMs. Ainsi, nous testons également les modèles de pointe dans une configuration allant jusqu'à 100 agents.
Les récents progrès des modèles de langage à grande échelle (LLMs) basés sur le raisonnement, en particulier leur potentiel grâce à la mise à l'échelle au moment des tests, ont créé des opportunités significatives pour la distillation dans la génération et la critique de code. Cependant, les avancées dans ces deux domaines dépendent fondamentalement de jeux de données à grande échelle et de haute qualité. Dans ce travail, nous présentons OpenCodeReasoning-II, un ensemble de données composé de 2,5 millions de triplets question-solution-critique (environ 35 000 questions de programmation uniques), ce qui en fait près de deux fois la taille du plus grand ensemble de données de raisonnement sur le code précédemment disponible publiquement. Dans ce travail, nous employons une stratégie de fine-tuning supervisé en deux étapes. La première étape se concentre sur le fine-tuning pour la génération de code, tandis que la deuxième étape implique l'entraînement conjoint de modèles pour la génération de code et la critique. Nos modèles Qwen2.5-Instruct finement ajustés atteignent des performances en génération de code qui dépassent ou égalent les meilleurs modèles distillés à poids ouvert précédents. Notamment, l'intégration de nos modèles de génération de code et de critique conduit à des améliorations significatives dans les performances de programmation compétitive. De plus, nous présentons une extension du benchmark LiveCodeBench pour supporter spécifiquement le langage de programmation C++, facilitant ainsi une évaluation plus complète des LLMs à l'aide de ce benchmark.
L'extraction du flux optique à partir de vidéos demeure un problème fondamental en vision par ordinateur. Motivés par le succès des modèles généraux à grande échelle, nous nous demandons si des modèles vidéo auto-supervisés, congelés et entraînés uniquement pour la prédiction de trames futures, peuvent être incités, sans réglage fin, à produire un flux. Les travaux antérieurs visant à extraire la profondeur ou l'éclairage à partir de générateurs vidéo nécessitaient un réglage fin, ce qui est peu pratique pour le flux, où les annotations sont rares et où les ensembles de données synthétiques souffrent d'un écart entre simulation et réalité. Inspirés par le paradigme du Modèle de Monde Contrefactuel (CWM), qui permet d'obtenir des correspondances ponctuelles en injectant une petite perturbation traceuse dans un prédicteur de trame suivante et en suivant sa propagation, nous étendons cette idée aux modèles génératifs vidéo. Nous explorons plusieurs architectures populaires et constatons que l'extraction de flux en mode zéro-shot de cette manière est facilitée par trois propriétés du modèle : (1) la prédiction distributionnelle des trames futures (évitant les sorties floues ou bruyantes) ; (2) les latents factorisés qui traitent chaque patch spatio-temporel indépendamment ; et (3) le décodage à accès aléatoire qui peut se conditionner sur n'importe quel sous-ensemble de pixels futurs. Ces propriétés sont uniquement présentes dans l'architecture récente Local Random Access Sequence (LRAS). En nous appuyant sur LRAS, nous proposons KL-tracing : une procédure novatrice au moment du test qui injecte une perturbation localisée dans la première trame, déroule le modèle d'un pas, et calcule la divergence de Kullback-Leibler entre les distributions prédictives perturbées et non perturbées. Sans aucun réglage fin spécifique au flux, notre méthode surpasse les modèles de pointe sur le jeu de données réel TAP-Vid DAVIS (amélioration relative de 16,6 % pour l'erreur de point final) et sur le jeu de données synthétique TAP-Vid Kubric (amélioration relative de 4,7 %). Nos résultats indiquent que l'incitation contrefactuelle de modèles génératifs vidéo contrôlables constitue une alternative scalable et efficace aux approches supervisées ou basées sur la perte photométrique pour un flux de haute qualité.
Le question-réponse sur graphes de connaissances (KGQA) présente des défis majeurs en raison des variations structurelles et sémantiques entre les graphes d'entrée. Les travaux existants s'appuient sur des agents basés sur des modèles de langage de grande taille (LLM) pour le parcours et la récupération dans les graphes ; une approche sensible à l'initialisation du parcours, car elle est sujette à des erreurs de liaison d'entités et peut mal généraliser aux graphes de connaissances personnalisés ("bring-your-own"). Nous présentons BYOKG-RAG, un cadre qui améliore le KGQA en combinant de manière synergique les LLM avec des outils spécialisés de récupération dans les graphes. Dans BYOKG-RAG, les LLM génèrent des artefacts graphiques critiques (entités de la question, réponses candidates, chemins de raisonnement et requêtes OpenCypher), et les outils graphiques lient ces artefacts au graphe et récupèrent le contexte graphique pertinent. Le contexte récupéré permet au LLM d'affiner itérativement sa liaison et sa récupération dans le graphe, avant la génération finale de la réponse. En récupérant le contexte à partir de différents outils graphiques, BYOKG-RAG offre une solution plus générale et robuste pour le question-réponse sur des graphes de connaissances personnalisés. À travers des expériences sur cinq benchmarks couvrant divers types de graphes, nous démontrons que BYOKG-RAG surpasse la deuxième meilleure méthode de récupération graphique de 4,5 points de pourcentage tout en montrant une meilleure généralisation aux graphes de connaissances personnalisés. Le cadre BYOKG-RAG est open-source à l'adresse https://github.com/awslabs/graphrag-toolkit.
L'inpainting audio désigne la tâche de reconstruction de segments manquants dans des enregistrements audio corrompus. Bien que les approches précédentes, y compris les modèles de diffusion basés sur les formes d'onde et les spectrogrammes, aient montré des résultats prometteurs pour des lacunes courtes, elles voient souvent leur qualité se dégrader lorsque les lacunes dépassent 100 millisecondes (ms). Dans ce travail, nous introduisons une nouvelle méthode d'inpainting basée sur la modélisation de diffusion discrète, qui opère sur des représentations audio tokenisées produites par un tokenizer audio pré-entraîné. Notre approche modélise le processus génératif directement dans l'espace latent discret, permettant une reconstruction stable et sémantiquement cohérente des segments audio manquants. Nous évaluons la méthode sur le jeu de données MusicNet en utilisant à la fois des métriques objectives et perceptuelles pour des durées de lacunes allant jusqu'à 300 ms. Nous avons également évalué notre approche sur le jeu de données MTG, en étendant la durée des lacunes à 500 ms. Les résultats expérimentaux démontrent que notre méthode atteint des performances compétitives ou supérieures par rapport aux approches existantes, en particulier pour les lacunes plus longues, offrant ainsi une solution robuste pour la restauration d'enregistrements musicaux dégradés. Des exemples audio de notre méthode proposée sont disponibles à l'adresse suivante : https://iftach21.github.io/
Les modèles de langage de grande taille (LLMs) ont transformé le développement logiciel et la génération automatisée de code. Motivés par ces avancées, cet article explore la faisabilité d'utiliser les LLMs pour modifier le code source de logiciels malveillants afin de générer des variantes. Nous présentons LLMalMorph, un cadre semi-automatisé qui exploite la compréhension sémantique et syntaxique du code par les LLMs pour générer de nouvelles variantes de logiciels malveillants. LLMalMorph extrait des informations au niveau des fonctions du code source du logiciel malveillant et utilise des invites personnalisées couplées à des transformations de code stratégiquement définies pour guider le LLM dans la génération de variantes sans nécessiter de réglage fin intensif en ressources. Pour évaluer LLMalMorph, nous avons collecté 10 échantillons divers de logiciels malveillants Windows de types, complexités et fonctionnalités variés et généré 618 variantes. Nos expériences approfondies démontrent qu'il est possible de réduire dans une certaine mesure les taux de détection des moteurs antivirus pour ces variantes tout en préservant les fonctionnalités malveillantes. De plus, bien que nous n'ayons pas optimisé contre aucun détecteur de logiciels malveillants basé sur l'apprentissage automatique (ML), plusieurs variantes ont également obtenu des taux de réussite d'attaque notables contre un classificateur de logiciels malveillants basé sur le ML. Nous discutons également des limites des capacités actuelles des LLMs dans la génération de variantes de logiciels malveillants à partir du code source et évaluons où se situe cette technologie émergente dans le contexte plus large de la génération de variantes de logiciels malveillants.
Les grands modèles de langage (LLM) présentent des biais cognitifs -- des tendances systématiques à la prise de décision irrationnelle, similaires à celles observées chez les humains. Les travaux antérieurs ont montré que ces biais varient selon les modèles et peuvent être amplifiés par l'ajustement par instruction. Cependant, il reste incertain si ces différences de biais proviennent du pré-entraînement, du fine-tuning, ou même du bruit aléatoire dû à la stochasticité de l'entraînement. Nous proposons une approche expérimentale causale en deux étapes pour démêler ces facteurs. Premièrement, nous ajustons plusieurs fois les modèles en utilisant différentes graines aléatoires pour étudier comment le hasard de l'entraînement affecte plus de 30 biais cognitifs. Deuxièmement, nous introduisons le "cross-tuning" -- l'échange de jeux de données d'instruction entre les modèles pour isoler les sources de biais. Cet échange utilise des jeux de données ayant conduit à des motifs de biais différents, testant directement si les biais dépendent des jeux de données. Nos résultats révèlent que si le hasard de l'entraînement introduit une certaine variabilité, les biais sont principalement façonnés par le pré-entraînement : les modèles avec la même architecture pré-entraînée présentent des motifs de biais plus similaires que ceux partageant uniquement des données de fine-tuning. Ces insights suggèrent que la compréhension des biais dans les modèles ajustés nécessite de considérer leurs origines dans le pré-entraînement au-delà des effets du fine-tuning. Cette perspective peut guider les efforts futurs pour développer des stratégies méthodiques d'évaluation et de réduction des biais dans les LLM.
L'intelligence artificielle (IA) moderne repose de plus en plus sur des architectures multi-agents qui intègrent la compréhension visuelle et linguistique. Cependant, un défi majeur persiste : comment faire confiance à ces agents, en particulier dans des contextes zero-shot sans ajustement fin ? Nous présentons un nouveau cadre modulaire de classification visuelle par IA agentique, qui intègre des agents multimodaux généralistes avec un orchestrateur de raisonnement non visuel et un module de génération augmentée par récupération (RAG). Appliqué au diagnostic des maladies des feuilles de pommier, nous évaluons trois configurations : (I) zero-shot avec orchestration basée sur la confiance, (II) agents ajustés avec des performances améliorées, et (III) orchestration calibrée pour la confiance, renforcée par la récupération d'images basée sur CLIP et des boucles de réévaluation. À l'aide de métriques de calibration de confiance (ECE, OCR, CCC), l'orchestrateur module la confiance entre les agents. Nos résultats montrent une amélioration de 77,94 % en précision dans le cadre zero-shot grâce à l'orchestration basée sur la confiance et le RAG, atteignant 85,63 % au total. GPT-4o a montré une meilleure calibration, tandis que Qwen-2.5-VL a affiché une surconfiance. De plus, les prédictions basées sur l'image-RAG s'appuyaient sur des cas visuellement similaires, permettant de corriger la surconfiance des agents via une réévaluation itérative. Le système proposé sépare la perception (agents visuels) de la méta-raison (orchestrateur), permettant une IA multi-agent évolutive et interprétable. Ce modèle est extensible aux diagnostics, à la biologie et à d'autres domaines critiques pour la confiance. Tous les modèles, prompts, résultats et composants du système, y compris le code source complet, sont librement disponibles pour soutenir la reproductibilité, la transparence et l'évaluation communautaire sur Github : https://github.com/Applied-AI-Research-Lab/Orchestrator-Agent-Trust.
Les vidéos générées par les utilisateurs dans le monde réel, en particulier sur des plateformes comme TikTok, présentent souvent un contenu audio-visuel riche et entrelacé. Cependant, les benchmarks et modèles existants pour le sous-titrage vidéo restent principalement centrés sur l'aspect visuel, négligeant le rôle crucial de l'audio dans la transmission de la dynamique des scènes, des intentions des locuteurs et du contexte narratif. Cette absence de jeux de données omni-modaux et de modèles légers et performants entrave les progrès dans la compréhension fine et multimodale des vidéos. Pour relever ces défis, nous présentons UGC-VideoCap, un nouveau benchmark et cadre de modélisation spécialement conçu pour le sous-titrage détaillé et omni-modal des vidéos courtes générées par les utilisateurs. Contrairement aux jeux de données précédents, UGC-VideoCap met l'accent sur l'intégration équilibrée des modalités audio et visuelles, en proposant 1000 vidéos TikTok annotées via un pipeline structuré en trois étapes impliquant l'humain, couvrant la sémantique audio seule, visuelle seule et audio-visuelle conjointe. Le benchmark inclut également 4000 paires de questions-réponses soigneusement élaborées, explorant à la fois la compréhension unimodale et intermodale. Parallèlement au jeu de données, nous proposons UGC-VideoCaptioner(3B), un modèle de sous-titrage de 3 milliards de paramètres distillé à partir de Gemini 2.5 Flash. En utilisant une nouvelle stratégie d'entraînement en deux étapes – fine-tuning supervisé suivi de l'optimisation de politique relative par groupe (GRPO) – notre approche permet une adaptation efficace à partir de données limitées tout en maintenant des performances compétitives. Ensemble, notre benchmark et notre modèle offrent une base de haute qualité et une solution économe en données pour faire progresser le sous-titrage omni-modal des vidéos dans des contextes non contraints de contenus générés par les utilisateurs.