Articles de recherche IA sélectionnés quotidiennement avec traductions
Les capacités des agents individuels ont progressé rapidement grâce aux compétences modulaires et aux intégrations d'outils, mais les systèmes multi-agents restent contraints par des structures d'équipe fixes, une logique de coordination fortement couplée et un apprentissage lié aux sessions. Nous soutenons que cela reflète une absence plus profonde : une couche organisationnelle principielle qui régit la manière dont une main-d'œuvre d'agents est assemblée, gouvernée et améliorée dans le temps, découplée de ce que les agents individuels savent. Pour combler cette lacune, nous présentons OneManCompany (OMC), un cadre qui élève les systèmes multi-agents au niveau organisationnel. OMC encapsule les compétences, les outils et les configurations d'exécution dans des identités d'agents portables appelées Talents, orchestrées via des interfaces organisationnelles typées qui abstraient les backends hétérogènes. Un marché de Talents communautaire permet un recrutement à la demande, permettant à l'organisation de combler les lacunes de capacités et de se reconfigurer dynamiquement pendant l'exécution. La prise de décision organisationnelle est opérationnalisée via une recherche arborescente Explore-Exécuter-Revue (E²R), qui unifie la planification, l'exécution et l'évaluation dans une boucle hiérarchique unique : les tâches sont décomposées de haut en bas en unités responsables et les résultats d'exécution sont agrégés de bas en haut pour piloter une revue et un raffinement systématiques. Cette boucle offre des garanties formelles sur la terminaison et l'absence d'interblocage tout en reflétant les mécanismes de rétroaction des entreprises humaines. Ensemble, ces contributions transforment les systèmes multi-agents de pipelines statiques préconfigurés en organisations IA auto-organisatrices et auto-améliorantes capables de s'adapter à des tâches ouvertes dans divers domaines. L'évaluation empirique sur PRDBench montre qu'OMC atteint un taux de réussite de 84,67 %, surpassant l'état de l'art de 15,48 points de pourcentage, avec des études de cas interdomaines démontrant davantage sa généralité.
Les modèles vidéo de fondation récents démontrent une impressionnante synthèse visuelle mais souffrent fréquemment d'incohérences géométriques. Bien que les méthodes existantes tentent d'injecter des préconisations 3D via des modifications architecturales, elles entraînent souvent des coûts computationnels élevés et limitent l'évolutivité. Nous proposons World-R1, un cadre qui aligne la génération vidéo avec des contraintes 3D grâce à l'apprentissage par renforcement. Pour faciliter cet alignement, nous introduisons un jeu de données textuel pur spécialisé, conçu pour la simulation du monde. En utilisant Flow-GRPO, nous optimisons le modèle à l'aide de retours provenant de modèles de fondation 3D pré-entraînés et de modèles vision-langage pour imposer une cohérence structurelle sans modifier l'architecture sous-jacente. Nous employons en outre une stratégie d'entraînement découplée périodique pour équilibrer la rigidité de la cohérence géométrique avec la fluidité dynamique de la scène. Des évaluations approfondies révèlent que notre approche améliore significativement la cohérence 3D tout en préservant la qualité visuelle originale du modèle de fondation, comblant efficacement le fossé entre la génération vidéo et la simulation du monde évolutive.
Les modèles multimodaux unifiés reposent généralement sur des encodeurs visuels préentraînés et utilisent des représentations visuelles distinctes pour la compréhension et la génération, créant un désalignement entre ces deux tâches et empêchant une optimisation véritablement end-to-end à partir des pixels bruts. Nous présentons Tuna-2, un modèle multimodal unifié natif qui effectue la compréhension et la génération visuelles directement à partir des embeddings de pixels. Tuna-2 simplifie radicalement l'architecture du modèle en utilisant de simples couches d'embedding de patches pour encoder l'entrée visuelle, abandonnant complètement les conceptions modulaires d'encodeurs visuels comme le VAE ou l'encodeur de représentations. Les expériences montrent que Tuna-2 atteint des performances de pointe dans les benchmarks multimodaux, démontrant que la modélisation unifiée dans l'espace pixel peut pleinement rivaliser avec les approches en espace latent pour la génération d'images de haute qualité. De plus, si la variante avec encodeur converge plus rapidement en début de préentraînement, la conception sans encodeur de Tuna-2 permet une meilleure compréhension multimodale à grande échelle, particulièrement sur les tâches nécessitant une perception visuelle fine. Ces résultats montrent que les encodeurs visuels préentraînés ne sont pas nécessaires pour la modélisation multimodale, et que l'apprentissage end-to-end dans l'espace pixel offre une voie évolutive vers des représentations visuelles plus robustes pour la génération comme pour la perception.
Les évaluations actuelles de l'intelligence spatiale peuvent être systématiquement non valides dans le contexte des modèles vision-langage (VLM) modernes. Premièrement, de nombreuses références dérivent des paires question-réponse (QR) d'annotations 3D basées sur des nuages de points, initialement conçues pour la perception 3D traditionnelle. Lorsque ces annotations sont utilisées comme vérité terrain pour une évaluation vidéo, les artefacts de reconstruction et d'annotation peuvent omettre des objets clairement visibles dans la vidéo, étiqueter incorrectement les identités des objets ou corrompre les réponses dépendantes de la géométrie (par exemple, la taille), produisant ainsi des paires QR incorrectes ou ambiguës. Deuxièmement, les évaluations supposent souvent un accès à la scène complète, alors que de nombreux VLMs fonctionnent sur des images échantillonnées de manière éparse (par exemple, 16-64), rendant de nombreuses questions essentiellement impossibles à résoudre avec les entrées réelles du modèle. Nous améliorons la validité de l'évaluation en introduisant ReVSI, un benchmark et un protocole qui garantissent que chaque paire QR est répondable et correcte avec les entrées réelles du modèle. Pour ce faire, nous ré-annotons les objets et la géométrie dans 381 scènes issues de 5 jeux de données pour améliorer la qualité des données, et régénérons toutes les paires QR avec une atténuation rigoureuse des biais et une vérification humaine à l'aide d'outils professionnels d'annotation 3D. Nous améliorons également la contrôlabilité de l'évaluation en proposant des variantes pour différents budgets d'images (16/32/64/toutes) et des métadonnées fines sur la visibilité des objets, permettant des analyses diagnostiques contrôlées. Les évaluations de VLMs généraux et spécialisés sur ReVSI révèlent des modes d'échec systématiques masqués par les benchmarks antérieurs, offrant une évaluation plus fiable et diagnostique de l'intelligence spatiale.
Les modèles Vision-Langage-Action (VLA) émergent comme un substrat unifié pour l'intelligence incarnée. Ce changement soulève une nouvelle classe de défis de sécurité, découlant de la nature incarnée des systèmes VLA, incluant des conséquences physiques irréversibles, une surface d'attaque multimodale couvrant la vision, le langage et l'état, des contraintes de latence en temps réel pour la défense, la propagation d'erreurs sur des trajectoires à long horizon et des vulnérabilités dans la chaîne d'approvisionnement des données. Pourtant, la littérature reste fragmentée entre l'apprentissage robotique, l'apprentissage automatique adversarial, l'alignement de l'IA et la sécurité des systèmes autonomes. Cette synthèse offre une vue d'ensemble unifiée et actualisée de la sécurité des modèles Vision-Langage-Action. Nous organisons le domaine selon deux axes temporels parallèles : le moment de l'attaque (pendant l'entraînement ou l'inférence) et le moment de la défense (pendant l'entraînement ou l'inférence), en associant chaque classe de menace au stade où elle peut être atténuée. Nous définissons d'abord le périmètre de la sécurité des VLA, en la distinguant de la sécurité des LLM purement textuels et de la sécurité robotique classique, et passons en revue les fondements des modèles VLA, incluant les architectures, les paradigmes d'entraînement et les mécanismes d'inférence. Nous examinons ensuite la littérature à travers quatre prismes : les Attaques, les Défenses, l'Évaluation et le Déploiement. Nous étudions les menaces pendant l'entraînement telles que l'empoisonnement des données et les portes dérobées, ainsi que les attaques pendant l'inférence incluant les patchs adversariaux, les perturbations cross-modales, les contournements sémantiques (jailbreaks) et les attaques par gel (freezing). Nous passons en revue les défenses appliquées pendant l'entraînement et à l'exécution, analysons les benchmarks et métriques existants, et discutons des défis de sécurité dans six domaines de déploiement. Enfin, nous soulignons les problèmes ouverts clés, incluant la robustesse certifiée pour les trajectoires incarnées, les défenses physiquement réalisables, l'entraînement conscient de la sécurité, les architectures de sécurité unifiées à l'exécution et l'évaluation standardisée.
Lorsqu'ils répondent à des questions sur des images, les humains pointent, étiquettent et dessinent naturellement pour expliquer leur raisonnement. En revanche, les modèles vision-langage (VLM) modernes tels que Gemini-3-Pro et GPT-5 ne répondent que par du texte, ce qui peut être difficile à vérifier pour les utilisateurs. Nous présentons SketchVLM, un cadre agnostique aux modèles et ne nécessitant pas d'entraînement, qui permet aux VLM de produire des superpositions SVG non destructives et modifiables sur l'image d'entrée pour expliquer visuellement leurs réponses. Sur sept benchmarks couvrant le raisonnement visuel (navigation dans un labyrinthe, prédiction de trajectoire de chute libre et décompte d'objets) et le dessin (étiquetage de parties, relier les points et dessiner des formes autour d'objets), SketchVLM améliore la précision des tâches de raisonnement visuel jusqu'à +28,5 points de pourcentage et la qualité des annotations jusqu'à 1,48x par rapport aux méthodes de référence par édition d'image et par dessin avec fine-tuning, tout en produisant des annotations plus fidèles à la réponse énoncée par le modèle. Nous constatons qu'une génération en un seul tour atteint déjà une forte précision et qualité d'annotation, et que la génération multi-tours ouvre de nouvelles opportunités de collaboration humain-IA. Une démonstration interactive et le code sont disponibles à l'adresse https://sketchvlm.github.io/.
Les agents basés sur modèles de langage sont de plus en plus utilisés comme collaborateurs permanents assistant les utilisateurs sur plusieurs jours de travail. Au cours de tels flux de travail, l'environnement peut évoluer indépendamment de l'agent : de nouveaux e-mails arrivent, les entrées de calendrier changent, les enregistrements des bases de connaissances sont mis à jour, et des preuves apparaissent dans des images, des PDF scannés, des fichiers audio, vidéo et des feuilles de calcul. Les benchmarks existants n'évaluent pas adéquatement ce contexte car ils s'exécutent généralement dans un épisode statique unique et restent largement centrés sur le texte. Nous présentons , un benchmark pour les agents collaborateurs construit autour de tâches multi-tours et multi-jours, d'un environnement de services sandboxé avec état dont l'état évolue entre les tours, et d'une vérification basée sur des règles. La version actuelle contient 100 tâches couvrant 13 scénarios professionnels, exécutées contre cinq services sandboxés avec état (système de fichiers, e-mail, calendrier, base de connaissances, tableur) et notées par 1537 vérificateurs Python déterministes sur l'état des services après exécution ; aucun LLM-comme-juge n'est invoqué pendant la notation. Nous évaluons sept systèmes d'agents de pointe. Le modèle le plus performant atteint un score pondéré de 75,8 %, mais le meilleur taux de Réussite Stricte des Tâches n'est que de 20,0 %, indiquant que les progrès partiels sont courants tandis que l'exécution complète de bout en bout des flux de travail reste rare. L'analyse au niveau du tour montre que les performances chutent après la première mise à jour exogène de l'environnement, soulignant que l'adaptation à un état changeant est un défi ouvert clé. Nous publions le benchmark, son harness d'évaluation et son pipeline de construction pour soutenir une évaluation reproductible des agents collaborateurs.
Les grands modèles de langage ont tendance à produire des hallucinations sous forme d'énoncés factuellement incorrects. Une source majeure de ces erreurs réside dans l'exposition à de nouvelles informations factuelles lors du réglage fin supervisé (SFT), qui peut amplifier les hallucinations concernant les connaissances acquises pendant le pré-entraînement. Dans ce travail, nous explorons si les hallucinations induites par le SFT peuvent être atténuées à l'aide d'outils établis issus de la littérature sur l'apprentissage continu, puisqu'elles surviennent comme sous-produit de la dégradation des connaissances pendant l'entraînement. Nous proposons une méthode de SFT par auto-distillation qui facilite l'apprentissage factuel efficace tout en minimisant les hallucinations relatives aux connaissances préexistantes, via la régularisation de la dérive de la distribution de sortie. Nous montrons également que, dans des contextes où l'acquisition de nouvelles connaissances n'est pas nécessaire, supprimer la plasticité factuelle en gelant des groupes de paramètres permet de préserver les performances de la tâche tout en réduisant les hallucinations. Enfin, nous étudions le mécanisme sous-jacent aux hallucinations induites par le SFT à travers trois hypothèses : limitations de capacité, clonage comportemental et interférence localisée. Nos expériences démontrent qu'un facteur déterminant est l'interférence entre représentations sémantiques qui se chevauchent, et que l'auto-distillation réussit précisément en atténuant cette interférence.
Les modèles de récompense de processus (PRM) ont obtenu un succès remarquable pour renforcer les capacités de raisonnement des grands modèles de langage (LLM) dans des domaines statiques comme les mathématiques. Cependant, leur potentiel dans les tâches d'analyse de données dynamiques reste sous-exploré. Dans ce travail, nous présentons d'abord une étude empirique révélant que les PRM généralistes peinent à superviser les agents d'analyse de données. Plus précisément, ils échouent à détecter les erreurs silencieuses, des défauts logiques produisant des résultats incorrects sans déclencher d'exceptions d'interpréteur, et pénalisent erronément les actions exploratoires, confondant l'exploration nécessaire par essais et erreurs avec des échecs d'ancrage. Pour combler cette lacune, nous présentons DataPRM, un nouveau modèle génératif de récompense de processus conscient de l'environnement qui (1) peut servir de vérificateur actif, interagissant de manière autonome avec l'environnement pour sonder les états d'exécution intermédiaires et détecter les erreurs silencieuses, et (2) utilise une stratégie de récompense ternaire tenant compte de la réflexion, qui distingue les erreurs d'ancrage corrigeables des fautes irrécupérables. Nous concevons un pipeline évolutif pour construire plus de 8 000 instances d'entraînement de haute qualité pour DataPRM via une génération de trajectoires axée sur la diversité et une annotation au niveau des étapes enrichie par la connaissance. Les résultats expérimentaux démontrent que DataPRM améliore les LLM politiques en aval de 7,21 % sur ScienceAgentBench et de 11,28 % sur DABStep en utilisant l'inférence Best-of-N. Notamment, avec seulement 4 milliards de paramètres, DataPRM surpasse les bases de référence solides et présente une généralisation robuste à travers diverses stratégies de mise à l'échelle au moment du test. De plus, l'intégration de DataPRM dans l'apprentissage par renforcement apporte des gains substantiels par rapport aux bases de référence de récompense basée sur les résultats, atteignant 78,73 % sur DABench et 64,84 % sur TableBench, validant ainsi l'efficacité de la supervision par récompense de processus. Le code est disponible à l'adresse https://github.com/zjunlp/DataMind.
Nous présentons Sapiens2, une famille de modèles transformers haute résolution dédiée à la vision centrée sur l'humain, axée sur la généralisation, la polyvalence et la production de résultats haute fidélité. Nos modèles comportent de 0,4 à 5 milliards de paramètres, avec une résolution native de 1K et des variantes hiérarchiques prenant en charge la 4K. Sapiens2 améliore considérablement son prédécesseur, tant en pré-entraînement qu'en post-formation. Premièrement, pour apprendre des caractéristiques captant les détails de bas niveau (pour la prédiction dense) et la sémantique de haut niveau (pour des contextes zero-shot ou à faible étiquetage), nous combinons la reconstruction d'image masquée avec des objectifs contrastifs auto-distillés. Nos évaluations montrent que cet objectif de pré-entraînement unifié est mieux adapté à un plus large éventail de tâches en aval. Deuxièmement, sur l'axe des données, nous effectuons un pré-entraînement sur un jeu de données curé d'un milliard d'images humaines de haute qualité et améliorons la qualité et la quantité des annotations de tâches. Troisièmement, sur le plan architectural, nous intégrons des avancées de modèles de pointe permettant des cycles d'entraînement plus longs avec une stabilité améliorée. Nos modèles 4K adoptent l'attention fenêtrée pour raisonner sur un contexte spatial plus long et sont pré-entraînés avec une résolution de sortie de 2K. Sapiens2 établit un nouvel état de l'art et améliore la première génération sur la pose (+4 mAP), la segmentation des parties du corps (+24,3 mIoU), l'estimation des normales (erreur angulaire réduite de 45,6 %) et s'étend à de nouvelles tâches telles que l'estimation de cartes de points et d'albédo. Code : https://github.com/facebookresearch/sapiens2
L'évaluation des données est essentielle pour améliorer la transparence et la responsabilité des grands modèles de langage (LLM) et des modèles vision-langage (VLM). Cependant, les méthodes existantes reposent généralement sur des calculs de gradient, ce qui les rend informatiquement prohibitives pour les modèles à milliards de paramètres et empêche toute parallélisation par lots. Dans ce travail, nous présentons For-Value, un cadre d'évaluation des données nécessitant uniquement une passe avant (forward-only), qui permet une estimation efficace et évolutive de la valeur par lots tout en maintenant son efficacité. En exploitant la puissance expressive des LLM/VLM pré-entraînés, nous démontrons théoriquement que l'évaluation des données peut être capturée par l'alignement entre les représentations cachées finales et les erreurs de prédiction au niveau de la dernière couche. Forts de cette intuition, For-Value calcule la valeur des données à l'aide d'une simple expression de forme fermée nécessitant une seule passe avant, éliminant ainsi le besoin de rétropropagation coûteuse et permettant un calcul efficace par lots à grande échelle. Des expériences approfondies montrent que For-Value égal ou surpasse les méthodes de référence basées sur le gradient pour détecter les données influentes et les données mal étiquetées, tout en réalisant des gains d'efficacité significatifs.
Les agents de modèles de langage ont rapidement évolué, passant de générateurs de texte statiques à des systèmes dynamiques capables d'exécuter des flux de travail autonomes complexes. Pour améliorer leur fiabilité, les architectures multi-agents attribuant des rôles spécialisés sont de plus en plus adoptées afin de permettre l'auto-réflexion et l'audit mutuel. Bien que ce jeu de rôles exploite efficacement les connaissances d'experts du domaine, nous constatons qu'il induit simultanément un biais cognitif semblable à celui des humains, connu sous le nom d'asymétrie acteur-observateur (AOA). Plus précisément, un agent agissant en tant qu'acteur (pendant l'auto-réflexion) a tendance à attribuer les échecs à des facteurs externes, tandis qu'un observateur (pendant l'audit mutuel) attribue les mêmes erreurs à des défauts internes. Nous quantifions ce phénomène à l'aide de notre nouveau benchmark d'échecs ambigus, qui révèle que le simple fait d'échanger les perspectives déclenche l'effet AOA dans plus de 20 % des cas pour la plupart des modèles. Pour maîtriser ce biais, nous présentons ReTAS (Raisonnement par Thèse-Antithèse-Synthèse), un modèle entraîné par alignement dialectique pour imposer un raisonnement invariant à la perspective. En intégrant une chaîne de pensée dialectique à l'optimisation de politique relative au groupe, ReTAS guide les agents à synthétiser des points de vue conflictuels en un consensus objectif. Les expériences démontrent que ReTAS atténue efficacement l'incohérence attributionnelle et améliore significativement les taux de résolution des défauts dans des scénarios ambigus.
Les grands modèles de langage (LLM) sont de plus en plus déployés en tant qu'agents interactifs pour les clients, mais l'évaluation de leur fiabilité reste difficile en raison d'interactions stochastiques et multi-tours. Les protocoles d'évaluation actuels reposent sur des déroulements linéaires de Monte Carlo de conversations complètes agent-utilisateur pour estimer la réussite. Cependant, cette approche est informatiquement inefficace, régénérant à répétition des préfixes initiaux identiques, et échoue souvent à détecter des modes d'échec profonds résultant de comportements utilisateurs rares. Nous présentons DIVERT (Évaluation par Induction de Diversité via Branchement de Trajectoires), un cadre de simulation utilisateur efficace, basé sur des instantanés et guidé par la couverture, pour l'exploration systématique des interactions agent-utilisateur. DIVERT capture l'état complet agent-environnement aux points de décision critiques et reprend l'exécution à partir de ces instantanés, permettant la réutilisation des préfixes de conversation partagés et réduisant les calculs redondants. À partir de chaque jonction, le framework opère un branchement en utilisant des réponses utilisateur ciblées, induisant la diversité, permettant ainsi une exploration dirigée des chemins d'interaction alternatifs. En concentrant l'évaluation sur des trajectoires sémantiquement diversifiées et sous-explorées, DIVERT améliore à la fois l'efficacité et la couverture. Les résultats empiriques montrent qu'il découvre plus de défaillances par token comparé aux protocoles de déroulement linéaire standards, tout en élargissant l'ensemble des tâches pour lesquelles des échecs sont identifiés.
La détection de limites de plans (SBD) vise à identifier automatiquement les changements de plans et à diviser une vidéo en plans cohérents. Bien que la SBD ait été largement étudiée dans la littérature, les méthodes état de l'art existantes produisent souvent des limites non interprétables sur les transitions, manquent des discontinuités subtiles mais préjudiciables, et reposent sur des annotations bruitées et peu diversifiées ainsi que sur des benchmarks obsolètes. Pour pallier ces limitations, nous proposons OmniShotCut, qui formule la SBD comme une prédiction relationnelle structurée, en estimant conjointement les intervalles de plans avec des relations intra-plan et inter-plans, grâce à un Transformer vidéo dense basé sur des requêtes de plan. Pour éviter un étiquetage manuel imprécis, nous adoptons un pipeline de synthèse de transitions entièrement synthétique qui reproduit automatiquement les principales familles de transitions avec des limites précises et des variants paramétrés. Nous introduisons également OmniShotCutBench, un benchmark moderne à large domaine permettant une évaluation holistique et diagnostique.
Les modèles de langage de grande taille (LLM) restent vulnérables aux attaques de contournement basées sur l'optimisation qui exploitent la structure interne du gradient. Bien que les autoencodeurs épars (SAE) soient largement utilisés pour l'interprétabilité, leurs implications en matière de robustesse demeurent peu explorées. Nous présentons une étude sur l'intégration de SAE pré-entraînés dans les flux résiduels des transformers au moment de l'inférence, sans modifier les poids du modèle ni bloquer les gradients. Sur quatre familles de modèles (Gemma, LLaMA, Mistral, Qwen) et avec deux attaques en boîte blanche robustes (GCG, BEAST) plus trois benchmarks en boîte noire, les modèles augmentés par SAE atteignent une réduction jusqu'à 5 fois du taux de réussite des contournements par rapport à la ligne de base non défendue et réduisent la transférabilité des attaques entre modèles. Des ablations paramétriques révèlent (i) une relation dose-réponse monotone entre la parcimonie L0 et le taux de réussite des attaques, et (ii) un compromis défense-utilité dépendant de la couche, où les couches intermédiaires équilibrent robustesse et performance nominale. Ces résultats sont cohérents avec l'hypothèse du goulot d'étranglement représentationnel : la projection parcimonieuse remodelerait la géométrie d'optimisation exploitée par les attaques de contournement.
L'édition d'image contrôlable par caméra vise à synthétiser de nouvelles vues d'une scène donnée sous différentes poses de caméra, tout en préservant strictement la cohérence géométrique inter-vues. Cependant, les méthodes existantes reposent généralement sur des guidages géométriques fragmentés, comme l'injection de nuages de points uniquement au niveau de la représentation, bien que les modèles contiennent plusieurs niveaux, et sont principalement basées sur des modèles de diffusion d'image qui opèrent sur des mappages de vues discrets. Ces deux limitations conduisent conjointement à une dérive géométrique et une dégradation structurelle sous un mouvement continu de la caméra. Nous observons que si l'exploitation de modèles vidéo fournit des a priori de point de vue continus pour l'édition d'image contrôlable par caméra, ils peinent encore à former une compréhension géométrique stable si le guidage géométrique reste fragmenté. Pour résoudre ce problème systématiquement, nous injectons un guidage géométrique unifié à travers trois niveaux qui déterminent conjointement la sortie générative : la représentation, l'architecture et la fonction de perte. À cette fin, nous proposons UniGeo, un nouveau cadre d'édition contrôlable par caméra. Plus précisément, au niveau de la représentation, UniGeo intègre un mécanisme d'injection de référence géométrique à trames découplées pour fournir un contexte géométrique inter-vues robuste. Au niveau de l'architecture, il introduit une attention d'ancrage géométrique pour aligner les caractéristiques multi-vues. Au niveau de la fonction de perte, il propose une stratégie de supervision géométrique par points de trajectoire pour renforcer explicitement la fidélité structurelle des vues cibles. Des expériences approfondies sur plusieurs benchmarks publics, couvrant à la fois des paramètres de mouvement de caméra étendus et limités, démontrent qu'UniGeo surpasse significativement les méthodes existantes tant en qualité visuelle qu'en cohérence géométrique.
L'OCR de documents existant cible principalement le texte brut ou Markdown, abandonnant les propriétés structurelles et exécutables qui rendent LaTeX essentiel pour l'édition scientifique. Nous étudions la reconstruction au niveau de la page des PDF scientifiques en LaTeX compilable et présentons TexOCR-Bench, un benchmark, et TexOCR-Train, un corpus d'entraînement à grande échelle, pour cette tâche. TexOCR-Bench intègre une suite d'évaluation multidimensionnelle qui évalue conjointement la fidélité de la transcription, la justesse structurelle et la capacité de compilation de bout en bout. En tirant parti de TexOCR-Train, nous entraînons un modèle de 2 milliards de paramètres, TexOCR, en utilisant le fine-tuning supervisé (SFT) et l'apprentissage par renforcement (RL) avec des récompenses vérifiables dérivées de tests unitaires LaTeX qui appliquent directement la compilabilité et l'intégrité référentielle. Les expériences menées sur 21 modèles de pointe avec TexOCR-Bench montrent que les systèmes existants violent fréquemment des invariants documentaires clés, incluant la structure cohérente des sections, le placement correct des flottants et les liens valides entre labels et références, ce qui compromet la fiabilité de la compilation et l'utilité en aval. Notre analyse révèle en outre que le RL avec des récompenses vérifiables apporte des améliorations constantes par rapport au SFT seul, particulièrement sur les métriques structurelles et de compilation.
Les modèles de conception assistée par ordinateur (CAO) sont définis par leur historique de construction : une recette paramétrique qui encode l'intention de conception. Cependant, les grands ensembles de données 3D existants sont principalement constitués de représentations par frontières (B-Rep) ou de maillages, éliminant ainsi ces informations procédurales cruciales. Pour remédier à cette pénurie, nous présentons Zero-to-CAD, un cadre évolutif pour la synthèse de séquences de construction CAO exécutables. Nous formulons la synthèse comme un problème de recherche agentique : en intégrant un grand modèle de langage (LLM) dans un environnement CAO piloté par rétroaction, notre système génère, exécute et valide itérativement du code en utilisant des outils et une consultation de documentation pour promouvoir la validité géométrique et la diversité des opérations. Cette approche agentique permet de synthétiser environ un million de séquences CAO exécutables, lisibles et modifiables, couvrant un vocabulaire riche d'opérations au-delà des workflows d'esquisse et d'extrusion. Nous publions également un sous-ensemble trié de 100 000 modèles de haute qualité sélectionnés pour leur diversité géométrique. Pour démontrer l'utilité de l'ensemble de données, nous affinons un modèle vision-langage sur nos données synthétiques pour reconstruire des programmes CAO modifiables à partir d'images multi-vues, surpassant des bases de référence solides, y compris GPT-5.2, et amorçant efficacement les capacités de génération de séquences sans données d'entraînement réelles sur l'historique de construction. Zero-to-CAD comble le fossé entre l'échelle géométrique et l'interprétabilité paramétrique, offrant une ressource vitale pour la prochaine génération d'IA pour la CAO.
Nous mesurons la valeur d'une récurrence supplémentaire pour un modèle de langage à boucle (récurrent en profondeur), en paramètres uniques équivalents. À partir d'un balayage iso-profondeur de 116 entraînements préalables pour des nombres de récurrence r dans {1, 2, 4, 8}, couvrant un facteur ~50 en calcul d'entraînement, nous ajustons une loi d'échelle conjointe L = E + A.(N_once + r^φ N_rec)^{-α} + B.D^{-β} et obtenons un nouvel exposant d'équivalence-récurrence φ = 0,46. Intuitivement, φ nous indique si le fait de boucler un bloc r fois est équivalent en perte de validation à r blocs uniques d'un modèle non bouclé (équivalence totale, φ=1) ou à un seul bloc exécuté répétitivement sans gain de capacité (φ=0). Notre φ=0,46 se situe entre les deux, donc chaque récurrence supplémentaire augmente de manière prévisible la perte de validation à calcul d'entraînement égal. Par exemple, à r=4, un modèle bouclé de 410M performe de manière équivalente à un modèle non bouclé de 580M, mais supporte le coût d'entraînement d'un modèle non bouclé de 1Md. Nous démontrons l'utilité de φ comme outil de mesure via deux sondes. La rétropropagation tronquée abaisse φ à 0,38, indiquant que le mécanisme de boucle est mal entraîné sous troncature, même si la perte de validation diminue. Inversement, les hyperconnexions augmentent φ à 0,65, ce qui représente un gain de capacité authentique. Notre méthode s'applique à tout modèle de langage bouclé et distingue les véritables améliorations apportées par la boucle des gains liés au budget de tokens.
L'optimisation du débit des modèles de langage de type transformer nécessite la mise en cache des paires Clé-Valeur (KVs) pour éviter les calculs redondants lors de la génération auto-régressive. L'empreinte mémoire de la mise en cache des KVs est considérable et impacte fortement les coûts de service. Ce travail propose de réduire ces besoins en mémoire. Alors que les travaux récents ont largement abordé la réduction du cache KV via la compression et l'éviction le long de l'axe temporel, nous soutenons que la dimension en profondeur offre une voie d'optimisation orthogonale et robuste. Bien que des recherches antérieures suggèrent qu'un cache complet pour chaque couche est redondant, la mise en œuvre du partage de cache inter-couches reste un défi pratique ; les méthodes existantes souffrent généralement d'une réduction du débit ou d'une augmentation du temps jusqu'au premier token. Dans cet article, nous démontrons que supprimer le cache d'une couche offre une optimisation efficace sans perte d'information. Nous proposons une approche d'entraînement simple : l'attention inter-couches aléatoire. Pendant l'entraînement, les couches choisissent aléatoirement de porter leur attention soit sur leurs propres états KV, soit sur ceux d'une couche précédente. Ce processus stochastique adapte le modèle pour qu'il soit robuste à diverses stratégies de partage de cache en profondeur, garantissant une flexibilité face à des contraintes matérielles inconnues au moment du déploiement. Nos évaluations montrent que l'application de ce schéma lors du pré-entraînement ou du fine-tuning permet le partage de cache en profondeur pour diverses familles de modèles. De plus, pour les modèles plus grands dans des contextes où les données sont limitées, cette approche suggère un effet semblable à une régularisation, préservant ou améliorant fréquemment les performances tout en réduisant significativement l'empreinte mémoire du cache.
Les grands modèles de langage (LLM) obtiennent de solides performances en raisonnement en allouant des calculs substantiels au moment de l'inférence, générant souvent des traces de raisonnement longues et verbeuses. Si les travaux récents sur le raisonnement efficace réduisent cette surcharge via des récompenses basées sur la longueur ou l'élagage, de nombreuses approches sont post-entraînées avec une fenêtre de contexte bien plus courte que lors de l'entraînement du modèle de base, un facteur dont l'effet n'a pas été systématiquement isolé. Nous montrons d'abord que le post-entraînement en contexte court seul, utilisant un GRPO standard sans objectif de longueur, induit déjà une compression substantielle du raisonnement – mais au prix d'une dynamique d'entraînement de plus en plus instable et d'une dégradation de la précision. Pour y remédier, nous proposons la Sélection d'Avantage par Étape (SAS), qui opère au niveau des étapes de raisonnement et attribue un avantage nul aux étapes de faible confiance dans les déroulements corrects et aux étapes de haute confiance dans les déroulements échouant la vérification, où les échecs proviennent souvent de troncation ou de problèmes de vérificateur plutôt que d'un raisonnement incorrect. Sur divers benchmarks de raisonnement mathématique et général, SAS améliore la précision Pass@1 moyenne de 0,86 point par rapport à la base la plus forte consciente de la longueur, tout en réduisant la longueur moyenne du raisonnement de 16,3 %, offrant un meilleur compromis précision-efficacité.
Les utilisateurs naviguant quotidiennement sur le web éprouvent des difficultés à localiser rapidement des informations pertinentes dans des pages encombrées, à accomplir des tâches multi-étapes non familières et à rester concentrés face à des contenus distractifs. Les assistants IA de pointe (par exemple, ChatGPT, Gemini, Claude) et les agents de navigation (par exemple, OpenAI Operator, Browser Use) peuvent répondre à des questions et automatiser des actions, mais ils renvoient des réponses sans indiquer l'origine des informations sur la page, contraignant les utilisateurs à vérifier manuellement les résultats et à faire aveuglément confiance à chaque étape automatisée. Nous présentons PageGuide, une extension de navigateur qui ancre les réponses des LLM directement dans le DOM HTML via des superpositions visuelles, répondant à trois besoins utilisateurs fondamentaux : (a) Trouver - localiser et mettre en évidence les preuves pertinentes in-situ pour que les utilisateurs puissent vérifier instantanément les réponses sur la page ; (b) Guider - afficher des instructions étape par étape (par exemple, comment changer un mot de passe) une à une pour que les utilisateurs puissent suivre et exécuter les actions eux-mêmes ; et (c) Masquer - occulter les contenus distractifs en donnant à l'utilisateur la possibilité de décider de masquer ou non un élément. Dans une étude utilisateur (N=94), PageGuide surpasse la navigation non assistée dans tous les modes : la précision de Masquer s'améliore de 26 points de pourcentage (gain relatif de 86,7 %) et le temps d'exécution des tâches chute de 70 % ; le taux de réussite de Guider augmente de 30 points de pourcentage ; et Trouver réduit l'effort de recherche manuelle, avec une utilisation de Ctrl+F qui diminue de 80 % et un temps de tâche réduit de 19 %. Le code et la démonstration sont disponibles sur : pageguide.github.io.
Comprendre l'environnement est fondamental pour la conduite autonome et la perception robotique. Distinguer les classes connues des objets non vus auparavant est crucial dans des environnements réels, comme le fait la segmentation d'anomalies. Cependant, la recherche dans le domaine 3D reste limitée, la plupart des approches existantes appliquant des techniques de post-traitement issues de la vision 2D. Pour combler ce manque, nous proposons une nouvelle approche efficace qui opère directement dans l'espace des caractéristiques, en modélisant la distribution des caractéristiques des classes inliers pour contraindre les échantillons anomaliques. De plus, le seul jeu de données public de segmentation d'anomalies 3D par LiDAR contient des scénarios simples, avec peu d'instances anomaliques, et présente un écart de domaine important dû à la résolution de son capteur. Pour combler cet écart, nous introduisons un ensemble de jeux de données mixtes réel-synthétique pour la segmentation d'anomalies 3D par LiDAR, construits à partir de benchmarks établis en segmentation sémantique, comprenant de multiples objets hors distribution et des environnements divers et complexes. Des expériences approfondies démontrent que notre approche obtient des résultats à l'état de l'art et compétitifs respectivement sur le jeu de données réel existant et sur les nouveaux jeux de données mixtes, validant ainsi l'efficacité de notre méthode et l'utilité des jeux de données proposés. Le code et les jeux de données sont disponibles à l'adresse https://simom0.github.io/lido-page/.
Les pipelines de traitement intelligent de documents extraient des entités structurées (tableaux, images et texte) des documents pour une utilisation dans des systèmes en aval tels que les bases de connaissances, la génération augmentée par la récupération et l'analytique. Une limitation persistante des pipelines existants est que la sortie de l'extraction est produite sans aucun mécanisme intrinsèque pour vérifier si elle représente fidèlement la source. Les scores de confiance internes aux modèles mesurent la certitude de l'inférence, et non la correspondance avec le document, et les erreurs d'extraction passent silencieusement aux consommateurs en aval. Nous présentons Reconstruction as Validation (RaV-IDP), un pipeline de traitement de documents qui introduit la reconstruction comme une composante architecturale de premier ordre. Après l'extraction de chaque entité, un reconstructeur dédié restitue la représentation extraite sous une forme comparable à la région originale du document, et un comparateur évalue la fidélité entre la reconstruction et le recadrage source non modifié. Ce score de fidélité constitue un signal de qualité ancré et sans étiquette. Lorsque la fidélité tombe en dessous d'un seuil défini par type d'entité, une procédure de secours structurée utilisant GPT-4.1 Vision est déclenchée et la boucle de validation se répète. Nous imposons une contrainte d'amorçage : le comparateur s'ancre toujours sur la région originale du document, jamais sur l'extraction, empêchant ainsi la validation de devenir circulaire. Nous proposons en outre un cadre d'évaluation par phase associant chaque composant du pipeline à un benchmark approprié. Le code du pipeline est publiquement disponible à l'adresse https://github.com/pritesh-2711/RaV-IDP pour l'expérimentation et l'utilisation.
L'évaluation de la qualité des images faciales (FIQA) vise à estimer l'utilité des échantillons de visage pour la reconnaissance et est essentielle pour des systèmes de reconnaissance faciale (FR) fiables. Les approches existantes nécessitent des procédures coûteuses en calcul, telles que de multiples passes avant, la rétropropagation ou un entraînement supplémentaire, et seuls des travaux récents se sont concentrés sur l'utilisation de Vision Transformers. Des études récentes ont souligné que ces architectures fonctionnent intrinsèquement comme des apprenants de saillance, leurs motifs d'attention encodant naturellement l'importance spatiale. Ce travail propose ATTN-FIQA, une nouvelle approche sans entraînement qui étudie si les scores d'attention pré-softmax issus de modèles de reconnaissance faciale pré-entraînés basés sur Vision Transformer peuvent servir d'indicateurs de qualité. Nous émettons l'hypothèse que les magnitudes d'attention encodent intrinsèquement la qualité : les images de haute qualité avec des traits faciaux discriminants permettent des alignements requête-clé solides produisant des motifs d'attention focalisés et de forte magnitude, tandis que les images dégradées génèrent des motifs diffus et de faible magnitude. ATTN-FIQA extrait les matrices d'attention pré-softmax du bloc transformeur final, agrège l'information d'attention multi-têtes sur tous les patches, et calcule des scores de qualité au niveau de l'image par une simple moyenne, ne nécessitant qu'une seule passe avant dans des modèles pré-entraînés sans modification architecturale, rétropropagation ou entraînement supplémentaire. Grâce à une évaluation exhaustive sur huit bases de données de référence et quatre modèles de FR, ce travail démontre que les scores de qualité basés sur l'attention corrèlent efficacement avec la qualité des images faciales et offrent une interprétabilité spatiale, révélant quelles régions faciales contribuent le plus à la détermination de la qualité.
L'évaluation des modèles d'IA générative devient de plus en plus coûteuse en ressources en raison d'inférences lentes, d'évaluateurs humains onéreux et d'un paysage de modèles et de benchmarks en croissance rapide. Nous proposons ProEval, un cadre d'évaluation proactive qui exploite l'apprentissage par transfert pour estimer efficacement les performances et identifier les cas d'échec. ProEval utilise des processus gaussiens (PG) pré-entraînés comme substituts de la fonction de score de performance, cartographiant les entrées du modèle vers des métriques telles que la gravité des erreurs ou des violations de sécurité. En formulant l'estimation des performances comme une quadrature bayésienne (QB) et la découverte des échecs comme un échantillonnage d'ensemble de superniveau, nous développons des stratégies de décision prenant en compte l'incertitude, qui sélectionnent ou synthétisent activement des entrées très informatives pour les tests. Théoriquement, nous prouvons que notre estimateur de QB basé sur des PG pré-entraînés est non biaisé et borné. Empiriquement, des expériences approfondies sur des benchmarks de raisonnement, d'alignement de la sécurité et de classification démontrent que ProEval est nettement plus efficace que les bases de comparaison compétitives. Il nécessite 8 à 65 fois moins d'échantillons pour obtenir des estimations à moins de 1% de la vérité terrain, tout en révélant simultanément des cas d'échec plus diversifiés sous un budget d'évaluation plus strict.
Les agents de grands modèles de langage peuvent-ils découvrir des objectifs de sécurité cachés par la seule expérience ? Nous présentons EPO-Safe (Optimisation Expérientielle des Invites pour des Agents Sûrs), un cadre dans lequel un LLM génère itérativement des plans d'action, reçoit des avertissements de danger binaires et épars, et fait évoluer une spécification comportementale en langage naturel par la réflexion. Contrairement aux méthodes standards de réflexion des LLM qui s'appuient sur des retours textuels riches (par exemple, des erreurs de compilation ou des réponses environnementales détaillées), EPO-Safe démontre que les LLM peuvent raisonner sur la sécurité à partir d'un signal strictement appauvri dans des environnements structurés et de faible dimension : l'agent n'observe jamais la fonction de performance cachée R*, mais seulement un bit par pas de temps indiquant qu'une action était dangereuse. Nous évaluons le cadre sur cinq AI Safety Gridworlds (Leike et al., 2017) et cinq scénarios analogues basés sur le texte où la récompense visible R peut diverger de R*. EPO-Safe découvre un comportement sûr en 1 à 2 rounds (5 à 15 épisodes), produisant des spécifications lisibles par un humain avec des hypothèses explicatives correctes sur les dangers (par exemple, "Les cellules X sont dangereuses directionnellement : y entrer par le nord est risqué"). Fait crucial, nous montrons que la réflexion standard axée sur la récompense dégrade activement la sécurité : les agents réfléchissant uniquement à la récompense utilisent la boucle pour justifier et accélérer le détournement de récompense, prouvant que la réflexion doit être couplée à un canal de sécurité dédié pour découvrir les contraintes cachées. Nous évaluons également la robustesse aux oracles bruités : même lorsque 50 % des étapes non dangereuses produisent des avertissements fallacieux, la performance de sécurité moyenne ne se dégrade que de 15 % en moyenne, bien que la sensibilité dépende de l'environnement, car la réflexion inter-épisodes filtre naturellement les signaux incohérents. Chaque spécification évoluée fonctionne comme un ensemble auditable de règles comportementales ancrées, découvertes de manière autonome par l'interaction, plutôt que rédigées par des humains comme dans l'IA Constitutionnelle (Bai et al., 2022).
Les modèles vision-langage-action (VLA) présentent un grand potentiel pour développer des robots généralistes, mais se heurtent à un dilemme : le désalignement entre la prédiction d'images 2D et la prévision d'actions 3D. De plus, cette approche d'entraînement entremêlant vision et action limite l'apprentissage à partir de données vidéo web à grande échelle dépourvues d'annotations action. Pour résoudre ces problèmes, nous proposons DeFI, un nouveau cadre qui Découple le pré-entraînement des dynamiques visuelles Directes et Inverses pour exploiter leurs sources de données respectives, où la génération vidéo et la prédiction d'actions sont dissociées. Nous introduisons le Modèle de Dynamique Directe Général (GFDM), pré-entraîné sur des vidéos diverses d'humains et de robots pour la prédiction future, et le Modèle de Dynamique Inverse Général (GIDM), entraîné via un apprentissage auto-supervisé pour inférer des actions latentes à partir de transitions vidéo non étiquetées. Ces modèles sont ensuite intégrés dans une architecture unifiée pour un réglage fin de bout en bout sur des tâches en aval. Ainsi, GFDM et GIDM excellent d'abord séparément puis coopèrent pour un bénéfice mutuel. Des expériences approfondies sur CALVIN ABC-D et SimplerEnv démontrent des performances à la pointe de l'état de l'art, DeFI atteignant une longueur de tâche moyenne de 4,51 pour CALVIN, un taux de réussite de 51,2 % sur le benchmark SimplerEnv-Fractal et 81,3 % en déploiement réel, surpassant significativement les méthodes antérieures.
Les systèmes de récupération de tableaux basés sur Transformer aplatissent les tableaux structurés en séquences de tokens, rendant la récupération sensible au choix de la sérialisation même lorsque la sémantique du tableau reste inchangée. Nous montrons que des sérialisations sémantiquement équivalentes, telles que csv, tsv, html, markdown et ddl, peuvent produire des embeddings et des résultats de récupération substantiellement différents sur plusieurs benchmarks et familles de récupérateurs. Pour remédier à cette instabilité, nous traitons l'embedding de sérialisation comme des vues bruitées d'un signal sémantique partagé et utilisons son centroïde comme représentation cible canonique. Nous montrons que la moyenne des centroïdes supprime la variation spécifique au format et peut restituer le contenu sémantique commun à différentes sérialisations lorsque les décalages induits par le format diffèrent entre les tableaux. Empiriquement, les représentations par centroïde surpassent les formats individuels dans des comparaisons par paires agrégées sur MPNet, BGE-M3, ReasonIR et SPLADE. Nous introduisons en outre un adaptateur à goulot d'étranglement résiduel léger au-dessus d'un encodeur figé qui mappe les embeddings à sérialisation unique vers des cibles centroïdes tout en préservant la variance et en appliquant une régularisation de covariance. L'adaptateur améliore la robustesse pour plusieurs récupérateurs denses, bien que les gains dépendent du modèle et soient plus faibles pour la récupération lexicale éparse. Ces résultats identifient la sensibilité à la sérialisation comme une source majeure de variance dans la récupération et montrent le potentiel de la correction géométrique a posteriori pour une récupération de tableaux invariante à la sérialisation. Notre code, jeux de données et modèles sont disponibles à l'adresse https://github.com/KBhandari11/Centroid-Aligned-Table-Retrieval.
Les environnements de maintenance industrielle s'appuient de plus en plus sur des systèmes d'IA pour aider les opérateurs à comprendre le comportement des actifs, à diagnostiquer les défaillances et à évaluer les interventions. Bien que les grands modèles de langage (LLM) permettent une interaction fluide en langage naturel, les assistants de maintenance déployés produisent systématiquement des explications génériques faiblement ancrées dans la télémétrie, omettent la traçabilité vérifiable et n'offrent aucun support testable pour le raisonnement contrefactuel ou orienté action, ce qui sape la confiance dans les contextes critiques pour la sécurité. Nous présentons IndustryAssetEQA, un système d'intelligence opérationnelle neuro-symbolique qui combine des représentations épisodiques de télémétrie avec un graphe de connaissances d'analyse des modes de défaillance, de leurs effets et de leur criticité (AMDEC-KG) pour permettre le questionnement incarné (EQA) sur les actifs industriels. Nous évaluons notre système sur quatre jeux de données couvrant quatre types d'actifs industriels, notamment des machines tournantes, des turbofans, des systèmes hydrauliques et des systèmes de production cyber-physiques. Par rapport aux approches basées uniquement sur des LLM, IndustryAssetEQA amène une amélioration allant jusqu'à 0,51 pour la validité structurelle, jusqu'à 0,47 pour la précision contrefactuelle et de 0,64 pour l'implication explicative, tout en réduisant les affirmations excessives graves évaluées par des experts de 28 % à 2 % (soit une réduction d'environ 93 %). Le code, les jeux de données et l'AMDEC-KG sont disponibles à l'adresse https://github.com/IBM/AssetOpsBench/tree/IndustryAssetEQA/IndustryAssetEQA.
Les récents progrès en apprentissage par renforcement avec récompenses vérifiables (RLVR) ont considérablement amélioré la capacité de raisonnement complexe des modèles vision-langage (VLM). Cependant, leur supervision au niveau des résultats est trop grossière pour diagnostiquer et corriger les erreurs au sein de la chaîne de raisonnement. À cette fin, nous proposons Perceval, un modèle de récompense de processus (PRM) qui permet un ancrage des erreurs au niveau des tokens, capable d'extraire les affirmations liées à l'image depuis la réponse et de les comparer une à une avec les preuves visuelles de l'image, pour finalement retourner les affirmations contenant des erreurs perceptives. Perceval est entraîné avec des données d'apprentissage supervisé intensives en perception. Nous intégrons ensuite Perceval dans le processus d'entraînement par RL pour entraîner les modèles de politique. Concrètement, par rapport au GRPO traditionnel qui applique des avantages au niveau de la séquence, nous appliquons des avantages au niveau des tokens en ciblant des pénalités sur les segments hallucinés identifiés par Perceval, permettant ainsi des signaux de supervision à granularité fine. En plus d'augmenter le processus d'entraînement, Perceval peut également assister les VLM durant la phase d'inférence. En utilisant Perceval, nous pouvons tronquer les parties erronées de la réponse du modèle, puis soit faire régénérer la réponse directement par le modèle, soit amener le modèle à réfléchir à sa sortie précédente. Ce processus peut être répété plusieurs fois pour réaliser un scaling au moment du test. Les expériences montrent des améliorations significatives sur des benchmarks de divers domaines pour plusieurs VLM de raisonnement entraînés par RL, soulignant le potentiel de la supervision centrée sur la perception comme stratégie universelle. Pour le scaling durant les tests, cela démontre également des gains de performance constants par rapport à d'autres stratégies, comme le vote majoritaire. Notre code et nos données seront publiquement disponibles à l'adresse https://github.com/RUCAIBox/Perceval.
L'évaluation de la qualité des images faciales est cruciale pour la fiabilité des systèmes de reconnaissance faciale. Pourtant, les approches existantes basées sur les Vision Transformers s'appuient exclusivement sur les représentations de la couche finale, ignorant les informations pertinentes pour la qualité capturées aux profondeurs intermédiaires du réseau. Cet article présente la première investigation exhaustive de la contribution des représentations intermédiaires des ViTs à l'évaluation de la qualité faciale via des mécanismes de sortie anticipée et des stratégies de fusion de scores. Nous analysons systématiquement les douze blocs transformateurs des architectures ViT-FIQA, démontrant que différentes profondeurs capturent des informations distinctes et complémentaires liées à la qualité, comme en témoignent les variations des patterns d'attention et des caractéristiques de performance entre les couches du réseau. Nous proposons un cadre de fusion de scores qui combine les prédictions de qualité de plusieurs blocs transformateurs sans modification architecturale ni entraînement supplémentaire. Notre analyse des sorties anticipées révèle des compromis performance-efficacité optimaux, permettant des économies de calcul significatives tout en maintenant des performances compétitives. Grâce à une évaluation approfondie sur huit bases de référence utilisant quatre modèles de reconnaissance faciale, nous démontrons que notre stratégie de fusion surpasse les approches à sortie unique. Notre approche de fusion de qualité propose une moyenne pondérée par la profondeur qui attribue une importance progressivement plus élevée aux blocs transformateurs plus profonds, atteignant ainsi les meilleures performances d'évaluation de la qualité en exploitant efficacement la nature hiérarchique de l'apprentissage des caractéristiques dans les ViTs. Notre travail remet en cause l'idée conventionnelle selon laquelle seules les caractéristiques profondes comptent pour l'analyse faciale, révélant que les représentations intermédiaires contiennent des informations précieuses pour l'évaluation de la qualité. Le cadre proposé offre des avantages pratiques pour les systèmes biométriques en conditions réelles en permettant un calcul adaptatif basé sur les contraintes de ressources tout en maintenant des capacités d'évaluation de la qualité compétitives.
Nous démontrons un avantage des noyaux quantiques en simulation sans bruit pour la classification binaire en assurance santé sur des radiographies thoraciques MIMIC-CXR, en utilisant des machines à vecteurs de support quantiques (QSVM) avec des embeddings figés issus de trois modèles fondationnels médicaux (MedSigLIP-448, RAD-DINO, ViT-patch32). Nous proposons un cadre de comparaison équitable à deux niveaux dans lequel les deux classifieurs reçoivent des caractéristiques PCA-q identiques. Au Niveau 1 (QSVM non ajusté vs. SVM linéaire non ajusté, C = 1 des deux côtés), le QSVM remporte le F1 de la classe minoritaire dans les 18 configurations testées (17 avec p < 0,001, 1 avec p < 0,01). Le noyau linéaire classique s'effondre vers une prédiction de la classe majoritaire sur 90 à 100 % des initialisations pour chaque nombre de qubits, tandis que le QSVM maintient un rappel non trivial. À q = 11 (centre du plateau MedSigLIP-448), le QSVM atteint un F1 moyen = 0,343 contre un F1 classique = 0,050 (gain F1 = +0,293, p < 0,001) sans réglage des hyperparamètres. Sous le Niveau 2 (QSVM non ajusté vs. SVM à noyau RBF avec C ajusté), le QSVM remporte les sept configurations testées (gain moyen +0,068, max +0,112). L'analyse du spectre propre révèle que le rang effectif du noyau quantique atteint 69,80 à q = 11, dépassant largement le rang du noyau linéaire, tandis que l'effondrement classique reste invariant à C. Une exploration complète des qubits révèle un début de concentration dépendant de l'architecture pour tous les modèles. Code : https://github.com/sebasmos/qml-medimage
Les modèles à goulot d'étranglement conceptuel (CBM) prédisent via des concepts interprétables par l'homme, mais ils produisent typiquement des probabilités conceptuelles ponctuelles qui confondent l'incertitude épistémique (sous-spécification réductible du modèle) avec l'incertitude aléatoire (ambiguïté irréductible de l'entrée). Cela rend l'incertitude au niveau conceptuel difficile à interpréter et, plus important encore, difficile à exploiter. Nous présentons CREDENCE (Credal Ensemble Concept Estimation), un cadre CBM qui décompose l'incertitude conceptuelle par construction. CREDENCE représente chaque concept comme une prédiction crédale (un intervalle de probabilité), dérive l'incertitude épistémique du désaccord entre différentes têtes conceptuelles, et estime l'incertitude aléatoire via une sortie d'ambiguïté dédiée entraînée à correspondre au désaccord des annotateurs lorsque disponible. Les signaux résultants soutiennent des décisions prescriptives : automatiser les cas à faible incertitude, prioriser la collecte de données pour les cas à forte incertitude épistémique, acheminer les cas à forte incertitude aléatoire vers une revue humaine, et s'abstenir lorsque les deux sont élevées. Sur plusieurs tâches, nous montrons que l'incertitude épistémique est positivement associée aux erreurs de prédiction, tandis que l'incertitude aléatoire suit étroitement le désaccord des annotateurs, fournissant une guidance au-delà de la corrélation d'erreur. Notre implémentation est disponible à l'adresse suivante : https://github.com/Tankiit/Credal_Sets/tree/ensemble-credal-cbm
Les modèles de langage de grande taille (LLM) sont de plus en plus déployés dans des applications basées sur des personnalités, telles que l'éducation, le service client et les plateformes sociales, où les modèles sont incités à adopter des personnalités spécifiques lors des interactions avec les utilisateurs. Bien que le conditionnement par persona puisse améliorer l'expérience utilisateur et l'engagement, il soulève également des inquiétudes quant à la manière dont les indices de personnalité peuvent interagir avec les biais de genre et les stéréotypes. Dans cette étude, nous présentons une analyse contrôlée de la génération de récits conditionnés par des personas en anglais et en hindi, où chaque histoire met en scène un professionnel actif en Inde produisant des artefacts contextuels (par exemple, des plans de cours, des rapports, des lettres) en faisant systématiquement varier le genre de la persona, le rôle professionnel et les traits de personnalité issus des cadres HEXACO et de la Triade sombre. Sur 23 400 récits générés par six LLM de pointe, nous constatons que les traits de personnalité sont significativement associés à l'ampleur et à la direction du biais de genre. En particulier, les traits de personnalité de la Triade sombre sont systématiquement associés à des représentations plus stéréotypées en termes de genre que les traits socialement désirables d'HEXACO, bien que ces associations varient selon les modèles et les langues. Nos résultats démontrent que le biais de genre dans les LLM n'est pas statique mais dépend du contexte. Cela suggère que les systèmes conditionnés par des personas utilisés dans des applications réelles peuvent introduire des préjudices représentationnels inégaux, renforçant les stéréotypes de genre dans le contenu éducatif, professionnel ou social généré.