OpenBioRQ: Questions de recherche biomédicale non résolues pour agents

Résumé

Une citation fonctionnelle semble constituer une preuve – mais le fait qu’un lien pointe vers une ressource accessible ne signifie pas que l’article cité étaye l’affirmation. Je constate que les modèles agentiques actuels fabriquent rarement des citations (plus de 99 % pointent vers des ressources accessibles), mais environ 15,9 % d’entre elles renvoient au mauvais article. Les référentiels existants ne détectent pas ce mode de défaillance : lorsqu’une question dispose d’une grille de réponses fixes, un modèle peut reproduire la source attendue à partir de cette grille plutôt que de vérifier indépendamment que la source soutient bien l’affirmation. Je présente \openbiorq{}, un référentiel agentique fondé sur la recherche documentaire, comprenant 12 553 questions de recherche biomédicale non résolues dans 12 domaines, qui utilise les questions ouvertes comme sonde de fidélité et d’abstention. À ma connaissance, il s’agit du premier référentiel biomédical à combiner un cadre agentique – où le modèle doit émettre plusieurs appels d’outils – avec des questions non résolues ne possédant pas de grille de réponses. Le caractère ouvert est vérifié par rapport à des preuves de suivi réelles plutôt que par la connaissance paramétrique du modèle. La difficulté est empirique : je l’ancre sur les questions que trois modèles de référence à poids ouverts ne parviennent pas à résoudre, plutôt que sur des étiquettes de difficulté subjectives. Sur ce sous‑ensemble le plus difficile, les modèles issus de la même lignée que les ancres de difficulté ne résolvent qu’environ 17 % des questions, tandis que trois agents de pointe indépendants (Gemini‑3‑Pro, Opus‑4.7, GPT‑5.5) affichent une large fourchette de 29 à 60 %. Le référentiel est donc difficile, non saturant (le meilleur agent laisse encore environ 33–40 % de questions non résolues) et discriminant selon les niveaux de capacité. Au‑delà de la difficulté, j’observe un effondrement agentique sur les questions les plus ardues : les agents cessent d’utiliser leurs outils. Pour le modèle le plus sujet à cet effondrement, bloquer totalement l’accès aux outils modifie à peine son score – autrement dit, les outils cessent d’être rentables précisément là où ils sont le plus nécessaires. Une liste de vérification figée par question fait passer l’accord inter‑juges de 0,35 (Spearman) à 0,82.

English

A working citation looks like proof -- but the fact that a link resolves does not mean the cited paper supports the claim. I find that current agentic models rarely fabricate citations (over 99% resolve), yet roughly 15.9% link to the wrong paper. Existing benchmarks miss this failure mode: when a question has a fixed answer key, a model can reproduce the expected source from that key rather than independently verifying that the source supports the claim. I introduce \openbiorq{}, a retrieval-grounded agentic benchmark of 12{,}553 unsolved biomedical research questions across 12 domains that treats open questions as a faithfulness-and-abstention probe. To my knowledge, this is the first biomedical benchmark to combine an agentic setting -- where the model must issue multiple tool calls -- with unsolved questions that have no answer key. Openness is verified against real follow-up evidence rather than a model's parametric knowledge. Difficulty is empirical: I anchor it on questions that three open-weight reference models fail to answer, rather than on subjective hardness labels. On this hardest subset, held-out models from the same lineage as the difficulty anchors solve only ~17%, while three independent frontier agents (Gemini-3-Pro, Opus-4.7, GPT-5.5) span a wide 29-60% range. The benchmark is thus hard, non-saturating (the best agent still leaves ~33-40\% unsolved), and discriminating across capability tiers. Beyond difficulty, I observe agentic collapse on the hardest questions, where agents stop using their tools. For the most collapse-prone model, blocking tool access entirely barely changes its score -- so tools stop paying off exactly where they are needed most. A frozen per-question checklist raises inter-judge agreement from Spearman 0.35 to 0.82.