OpenBioRQ: Ungelöste biomedizinische Forschungsfragen für Agenten

Zusammenfassung

Ein funktionierendes Zitat sieht wie ein Beleg aus – doch die Tatsache, dass ein Link aufgelöst wird, bedeutet nicht, dass die zitierte Arbeit die Behauptung stützt. Ich stelle fest, dass aktuelle agentische Modelle nur selten Zitate erfinden (über 99% lösen sich auf), aber etwa 15,9% verweisen auf die falsche Arbeit. Bestehende Benchmarks übersehen diese Fehlerart: Wenn eine Frage einen festen Lösungsschlüssel hat, kann ein Modell die erwartete Quelle aus diesem Schlüssel reproduzieren, anstatt unabhängig zu überprüfen, ob die Quelle die Behauptung stützt. Ich stelle \openbiorq{} vor, einen retrievalgestützten agentischen Benchmark mit 12.553 ungelösten biomedizinischen Forschungsfragen aus 12 Fachbereichen, der offene Fragen als Sonde für Treue und Enthaltung behandelt. Meines Wissens ist dies der erste biomedizinische Benchmark, der eine agentische Umgebung – in der das Modell mehrere Werkzeugaufrufe tätigen muss – mit ungelösten Fragen ohne Lösungsschlüssel kombiniert. Offenheit wird anhand realer Folgebelege überprüft, nicht anhand des parametrischen Wissens eines Modells. Die Schwierigkeit ist empirisch: Ich verankere sie an Fragen, die drei Referenzmodelle mit offenen Gewichten nicht beantworten können, anstatt auf subjektiven Schwierigkeitskennzeichnungen. Auf dieser schwierigsten Teilmenge lösen zurückgehaltene Modelle derselben Abstammung wie die Schwierigkeitsanker nur etwa 17%, während drei unabhängige Grenzagenten (Gemini-3-Pro, Opus-4.7, GPT-5.5) eine breite Spanne von 29–60% abdecken. Der Benchmark ist somit schwierig, nicht sättigend (der beste Agent lässt immer noch etwa 33–40% ungelöst) und unterscheidet zwischen Leistungsstufen. Über die Schwierigkeit hinaus beobachte ich einen agentischen Zusammenbruch bei den schwierigsten Fragen, bei dem Agenten aufhören, ihre Werkzeuge zu verwenden. Für das am meisten zusammenbruchgefährdete Modell ändert die vollständige Blockierung des Werkzeugzugriffs dessen Punktzahl kaum – Werkzeuge zahlen sich also genau dort nicht mehr aus, wo sie am meisten benötigt werden. Eine eingefrorene, fragenbezogene Checkliste erhöht die Übereinstimmung zwischen Bewertern von Spearman 0,35 auf 0,82.

English

A working citation looks like proof -- but the fact that a link resolves does not mean the cited paper supports the claim. I find that current agentic models rarely fabricate citations (over 99% resolve), yet roughly 15.9% link to the wrong paper. Existing benchmarks miss this failure mode: when a question has a fixed answer key, a model can reproduce the expected source from that key rather than independently verifying that the source supports the claim. I introduce \openbiorq{}, a retrieval-grounded agentic benchmark of 12{,}553 unsolved biomedical research questions across 12 domains that treats open questions as a faithfulness-and-abstention probe. To my knowledge, this is the first biomedical benchmark to combine an agentic setting -- where the model must issue multiple tool calls -- with unsolved questions that have no answer key. Openness is verified against real follow-up evidence rather than a model's parametric knowledge. Difficulty is empirical: I anchor it on questions that three open-weight reference models fail to answer, rather than on subjective hardness labels. On this hardest subset, held-out models from the same lineage as the difficulty anchors solve only ~17%, while three independent frontier agents (Gemini-3-Pro, Opus-4.7, GPT-5.5) span a wide 29-60% range. The benchmark is thus hard, non-saturating (the best agent still leaves ~33-40\% unsolved), and discriminating across capability tiers. Beyond difficulty, I observe agentic collapse on the hardest questions, where agents stop using their tools. For the most collapse-prone model, blocking tool access entirely barely changes its score -- so tools stop paying off exactly where they are needed most. A frozen per-question checklist raises inter-judge agreement from Spearman 0.35 to 0.82.