OpenBioRQ: Preguntas de investigación biomédica no resueltas para agentes

Resumen

Una cita funcional parece una prueba, pero el hecho de que un enlace se resuelva no significa que el artículo citado respalde la afirmación. Observo que los modelos agentivos actuales rara vez fabrican citas (más del 99% se resuelven), pero aproximadamente el 15,9% enlazan al artículo incorrecto. Los puntos de referencia existentes pasan por alto este modo de fallo: cuando una pregunta tiene una clave de respuesta fija, un modelo puede reproducir la fuente esperada a partir de esa clave en lugar de verificar de forma independiente que la fuente respalda la afirmación. Presento \openbiorq{}, un punto de referencia agentivo basado en recuperación con 12{,}553 preguntas de investigación biomédica no resueltas en 12 dominios, que trata las preguntas abiertas como una sonda de fidelidad y abstención. Hasta donde sé, este es el primer punto de referencia biomédico que combina un entorno agentivo —donde el modelo debe realizar múltiples llamadas a herramientas— con preguntas no resueltas que no tienen clave de respuesta. La apertura se verifica mediante evidencia de seguimiento real, no mediante el conocimiento paramétrico del modelo. La dificultad es empírica: la anclo en preguntas que tres modelos de referencia de peso abierto no logran responder, en lugar de etiquetas subjetivas de dificultad. En este subconjunto más difícil, los modelos excluidos de la misma línea que los anclajes de dificultad resuelven solo aproximadamente el 17%, mientras que tres agentes fronterizos independientes (Gemini-3-Pro, Opus-4.7, GPT-5.5) abarcan un amplio rango del 29-60%. El punto de referencia es, por tanto, difícil, no saturante (el mejor agente aún deja aproximadamente el 33-40% sin resolver) y discriminatorio entre niveles de capacidad. Más allá de la dificultad, observo un colapso agentivo en las preguntas más difíciles, donde los agentes dejan de usar sus herramientas. Para el modelo más propenso al colapso, bloquear por completo el acceso a las herramientas apenas cambia su puntuación; por lo tanto, las herramientas dejan de ser rentables exactamente donde más se necesitan. Una lista de verificación congelada por pregunta eleva el acuerdo entre jueces de Spearman 0,35 a 0,82.

English

A working citation looks like proof -- but the fact that a link resolves does not mean the cited paper supports the claim. I find that current agentic models rarely fabricate citations (over 99% resolve), yet roughly 15.9% link to the wrong paper. Existing benchmarks miss this failure mode: when a question has a fixed answer key, a model can reproduce the expected source from that key rather than independently verifying that the source supports the claim. I introduce \openbiorq{}, a retrieval-grounded agentic benchmark of 12{,}553 unsolved biomedical research questions across 12 domains that treats open questions as a faithfulness-and-abstention probe. To my knowledge, this is the first biomedical benchmark to combine an agentic setting -- where the model must issue multiple tool calls -- with unsolved questions that have no answer key. Openness is verified against real follow-up evidence rather than a model's parametric knowledge. Difficulty is empirical: I anchor it on questions that three open-weight reference models fail to answer, rather than on subjective hardness labels. On this hardest subset, held-out models from the same lineage as the difficulty anchors solve only ~17%, while three independent frontier agents (Gemini-3-Pro, Opus-4.7, GPT-5.5) span a wide 29-60% range. The benchmark is thus hard, non-saturating (the best agent still leaves ~33-40\% unsolved), and discriminating across capability tiers. Beyond difficulty, I observe agentic collapse on the hardest questions, where agents stop using their tools. For the most collapse-prone model, blocking tool access entirely barely changes its score -- so tools stop paying off exactly where they are needed most. A frozen per-question checklist raises inter-judge agreement from Spearman 0.35 to 0.82.