Autonome wetenschappelijke ontdekking via iteratieve metareflectie

Samenvatting

Autonome systemen voor wetenschappelijke ontdekkingen bieden de mogelijkheid om onderzoek te versnellen door het proces van hypothesegeneratie en -validatie te automatiseren. Huidige systemen opereren echter binnen beperkte zoekruimten of vereisen vooraf gedefinieerde onderzoeksvragen, wat hun vermogen tot werkelijk open-eind onderzoek beperkt. Bovendien, hoewel ze iteratief hypothesen genereren, ontbreekt het hen grotendeels aan het vermogen om hun eigen opgebouwde bevindingen expliciet te synthetiseren om complexe, onderling samenhangende fenomenen te ontdekken. We introduceren DiscoPER, een autonoom raamwerk aangedreven door grote taalmodellen dat open-eind onderzoek uitvoert door dynamisch code te genereren en uit te voeren om datasets te verkennen zonder vooraf gespecificeerde onderzoeksdoelen. Om wetenschappelijke validiteit te waarborgen, moet elke voorgestelde ontdekking statistische toetsing doorstaan. Om de beperkingen van geïsoleerd zoeken te overwinnen, introduceert ons raamwerk een mechanisme voor tweede-orde redenering dat periodiek zijn eigen opgebouwde ontdekkingen analyseert. Door eerdere ontdekkingen als empirische gegevens te behandelen, identificeert DiscoPER structurele patronen, confounders en epistemische hiaten, en stuurt het actief de hypotheseverkenning naar onontgonnen gebieden van de zoekruimte. De zoekruimte wordt verder uitgebreid door het gebruik van tools, waardoor het systeem hypothesen kan verkennen die verder gaan dan gestructureerde metadata, door naadloos nuttige informatie uit multimodale bronnen zoals afbeeldingen te verwerken en te extraheren. Geëvalueerd op iNatDisco, een nieuwe multimodale ecologische kennisbenchmark met patroonniveau grondwaarheid verkregen uit peer-reviewed literatuur, herstelt DiscoPER 8 van de 9 bekende patronen met een hypotheseondersteuningspercentage van 72,7%, en overtreft het zowel klassieke causale ontdekking als door grote taalmodellen geleide baselines. Ablatiestudies tonen aan dat DiscoPER schaalt met meer data en bevestigen de voordelen van tweede-orde metareflectie.

English

Autonomous scientific discovery systems offer the potential to accelerate research by automating the process of hypothesis generation and validation. However, current systems operate within constrained search spaces or require predefined research questions, limiting their capacity for true open-ended inquiry. Furthermore, while they generate hypotheses iteratively, they largely lack the ability to explicitly synthesize their own accumulated findings to uncover complex, interconnected phenomena. We introduce DiscoPER, an autonomous large language model-powered framework that conducts open-ended research by dynamically generating and executing code to explore datasets without pre-specified research objectives. To ensure rigorous scientific validity, every proposed discovery must pass statistical testing. To overcome the limitations of isolated search, our framework introduces a second-order reasoning mechanism that periodically analyzes its own accumulated discoveries. By treating prior discoveries as empirical data, DiscoPER identifies structural patterns, confounds, and epistemic gaps, actively redirecting hypothesis exploration toward uncharted regions of the search space. The search space is further expanded by incorporating tool use, enabling the system to explore hypotheses beyond structured metadata by seamlessly processing and extracting useful information from multimodal sources like images. Evaluated on iNatDisco, a new multimodal ecological knowledge benchmark with pattern-level ground truth obtained from peer-reviewed literature, DiscoPER recovers 8 of 9 known patterns with a 72.7% hypothesis support rate, outperforming both classical causal discovery and LLM-guided baselines. Ablations show that DiscoPER scales with more data, and confirms the benefits of second-order meta-reflection.