Autonome wissenschaftliche Entdeckung durch iterative Meta-Reflexion

Zusammenfassung

Autonome wissenschaftliche Entdeckungssysteme haben das Potenzial, die Forschung zu beschleunigen, indem sie den Prozess der Hypothesengenerierung und -validierung automatisieren. Allerdings arbeiten aktuelle Systeme innerhalb eingeschränkter Suchräume oder erfordern vordefinierte Forschungsfragen, was ihre Fähigkeit zur wirklich offenen Forschung einschränkt. Darüber hinaus fehlt ihnen, obwohl sie Hypothesen iterativ generieren, weitgehend die Fähigkeit, ihre eigenen gesammelten Erkenntnisse explizit zu synthetisieren, um komplexe, miteinander verbundene Phänomene aufzudecken. Wir stellen DiscoPER vor, ein autonomes, auf großen Sprachmodellen basierendes Framework, das offene Forschung betreibt, indem es dynamisch Code generiert und ausführt, um Datensätze ohne vorgegebene Forschungsziele zu untersuchen. Um eine strenge wissenschaftliche Validität zu gewährleisten, muss jeder vorgeschlagene Fund statistischen Tests standhalten. Um die Einschränkungen isolierter Suche zu überwinden, führt unser Framework einen Mechanismus zum Denken zweiter Ordnung ein, der periodisch seine eigenen gesammelten Entdeckungen analysiert. Indem es frühere Entdeckungen als empirische Daten behandelt, identifiziert DiscoPER strukturelle Muster, Verwechslungen und epistemische Lücken und lenkt die Hypothesenforschung aktiv in unerforschte Regionen des Suchraums. Der Suchraum wird durch die Einbeziehung von Werkzeugnutzung weiter erweitert, sodass das System Hypothesen jenseits strukturierter Metadaten erforschen kann, indem es nützliche Informationen aus multimodalen Quellen wie Bildern nahtlos verarbeitet und extrahiert. Bewertet auf iNatDisco, einer neuen multimodalen ökologischen Wissensbenchmark mit auf Muster-Ebene aus begutachteter Literatur gewonnenen Ground-Truth-Daten, findet DiscoPER 8 von 9 bekannten Mustern mit einer Hypothesenstützungsrate von 72,7 % und übertrifft sowohl klassische kausale Entdeckungs- als auch durch große Sprachmodelle gesteuerte Basislinien. Ablationsstudien zeigen, dass DiscoPER mit mehr Daten skaliert und bestätigen die Vorteile der Metareflexion zweiter Ordnung.

English

Autonomous scientific discovery systems offer the potential to accelerate research by automating the process of hypothesis generation and validation. However, current systems operate within constrained search spaces or require predefined research questions, limiting their capacity for true open-ended inquiry. Furthermore, while they generate hypotheses iteratively, they largely lack the ability to explicitly synthesize their own accumulated findings to uncover complex, interconnected phenomena. We introduce DiscoPER, an autonomous large language model-powered framework that conducts open-ended research by dynamically generating and executing code to explore datasets without pre-specified research objectives. To ensure rigorous scientific validity, every proposed discovery must pass statistical testing. To overcome the limitations of isolated search, our framework introduces a second-order reasoning mechanism that periodically analyzes its own accumulated discoveries. By treating prior discoveries as empirical data, DiscoPER identifies structural patterns, confounds, and epistemic gaps, actively redirecting hypothesis exploration toward uncharted regions of the search space. The search space is further expanded by incorporating tool use, enabling the system to explore hypotheses beyond structured metadata by seamlessly processing and extracting useful information from multimodal sources like images. Evaluated on iNatDisco, a new multimodal ecological knowledge benchmark with pattern-level ground truth obtained from peer-reviewed literature, DiscoPER recovers 8 of 9 known patterns with a 72.7% hypothesis support rate, outperforming both classical causal discovery and LLM-guided baselines. Ablations show that DiscoPER scales with more data, and confirms the benefits of second-order meta-reflection.