Ideen haben Genome: Benchmarking wissenschaftlicher Abstammungslinien-Argumentation und abstammungslinienbasierter Ideengenerierung

Zusammenfassung

Wissenschaftliche Ideen entstehen selten auf einer leeren Seite. Sie erben Mechanismen, reparieren bekannte Einschränkungen und kombinieren Teile früherer Arbeiten neu, ähnlich wie biologische Genome. Aktuelle Benchmarks sagen noch wenig darüber aus, ob KI-Systeme dieser Vererbungsstruktur folgen können. Wir stellen IdeaGene-Bench (IG-Bench) vor, einen Benchmark für wissenschaftliche Abstammungsanalyse und abstammungsbasierte Ideengenerierung. IG-Bench ist um das IdeaGene-Framework herum aufgebaut: Jede Arbeit oder jeder Vorschlag wird als eine Menge minimaler, typisierter, evidenzbasierter Idea-Genom-Objekte dargestellt, und ein GenomeDiff gleicht diese Objekte ab, um Vererbung, Mutation, Verlust, externen Import und neuartige Insertion unter sechs operationalen evolutionären Dynamiken aufzuzeichnen. Der Benchmark enthält 1.961 goldene Abstammungsspuren, 1.085 kuratierte Idea-Genom-Objekte und 920 paarweise GenomeDiff-Datensätze aus 10 wissenschaftlichen Domänen. Er unterstützt zwei Bewertungen. IG-Exam (42 Aufgabentypen, 1.029 Instanzen) testet die formale Abstammungsanalyse über Idea-Genom-Abstraktion, Vererbungsverfolgung, evolutionäre Schlussfolgerung und Abstammungsverifikation. IG-Arena bewertet die Generierung mit einem abstammungsabhängigen Population-Evolution-Score (PES), der fragt, ob ein Vorschlag als kohärenter Nachkomme einer gegebenen Abstammungspopulation eingefügt werden kann: Er sollte die richtigen Idea-Genom-Objekte erben, sich sinnvoll von nahegelegenen Arbeiten unterscheiden und einen Selektionswert für zukünftige Forschung bieten. Experimente mit 14 LLM-basierten Wissenschaftlern offenbaren einen kompositionellen Engpass. Das stärkste System erreicht nur 27,3% exakte Genauigkeit bei der Abstammungsanalyse, und ein strukturierter Abstammungskontext führt zu einer Umordnung der Systemrankings, anstatt jedem Teilnehmer gleichermaßen zu helfen.

English

Scientific ideas rarely start from a blank page. They inherit mechanisms, repair known limitations, and recombine pieces of earlier work, much like biological genomes. Current benchmarks still say little about whether AI systems can follow this inheritance structure. We present IdeaGene-Bench (IG-Bench), a benchmark for scientific lineage reasoning and lineage-grounded idea generation. IG-Bench is organized around the IdeaGene framework: each paper or proposal is represented as a set of minimal, typed, evidence-grounded Idea Genome objects, and a GenomeDiff aligns these objects to record inheritance, mutation, loss, external import, and novel insertion under six operational evolutionary dynamics. The benchmark contains 1,961 golden lineage traces, 1,085 curated Idea Genome objects, and 920 pairwise GenomeDiff records across 10 scientific domains. It supports two evaluations. IG-Exam (42 task types, 1,029 instances) tests closed-form lineage reasoning across Idea Genome abstraction, inheritance tracing, evolutionary reasoning, and lineage verification. IG-Arena evaluates generation with a lineage-conditioned Population-Evolution Score(PES), asking whether a proposal can be inserted as a coherent descendant of a given lineage population: it should inherit the right Idea Genome objects, vary meaningfully from nearby work, and offer selection value for future research. Experiments on 14 LLM-based scientists expose a compositional bottleneck. The strongest system reaches only 27.3% exact accuracy on lineage reasoning, and structured lineage context reshuffles system rankings rather than helping every participant uniformly.