ResearchStudio-Idea: Eine evidenzgestützte Forschungs-Ideation-Fähigkeitssuite aus ML-Konferenzergebnissen

Zusammenfassung

Große Sprachmodelle haben die Forschungsideenfindung zunehmend zugänglich gemacht, doch eine effektive Ideenentwicklung erfordert mehr als die Generierung von Kandidatenrichtungen. Forscher müssen ein Problem in der aktuellen Literatur verankern, sinnvolle Engpässe identifizieren, sich von bestehenden Lösungen abgrenzen und Risiken bewerten, bevor sie sich für eine Umsetzung entscheiden. Wir stellen ResearchStudio-Idea als eine wiederverwendbare Fähigkeitensuite für diese erste Meile der Forschungsideenfindung vor. Die Suite umfasst Paper-Search, eine eigenständige, multi-quellenbasierte Literaturrecherche-Fähigkeit; Scoop-Check, einen eigenständigen Kollisionsprüfer für bereits vorhandene Arbeiten hinsichtlich Neuheitsbehauptungen; sowie IdeaSpark, die durchgängige Fähigkeit, die Evidenzfundierung, mustergeführte Generierung, Kollisionsabfrage, Prüfung und Ideenkarten-Darstellung in einem Workflow vereint. IdeaSpark wurde auf Basis eines Korpus von 1.947 maschinenlernbezogenen Konferenzbeiträgen aus ICLR, ICML und NeurIPS zwischen 2021 und 2025 erstellt, darunter Oral-Beiträge, eine separat erfasste Teilmenge mit hohen Zitationszahlen sowie abgelehnte Einreichungen. Die Analyse dieser Ergebnisse offenbart 31 wiederkehrende Submuster der Ideenfindung, die zu 15 wiederverwendbaren Ideenfindungsmustern zusammengefasst wurden. Jedes Muster ist als strukturierte Karte operationalisiert, die Forschungskontexte, Engpasstypen, Differenzierungsstrategien, unterstützende Präzedenzfälle und häufige Fehlermodi enthält. Ausgehend von einem Forschungsproblem und einem Evidenzbündel bewertet IdeaSpark die Evidenzbereitschaft, rekonstruiert den umgebenden Forschungskontext, identifiziert ungelöste Engpässe, wählt relevante Muster aus, instanziiert eine Kandidatenrichtung, ruft potenziell widersprüchliche Vorarbeiten ab und führt eine ergebnisinformierte Prüfung durch. Dieser Workflow verwandelt wiederverwendbare Ideenfindungsmuster in nachvollziehbare Forschungsvorschläge. Blinde automatisierte Bewertungen zeigen, dass IdeaSpark konsistent stärkere Forschungsvorschläge als Basislinien ohne Fähigkeit und mit allgemeiner Fähigkeit produziert, während eine wettbewerbsfähige Neuheit erhalten bleibt.

English

Large language models have made research ideation increasingly accessible, yet effective idea development requires more than generating candidate directions. Researchers must ground a problem in current literature, identify meaningful bottlenecks, differentiate from existing solutions, and evaluate risks before committing to implementation. We present ResearchStudio-Idea as a reusable skill suite for this first mile of research ideation. The suite includes Paper-Search, a standalone multi-source literature search skill; Scoop-Check, a standalone prior-art collision checker for novelty claims; and IdeaSpark, the end-to-end skill that composes evidence grounding, pattern-guided generation, collision retrieval, audit, and idea-card rendering into one workflow. IdeaSpark is constructed from a corpus of 1,947 machine learning conference papers collected from ICLR, ICML, and NeurIPS between 2021 and 2025, including Oral papers, a separately tracked high-citation subset, and rejected submissions. Analysis of these outcomes reveals 31 recurring ideation sub-patterns, consolidated into 15 reusable ideation patterns. Each pattern is operationalized as a structured card containing research contexts, bottleneck types, differentiation strategies, supporting precedents, and common failure modes. Given a research problem and an evidence bundle, IdeaSpark evaluates evidence readiness, reconstructs the surrounding research context, identifies unresolved bottlenecks, selects relevant patterns, instantiates one candidate direction, retrieves potentially conflicting prior work, and performs outcome-informed auditing. This workflow transforms reusable ideation patterns into traceable research proposals. Blind automated-judge evaluations show that IdeaSpark consistently produces stronger research proposals than no-skill and generic-skill baselines while maintaining competitive novelty.