ResearchStudio-Idea: Обоснованный доказательствами комплекс навыков генерации исследовательских идей на основе результатов конференций по машинному обучению

Аннотация

Большие языковые модели сделали генерацию исследовательских идей всё более доступной, однако эффективная разработка идей требует не только создания возможных направлений. Исследователи должны обосновать проблему в контексте современной литературы, выявить значимые узкие места, отличить своё решение от существующих и оценить риски, прежде чем приступать к реализации. Мы представляем ResearchStudio-Idea как многократно используемый набор навыков для этого первого этапа исследовательской идеации. В состав набора входят: Paper-Search — автономный навык поиска литературы по нескольким источникам; Scoop-Check — автономный навык проверки на пересечения с предшествующими работами для обоснования новизны; и IdeaSpark — сквозной навык, объединяющий в единый рабочий процесс обоснование на основе данных, генерацию с использованием шаблонов, поиск коллизий, аудит и визуализацию карточек идей. IdeaSpark создан на основе корпуса из 1 947 статей конференций по машинному обучению, собранных с ICLR, ICML и NeurIPS за 2021–2025 годы, включая устные доклады, отдельно отслеживаемую подвыборку с высоким уровнем цитирования и отклонённые заявки. Анализ этих результатов выявил 31 повторяющийся подпаттерн идеации, объединённый в 15 многократно используемых паттернов идеации. Каждый паттерн реализован в виде структурированной карточки, содержащей исследовательские контексты, типы узких мест, стратегии дифференциации, подтверждающие прецеденты и типичные сценарии отказов. Задав исследовательскую проблему и набор данных, IdeaSpark оценивает готовность данных, реконструирует окружающий исследовательский контекст, выявляет нерешённые узкие места, выбирает подходящие паттерны, создаёт одно из возможных направлений, выполняет поиск потенциально конфликтующих предыдущих работ и проводит аудит на основе результатов. Этот рабочий процесс превращает многократно используемые паттерны идеации в прослеживаемые исследовательские предложения. Результаты слепых оценок с помощью автоматического судьи показывают, что IdeaSpark последовательно создаёт более сильные исследовательские предложения по сравнению с базовыми показателями без навыков и с общими навыками, сохраняя при этом конкурентоспособную новизну.

English

Large language models have made research ideation increasingly accessible, yet effective idea development requires more than generating candidate directions. Researchers must ground a problem in current literature, identify meaningful bottlenecks, differentiate from existing solutions, and evaluate risks before committing to implementation. We present ResearchStudio-Idea as a reusable skill suite for this first mile of research ideation. The suite includes Paper-Search, a standalone multi-source literature search skill; Scoop-Check, a standalone prior-art collision checker for novelty claims; and IdeaSpark, the end-to-end skill that composes evidence grounding, pattern-guided generation, collision retrieval, audit, and idea-card rendering into one workflow. IdeaSpark is constructed from a corpus of 1,947 machine learning conference papers collected from ICLR, ICML, and NeurIPS between 2021 and 2025, including Oral papers, a separately tracked high-citation subset, and rejected submissions. Analysis of these outcomes reveals 31 recurring ideation sub-patterns, consolidated into 15 reusable ideation patterns. Each pattern is operationalized as a structured card containing research contexts, bottleneck types, differentiation strategies, supporting precedents, and common failure modes. Given a research problem and an evidence bundle, IdeaSpark evaluates evidence readiness, reconstructs the surrounding research context, identifies unresolved bottlenecks, selects relevant patterns, instantiates one candidate direction, retrieves potentially conflicting prior work, and performs outcome-informed auditing. This workflow transforms reusable ideation patterns into traceable research proposals. Blind automated-judge evaluations show that IdeaSpark consistently produces stronger research proposals than no-skill and generic-skill baselines while maintaining competitive novelty.