Spark-to-Paper: 合成可能なスキルとしてのエンドツーエンド研究論文生成

要旨

研究アイデアを論文として完成させるには、テキスト生成だけでは不十分である。システムは文献を検索し、実験を設計・実行し、エビデンスに基づいて主張を修正し、出版に耐える図を作成し、長い生成プロセスを通じて一貫性を維持する必要がある。本稿では、既存のコーディングアシスタント内の13の構成可能なスキルとして実装されたエンドツーエンドの研究論文生成システム「Spark-to-Paper」を紹介する。このシステムは、専用のエージェントプラットフォームやオーケストレーションサービスを必要としない。Spark-to-Paperは、モデルベースの判断と、直接実行・検証できる決定的な操作を分離する。さらに、実験計画を報告から分離することで、結果を観察する前に必要なエビデンスを定義し、測定された成果に応じて原稿の主張を修正する。長い研究プロセスにおける信頼性を高めるため、本システムは決定的な整合性チェックと自己批判を組み合わせ、繰り返し行われる実験が当初の研究目的を拒否し続けるという、自己反駁ループと呼ぶ失敗モードを抑制する。また、Spark-to-Paperは実験結果のプログラムによるプロットと、生成されたメソッド図のコードベースの再構築を通じて、編集可能なベクター図を生成する。8つの管理された研究トピックにおいて、Spark-to-Paperは引用の妥当性99.5%、図の編集可能性96.4%を達成した。制御されたアブレーションでは、捏造の検出率がシングルパスのドラフトで14%だったのが、完全な整合性・レビュースタックにより92%に向上し、敵対的レビューは74%の適合率を達成した。完全なシステムは論文1本あたり11.9Mトークンを使用し、コストは8.1ドル、所要時間は平均3.2時間である。これらの結果は、実験的エビデンスを主張の受け入れ・修正・棄却の中心に据えつつ、エンドツーエンドの研究論文生成が既存のコーディングアシスタント内の軽量で構成可能なワークフローとして実装可能であることを示している。

English

Turning a research idea into a complete paper requires more than text generation: the system must retrieve literature, design and execute experiments, revise claims according to evidence, produce publication-ready figures, and maintain consistency across a long generation process. We present Spark-to-Paper, an end-to-end research paper generation system implemented as thirteen composable skills inside an existing coding assistant, without requiring a separate agent platform or orchestration service. Spark-to-Paper separates model-based judgment from deterministic operations that can be directly executed and checked. It further separates experiment planning from reporting, so that required evidence is specified before results are observed and manuscript claims are revised according to measured outcomes. To improve reliability over long research trajectories, the system combines deterministic integrity checks with self-critique and bounds a failure mode we call the Self-Refutation Loop, in which repeated experiments continue to reject the original research objective. Spark-to-Paper also produces editable vector figures through programmatic plotting for experimental results and code-based reconstruction for generated method diagrams. Across eight controlled research topics, Spark-to-Paper achieves 99.5% citation validity and 96.4% figure editability. A controlled ablation increases fabrication detection from 14% for a single-pass draft to 92% with the full integrity and review stack, while adversarial review achieves 74% precision. The full system uses 11.9M tokens, costs $8.1 per manuscript, and requires 3.2 hours on average. These results show that end-to-end research paper generation can be implemented as a lightweight, composable workflow inside existing coding assistants while keeping experimental evidence central to how claims are accepted, revised, or abandoned.