グラフネイティブ強化学習は、概念再結合を通じて追跡可能な科学的仮説生成を実現する

要旨

材料発見の加速には、多段階かつ領域に根ざした推論を通じて科学的に妥当な仮説を生成できるAIシステムが必要である。標準的な大規模言語モデルは、オープンエンドな材料設計問題に対して流暢だが追跡可能性の低い応答を生成することが多く、最終的な回答が首尾一貫した中間推論によって裏付けられているかどうかを判断することを困難にしている。我々は、Group Relative Policy Optimization（GRPO）を用いて微調整された、グラフネイティブ推論モデルのファミリーであるGraph-PRefLexORを開発した。これにより、推論をメカニズム探索、グラフ構築、パターン抽出、仮説合成という明確なフェーズに整理する。この設計は、ニューラル言語生成と記号的関係構造を結び付け、因果関係の構築、検査、再利用を可能にする。材料科学と力学の文献から得られた100のオープンエンドな質問において、Graph-PRefLexORは対応するベースモデルと比較して40～65%の改善を示し、最大の改善は推論の追跡可能性において見られた。埋め込み分析により、ベースラインと比較してより広範な意味的探索と、約2～3倍の意味的多様性が示された。さらに、意味的バックトラックと層別の隠れ状態分析により、構造化された推論と最終的な回答の間により強い整合性があることが明らかになった。最後に、テスト時グラフ拡張の分析から、計算量の追加は、単に意味的カバレッジを拡大するのではなく、限定された意味空間内での長距離の概念的組み換えを主に増加させることが示された。これらの結果は、材料設計やその他の科学的応用における科学的仮説生成のための解釈可能なAIシステムへの道筋として、グラフネイティブ強化学習を確立するものである。

English

Accelerating materials discovery requires AI systems that can generate scientifically valid hypotheses through multi-step, domain-grounded reasoning. Standard large language models often produce fluent but weakly traceable responses to open-ended materials design problems, making it difficult to determine whether final answers are supported by coherent intermediate reasoning. We develop Graph-PRefLexOR, a family of graph-native reasoning models fine-tuned with Group Relative Policy Optimization (GRPO) to organize reasoning into explicit phases for mechanism exploration, graph construction, pattern extraction, and hypothesis synthesis. This design links neural language generation with symbolic relational structure, enabling causal connections to be constructed, inspected, and reused. On 100 open-ended questions from materials science and mechanics literature, Graph-PRefLexOR achieves 40-65% improvements over corresponding base models, with the largest gains in reasoning traceability. Embedding analyses show broader semantic exploration and approximately 2-3 times greater semantic diversity than baselines. Semantic backtracking and layer-wise hidden-state analyses further show stronger alignment between structured reasoning and final answers. Finally, test-time graph expansion reveals that additional compute primarily increases long-range conceptual recombination within a bounded semantic space, rather than simply expanding semantic coverage. These results establish graph-native reinforcement learning as a pathway toward interpretable AI systems for scientific hypothesis generation in materials design and other scientific applications.