Графовое обучение с подкреплением обеспечивает прослеживаемую генерацию научных гипотез посредством концептуальной рекомбинации

Аннотация

Ускорение открытия материалов требует систем ИИ, способных генерировать научно обоснованные гипотезы посредством многошаговых рассуждений, опирающихся на предметную область. Стандартные большие языковые модели часто дают беглые, но слабо прослеживаемые ответы на открытые задачи проектирования материалов, что затрудняет определение того, подкреплены ли окончательные ответы последовательными промежуточными рассуждениями. Мы разрабатываем Graph-PRefLexOR — семейство моделей рассуждений, основанных на графах, дообученных с помощью групповой относительной оптимизации политики (GRPO) для организации рассуждений в явные фазы: исследование механизмов, построение графов, извлечение шаблонов и синтез гипотез. Такая архитектура связывает нейросетевую генерацию языка с символической реляционной структурой, позволяя строить, проверять и повторно использовать причинно-следственные связи. На 100 открытых вопросах из литературы по материаловедению и механике Graph-PRefLexOR показывает улучшение на 40–65% по сравнению с соответствующими базовыми моделями, причем наибольший прирост приходится на прослеживаемость рассуждений. Анализ эмбеддингов демонстрирует более широкое семантическое исследование и примерно в 2–3 раза большее семантическое разнообразие по сравнению с базовыми моделями. Семантический возврат и послойный анализ скрытых состояний также показывают более сильное согласование между структурированными рассуждениями и окончательными ответами. Наконец, расширение графов во время тестирования показывает, что дополнительные вычислительные ресурсы в первую очередь увеличивают рекомбинацию концепций на больших расстояниях в ограниченном семантическом пространстве, а не просто расширяют семантическое покрытие. Эти результаты обосновывают графоориентированное обучение с подкреплением как путь к интерпретируемым системам ИИ для генерации научных гипотез в области проектирования материалов и других научных приложений.

English

Accelerating materials discovery requires AI systems that can generate scientifically valid hypotheses through multi-step, domain-grounded reasoning. Standard large language models often produce fluent but weakly traceable responses to open-ended materials design problems, making it difficult to determine whether final answers are supported by coherent intermediate reasoning. We develop Graph-PRefLexOR, a family of graph-native reasoning models fine-tuned with Group Relative Policy Optimization (GRPO) to organize reasoning into explicit phases for mechanism exploration, graph construction, pattern extraction, and hypothesis synthesis. This design links neural language generation with symbolic relational structure, enabling causal connections to be constructed, inspected, and reused. On 100 open-ended questions from materials science and mechanics literature, Graph-PRefLexOR achieves 40-65% improvements over corresponding base models, with the largest gains in reasoning traceability. Embedding analyses show broader semantic exploration and approximately 2-3 times greater semantic diversity than baselines. Semantic backtracking and layer-wise hidden-state analyses further show stronger alignment between structured reasoning and final answers. Finally, test-time graph expansion reveals that additional compute primarily increases long-range conceptual recombination within a bounded semantic space, rather than simply expanding semantic coverage. These results establish graph-native reinforcement learning as a pathway toward interpretable AI systems for scientific hypothesis generation in materials design and other scientific applications.