Aprendizado por Reforço Nativo em Grafo Possibilita a Geração Rastreável de Hipóteses Científicas através de Recombinação Conceitual

Resumo

Acelerar a descoberta de materiais exige sistemas de IA capazes de gerar hipóteses cientificamente válidas por meio de raciocínio multi-etapas fundamentado no domínio. Modelos de linguagem amplos padrão frequentemente produzem respostas fluentes, mas fracamente rastreáveis para problemas abertos de projeto de materiais, tornando difícil determinar se as respostas finais são sustentadas por raciocínios intermediários coerentes. Desenvolvemos o Graph-PRefLexOR, uma família de modelos de raciocínio nativos em grafos ajustados com Otimização de Política Relativa em Grupo (GRPO) para organizar o raciocínio em fases explícitas de exploração de mecanismos, construção de grafos, extração de padrões e síntese de hipóteses. Esse projeto vincula a geração de linguagem neural à estrutura relacional simbólica, permitindo que conexões causais sejam construídas, inspecionadas e reutilizadas. Em 100 perguntas abertas da literatura de ciência dos materiais e mecânica, o Graph-PRefLexOR alcança melhorias de 40 a 65% em relação aos modelos base correspondentes, com os maiores ganhos na rastreabilidade do raciocínio. Análises de incorporação mostram exploração semântica mais ampla e diversidade semântica aproximadamente 2 a 3 vezes maior que as linhas de base. Análises de retrocesso semântico e de estados ocultos camada por camada revelam ainda um alinhamento mais forte entre o raciocínio estruturado e as respostas finais. Por fim, a expansão de grafos em tempo de teste indica que o poder computacional adicional promove principalmente a recombinação conceitual de longo alcance dentro de um espaço semântico limitado, em vez de simplesmente ampliar a cobertura semântica. Esses resultados estabelecem o aprendizado por reforço nativo em grafos como um caminho para sistemas de IA interpretáveis na geração de hipóteses científicas em projeto de materiais e outras aplicações científicas.

English

Accelerating materials discovery requires AI systems that can generate scientifically valid hypotheses through multi-step, domain-grounded reasoning. Standard large language models often produce fluent but weakly traceable responses to open-ended materials design problems, making it difficult to determine whether final answers are supported by coherent intermediate reasoning. We develop Graph-PRefLexOR, a family of graph-native reasoning models fine-tuned with Group Relative Policy Optimization (GRPO) to organize reasoning into explicit phases for mechanism exploration, graph construction, pattern extraction, and hypothesis synthesis. This design links neural language generation with symbolic relational structure, enabling causal connections to be constructed, inspected, and reused. On 100 open-ended questions from materials science and mechanics literature, Graph-PRefLexOR achieves 40-65% improvements over corresponding base models, with the largest gains in reasoning traceability. Embedding analyses show broader semantic exploration and approximately 2-3 times greater semantic diversity than baselines. Semantic backtracking and layer-wise hidden-state analyses further show stronger alignment between structured reasoning and final answers. Finally, test-time graph expansion reveals that additional compute primarily increases long-range conceptual recombination within a bounded semantic space, rather than simply expanding semantic coverage. These results establish graph-native reinforcement learning as a pathway toward interpretable AI systems for scientific hypothesis generation in materials design and other scientific applications.