El aprendizaje por refuerzo nativo de grafos permite la generación trazable de hipótesis científicas mediante recombinación conceptual

Resumen

Acelerar el descubrimiento de materiales requiere sistemas de inteligencia artificial capaces de generar hipótesis científicamente válidas mediante un razonamiento estructurado en múltiples pasos y fundamentado en el dominio. Los modelos de lenguaje extenso estándar suelen producir respuestas fluidas pero débilmente trazables ante problemas abiertos de diseño de materiales, lo que dificulta determinar si las respuestas finales están respaldadas por un razonamiento intermedio coherente. Desarrollamos Graph-PRefLexOR, una familia de modelos de razonamiento nativos en grafos, ajustados mediante Optimización de Política Relativa Grupal (GRPO, por sus siglas en inglés) para organizar el razonamiento en fases explícitas de exploración de mecanismos, construcción de grafos, extracción de patrones y síntesis de hipótesis. Este diseño vincula la generación de lenguaje neuronal con la estructura relacional simbólica, permitiendo construir, inspeccionar y reutilizar conexiones causales. En 100 preguntas abiertas extraídas de la literatura en ciencia de materiales y mecánica, Graph-PRefLexOR logra mejoras del 40-65% en comparación con los modelos base correspondientes, con los mayores avances en trazabilidad del razonamiento. Los análisis de embeddings muestran una exploración semántica más amplia y una diversidad semántica aproximadamente 2-3 veces mayor que las líneas base. Los análisis de retroceso semántico y de estados ocultos por capas revelan además una alineación más sólida entre el razonamiento estructurado y las respuestas finales. Finalmente, la expansión del grafo en tiempo de prueba demuestra que el cómputo adicional incrementa principalmente la recombinación conceptual de largo alcance dentro de un espacio semántico acotado, en lugar de simplemente expandir la cobertura semántica. Estos resultados consolidan el aprendizaje por refuerzo nativo en grafos como una vía hacia sistemas de IA interpretables para la generación de hipótesis científicas en el diseño de materiales y otras aplicaciones científicas.

English

Accelerating materials discovery requires AI systems that can generate scientifically valid hypotheses through multi-step, domain-grounded reasoning. Standard large language models often produce fluent but weakly traceable responses to open-ended materials design problems, making it difficult to determine whether final answers are supported by coherent intermediate reasoning. We develop Graph-PRefLexOR, a family of graph-native reasoning models fine-tuned with Group Relative Policy Optimization (GRPO) to organize reasoning into explicit phases for mechanism exploration, graph construction, pattern extraction, and hypothesis synthesis. This design links neural language generation with symbolic relational structure, enabling causal connections to be constructed, inspected, and reused. On 100 open-ended questions from materials science and mechanics literature, Graph-PRefLexOR achieves 40-65% improvements over corresponding base models, with the largest gains in reasoning traceability. Embedding analyses show broader semantic exploration and approximately 2-3 times greater semantic diversity than baselines. Semantic backtracking and layer-wise hidden-state analyses further show stronger alignment between structured reasoning and final answers. Finally, test-time graph expansion reveals that additional compute primarily increases long-range conceptual recombination within a bounded semantic space, rather than simply expanding semantic coverage. These results establish graph-native reinforcement learning as a pathway toward interpretable AI systems for scientific hypothesis generation in materials design and other scientific applications.