MentraSuite: Ajuste Posterior de Modelos de Lenguaje a Gran Escala para el Razonamiento y la Evaluación en Salud Mental
MentraSuite: Post-Training Large Language Models for Mental Health Reasoning and Assessment
December 10, 2025
Autores: Mengxi Xiao, Kailai Yang, Pengde Zhao, Enze Zhang, Ziyan Kuang, Zhiwei Liu, Weiguang Han, Shu Liao, Lianting Huang, Jinpeng Hu, Min Peng, Qianqian Xie, Sophia Ananiadou
cs.AI
Resumen
Los trastornos de salud mental afectan a cientos de millones de personas en todo el mundo, y la Web sirve ahora como un medio principal para acceder a apoyo, información y evaluación. Los modelos de lenguaje grandes (LLMs) ofrecen asistencia escalable y accesible, sin embargo, su despliegue en entornos de salud mental sigue siendo arriesgado cuando su razonamiento es incompleto, inconsistente o carece de base. Los LLMs psicológicos existentes enfatizan la comprensión emocional o la recuperación de conocimientos, pero pasan por alto el razonamiento escalonado y clínicamente alineado requerido para la valoración, el diagnóstico, la planificación de intervenciones, la abstracción y la verificación. Para abordar estos problemas, presentamos MentraSuite, un marco unificado para avanzar en el razonamiento confiable en salud mental. Proponemos MentraBench, un benchmark integral que abarca cinco aspectos centrales del razonamiento, seis tareas y 13 conjuntos de datos, evaluando tanto el rendimiento en las tareas como la calidad del razonamiento en cinco dimensiones: concisión, coherencia, evitación de alucinaciones, comprensión de la tarea y consistencia interna. Además, presentamos Mindora, un modelo optimizado mediante un marco híbrido SFT-RL con una recompensa de detección de inconsistencias para imponer un razonamiento fiel y coherente. Para apoyar el entrenamiento, construimos trayectorias de alta calidad utilizando una novedosa estrategia de generación de trayectorias de razonamiento, que filtra estratégicamente muestras difíciles y aplica un proceso de reescritura estructurado y orientado a la coherencia para producir trayectorias concisas, legibles y bien equilibradas. Entre los 20 LLMs evaluados, Mindora logra el rendimiento promedio más alto en MentraBench y muestra actuaciones notables en confiabilidad del razonamiento, demostrando su efectividad para escenarios complejos de salud mental.
English
Mental health disorders affect hundreds of millions globally, and the Web now serves as a primary medium for accessing support, information, and assessment. Large language models (LLMs) offer scalable and accessible assistance, yet their deployment in mental-health settings remains risky when their reasoning is incomplete, inconsistent, or ungrounded. Existing psychological LLMs emphasize emotional understanding or knowledge recall but overlook the step-wise, clinically aligned reasoning required for appraisal, diagnosis, intervention planning, abstraction, and verification. To address these issues, we introduce MentraSuite, a unified framework for advancing reliable mental-health reasoning. We propose MentraBench, a comprehensive benchmark spanning five core reasoning aspects, six tasks, and 13 datasets, evaluating both task performance and reasoning quality across five dimensions: conciseness, coherence, hallucination avoidance, task understanding, and internal consistency. We further present Mindora, a post-trained model optimized through a hybrid SFT-RL framework with an inconsistency-detection reward to enforce faithful and coherent reasoning. To support training, we construct high-quality trajectories using a novel reasoning trajectory generation strategy, that strategically filters difficult samples and applies a structured, consistency-oriented rewriting process to produce concise, readable, and well-balanced trajectories. Across 20 evaluated LLMs, Mindora achieves the highest average performance on MentraBench and shows remarkable performances in reasoning reliability, demonstrating its effectiveness for complex mental-health scenarios.