MentraSuite: Addestramento Post-Allenamento di Grandi Modelli Linguistici per il Ragionamento e la Valutazione in Salute Mentale
MentraSuite: Post-Training Large Language Models for Mental Health Reasoning and Assessment
December 10, 2025
Autori: Mengxi Xiao, Kailai Yang, Pengde Zhao, Enze Zhang, Ziyan Kuang, Zhiwei Liu, Weiguang Han, Shu Liao, Lianting Huang, Jinpeng Hu, Min Peng, Qianqian Xie, Sophia Ananiadou
cs.AI
Abstract
I disturbi della salute mentale colpiscono centinaia di milioni di persone a livello globale, e il Web rappresenta ormai un mezzo primario per accedere a supporto, informazioni e valutazioni. I grandi modelli linguistici (LLM) offrono un'assistenza scalabile e accessibile, ma il loro dispiegamento in contesti di salute mentale rimane rischioso quando il loro ragionamento è incompleto, incoerente o non fondato. Gli attuali LLM psicologici enfatizzano la comprensione emotiva o il richiamo di conoscenze, ma trascurano il ragionamento graduale e clinicamente allineato necessario per la valutazione, la diagnosi, la pianificazione degli interventi, l'astrazione e la verifica. Per affrontare questi problemi, introduciamo MentraSuite, un framework unificato per far progredire un ragionamento affidabile in salute mentale. Proponiamo MentraBench, un benchmark completo che abbraccia cinque aspetti fondamentali del ragionamento, sei compiti e 13 dataset, valutando sia le prestazioni nel compito che la qualità del ragionamento lungo cinque dimensioni: concisione, coerenza, evitamento di allucinazioni, comprensione del compito e coerenza interna. Presentiamo inoltre Mindora, un modello addestrato in post-processing ottimizzato attraverso un framework ibrido SFT-RL con una ricompensa per il rilevamento di incoerenze, per imporre un ragionamento fedele e coerente. Per supportare l'addestramento, costruiamo traiettorie di alta qualità utilizzando una nuova strategia di generazione di traiettorie di ragionamento, che filtra strategicamente i campioni difficili e applica un processo strutturato di riscrittura orientato alla coerenza per produrre traiettorie concise, leggibili e ben bilanciate. Tra i 20 LLM valutati, Mindora raggiunge le prestazioni medie più elevate su MentraBench e mostra risultati notevoli in termini di affidabilità del ragionamento, dimostrando la sua efficacia per scenari complessi di salute mentale.
English
Mental health disorders affect hundreds of millions globally, and the Web now serves as a primary medium for accessing support, information, and assessment. Large language models (LLMs) offer scalable and accessible assistance, yet their deployment in mental-health settings remains risky when their reasoning is incomplete, inconsistent, or ungrounded. Existing psychological LLMs emphasize emotional understanding or knowledge recall but overlook the step-wise, clinically aligned reasoning required for appraisal, diagnosis, intervention planning, abstraction, and verification. To address these issues, we introduce MentraSuite, a unified framework for advancing reliable mental-health reasoning. We propose MentraBench, a comprehensive benchmark spanning five core reasoning aspects, six tasks, and 13 datasets, evaluating both task performance and reasoning quality across five dimensions: conciseness, coherence, hallucination avoidance, task understanding, and internal consistency. We further present Mindora, a post-trained model optimized through a hybrid SFT-RL framework with an inconsistency-detection reward to enforce faithful and coherent reasoning. To support training, we construct high-quality trajectories using a novel reasoning trajectory generation strategy, that strategically filters difficult samples and applies a structured, consistency-oriented rewriting process to produce concise, readable, and well-balanced trajectories. Across 20 evaluated LLMs, Mindora achieves the highest average performance on MentraBench and shows remarkable performances in reasoning reliability, demonstrating its effectiveness for complex mental-health scenarios.