MindZero: Aprendizaje de razonamiento mental en línea con cero anotaciones

Resumen

Para brindar asistencia efectiva en el mundo real, los agentes de inteligencia artificial necesitan una Teoría de la Mente (ToM) robusta: inferir los estados mentales humanos a partir de su comportamiento. A pesar de los avances recientes, persisten varios desafíos clave, entre ellos (1) la inferencia en línea con actualizaciones de incertidumbre robustas sobre múltiples hipótesis; (2) un razonamiento eficiente adecuado para la asistencia en tiempo real; y (3) la falta de anotaciones de estados mentales verdaderas en dominios reales. Abordamos estos desafíos introduciendo MindZero, un marco de aprendizaje por refuerzo autosupervisado que entrena modelos de lenguaje multimodal grandes (MLLMs) para un razonamiento mental en línea eficiente y robusto. Durante el entrenamiento, el modelo es recompensado por generar hipótesis de estados mentales que maximicen la probabilidad de las acciones observadas estimadas por un planificador, de manera similar al razonamiento ToM basado en modelos. Este método elimina así la necesidad de anotaciones explícitas de estados mentales. Tras el entrenamiento, MindZero internaliza el razonamiento basado en modelos en una inferencia rápida de un solo paso. Evaluamos MindZero frente a enfoques de referencia en tareas desafiantes de razonamiento mental y asistencia con IA en dominios de cuadrícula y domésticos. Encontramos que los LLMs por sí solos son insuficientes; los métodos basados en modelos mejoran la precisión pero son lentos, costosos y limitados por la capacidad del MLLM subyacente. En contraste, MindZero mejora la capacidad ToM intrínseca de los MLLM y supera significativamente a los métodos basados en modelos tanto en precisión como en eficiencia, demostrando que el razonamiento mental puede aprenderse efectivamente como una habilidad autosupervisada.

English

Effective real-world assistance requires AI agents with robust Theory of Mind (ToM): inferring human mental states from their behavior. Despite recent advances, several key challenges remain, including (1) online inference with robust uncertainty updates over multiple hypotheses; (2) efficient reasoning suitable for real-time assistance; and (3) the lack of ground-truth mental state annotations in real-world domains. We address these challenges by introducing MindZero, a self-supervised reinforcement learning framework that trains multimodal large language models (MLLMs) for efficient and robust online mental reasoning. During training, the model is rewarded for generating mental state hypotheses that maximize the likelihood of observed actions estimated by a planner, similar to model-based ToM reasoning. This method thus eliminates the need for explicit mental state annotations. After training, MindZero internalizes model-based reasoning into fast single-pass inference. We evaluate MindZero against baselines across challenging mental reasoning and AI assistance tasks in gridworld and household domains. We found that LLMs alone are insufficient; model-based methods improve accuracy but are slow, costly, and limited by backbone MLLM capacity. In contrast, MindZero enhances MLLMs' intrinsic ToM ability and significantly outperforms model-based methods in both accuracy and efficiency, showing that mental reasoning can be effectively learned as a self-supervised skill.