MindZero: Aprendizagem de Raciocínio Mental Online com Zero Anotações

Resumo

Para fornecer assistência eficaz no mundo real, agentes de IA precisam de uma Teoria da Mente (ToM) robusta: inferir estados mentais humanos a partir de seu comportamento. Apesar dos avanços recentes, vários desafios fundamentais persistem, incluindo (1) inferência online com atualizações robustas de incerteza sobre múltiplas hipóteses; (2) raciocínio eficiente adequado para assistência em tempo real; e (3) a falta de anotações de estado mental de referência em domínios do mundo real. Abordamos esses desafios apresentando o MindZero, uma estrutura de aprendizado por reforço autossupervisionado que treina modelos de linguagem grandes multimodais (MLLMs) para raciocínio mental online eficiente e robusto. Durante o treinamento, o modelo é recompensado por gerar hipóteses de estado mental que maximizam a verossimilhança das ações observadas, estimada por um planejador, de forma similar ao raciocínio de ToM baseado em modelo. Esse método elimina, portanto, a necessidade de anotações explícitas de estado mental. Após o treinamento, o MindZero internaliza o raciocínio baseado em modelo em uma inferência rápida de passagem única. Avaliamos o MindZero em comparação com linhas de base em tarefas desafiadoras de raciocínio mental e assistência de IA nos domínios de mundo grade e doméstico. Descobrimos que apenas LLMs são insuficientes; métodos baseados em modelo melhoram a precisão, mas são lentos, custosos e limitados pela capacidade do MLLM base. Em contraste, o MindZero aprimora a capacidade intrínseca de ToM dos MLLMs e supera significativamente os métodos baseados em modelo tanto em precisão quanto em eficiência, demonstrando que o raciocínio mental pode ser efetivamente aprendido como uma habilidade autossupervisionada.

English

Effective real-world assistance requires AI agents with robust Theory of Mind (ToM): inferring human mental states from their behavior. Despite recent advances, several key challenges remain, including (1) online inference with robust uncertainty updates over multiple hypotheses; (2) efficient reasoning suitable for real-time assistance; and (3) the lack of ground-truth mental state annotations in real-world domains. We address these challenges by introducing MindZero, a self-supervised reinforcement learning framework that trains multimodal large language models (MLLMs) for efficient and robust online mental reasoning. During training, the model is rewarded for generating mental state hypotheses that maximize the likelihood of observed actions estimated by a planner, similar to model-based ToM reasoning. This method thus eliminates the need for explicit mental state annotations. After training, MindZero internalizes model-based reasoning into fast single-pass inference. We evaluate MindZero against baselines across challenging mental reasoning and AI assistance tasks in gridworld and household domains. We found that LLMs alone are insufficient; model-based methods improve accuracy but are slow, costly, and limited by backbone MLLM capacity. In contrast, MindZero enhances MLLMs' intrinsic ToM ability and significantly outperforms model-based methods in both accuracy and efficiency, showing that mental reasoning can be effectively learned as a self-supervised skill.