MindZero: Online Mentaal Redeneren Leren Zonder Annotaties

Samenvatting

Effectieve ondersteuning in de echte wereld vereist AI-agenten met een robuuste Theory of Mind (ToM): het afleiden van menselijke mentale toestanden uit hun gedrag. Ondanks recente vooruitgang blijven er verschillende belangrijke uitdagingen, waaronder (1) online inferentie met robuuste onzekerheidsupdates over meerdere hypothesen; (2) efficiënt redeneren geschikt voor realtime ondersteuning; en (3) het gebrek aan grondwaarheidsannotaties van mentale toestanden in domeinen in de echte wereld. We pakken deze uitdagingen aan door MindZero te introduceren, een zelfgestuurd versterkend leerkader dat multimodale grote taalmodellen (MLLM's) traint voor efficiënt en robuust online mentaal redeneren. Tijdens de training wordt het model beloond voor het genereren van hypothesen over mentale toestanden die de waarschijnlijkheid maximaliseren van waargenomen acties zoals geschat door een planner, vergelijkbaar met modelgebaseerd ToM-redeneren. Deze methode elimineert daarmee de noodzaak voor expliciete annotaties van mentale toestanden. Na training internaliseert MindZero modelgebaseerd redeneren in snelle inferentie in één enkele doorgang. We evalueren MindZero tegen basislijnen over uitdagende mentale redeneertaken en AI-ondersteuningstaken in gridworld- en huishoudelijke domeinen. We ontdekten dat LLM's alleen onvoldoende zijn; modelgebaseerde methoden verbeteren de nauwkeurigheid, maar zijn traag, duur en beperkt door de capaciteit van het onderliggende MLLM. Daarentegen verbetert MindZero de intrinsieke ToM-vaardigheid van MLLM's en presteert het significant beter dan modelgebaseerde methoden in zowel nauwkeurigheid als efficiëntie, wat aantoont dat mentaal redeneren effectief kan worden aangeleerd als een zelfgestuurde vaardigheid.

English

Effective real-world assistance requires AI agents with robust Theory of Mind (ToM): inferring human mental states from their behavior. Despite recent advances, several key challenges remain, including (1) online inference with robust uncertainty updates over multiple hypotheses; (2) efficient reasoning suitable for real-time assistance; and (3) the lack of ground-truth mental state annotations in real-world domains. We address these challenges by introducing MindZero, a self-supervised reinforcement learning framework that trains multimodal large language models (MLLMs) for efficient and robust online mental reasoning. During training, the model is rewarded for generating mental state hypotheses that maximize the likelihood of observed actions estimated by a planner, similar to model-based ToM reasoning. This method thus eliminates the need for explicit mental state annotations. After training, MindZero internalizes model-based reasoning into fast single-pass inference. We evaluate MindZero against baselines across challenging mental reasoning and AI assistance tasks in gridworld and household domains. We found that LLMs alone are insufficient; model-based methods improve accuracy but are slow, costly, and limited by backbone MLLM capacity. In contrast, MindZero enhances MLLMs' intrinsic ToM ability and significantly outperforms model-based methods in both accuracy and efficiency, showing that mental reasoning can be effectively learned as a self-supervised skill.