MAPS：ビッグセブン性格理論とソクラテス的指導に基づく マルチエージェントフレームワークによるマルチモーダル科学問題解決

MAPS: A Multi-Agent Framework Based on Big Seven Personality and Socratic Guidance for Multimodal Scientific Problem Solving

March 21, 2025

著者: Jian Zhang, Zhiyuan Wang, Zhangqi Wang, Xinyu Zhang, Fangzhi Xu, Qika Lin, Rui Mao, Erik Cambria, Jun Liu

cs.AI

要旨

マルチモーダル科学問題（MSPs）は、テキストや図表など複数のモダリティを統合する必要がある複雑な課題を含み、人工知能における重要な挑戦となっています。従来の科学問題に対する進展は見られるものの、MSPsには依然として二つの主要な課題が存在します。一つは、科学的問題解決におけるマルチモーダル総合推論の難しさ、もう一つは反省的・再考能力の欠如です。これらの課題に対処するため、我々はBig Seven Personalityとソクラテス的指導に基づくマルチエージェントフレームワーク（MAPS）を提案します。このフレームワークは、フィードバックメカニズムとソクラテス法を活用する7つの異なるエージェントを採用し、MSPsの解決を導きます。最初の課題に対処するため、問題解決プロセスの特定の段階に焦点を当てた4つのエージェントによる段階的解決戦略を提案します。第二の課題に対しては、ソクラテス的質問に着想を得たCriticエージェントを導入し、批判的思考を促し自律学習を刺激します。EMMA、Olympiad、MathVistaデータセットを用いて広範な実験を行い、全てのタスクにおいて現行のSOTAモデルを15.84%上回る有望な結果を得ました。同時に、追加の分析実験により、モデルの進展と汎化能力も検証されています。

English

Multimodal scientific problems (MSPs) involve complex issues that require the integration of multiple modalities, such as text and diagrams, presenting a significant challenge in artificial intelligence. While progress has been made in addressing traditional scientific problems, MSPs still face two primary issues: the challenge of multi-modal comprehensive reasoning in scientific problem-solving and the lack of reflective and rethinking capabilities. To address these issues, we introduce a Multi-Agent framework based on the Big Seven Personality and Socratic guidance (MAPS). This framework employs seven distinct agents that leverage feedback mechanisms and the Socratic method to guide the resolution of MSPs. To tackle the first issue, we propose a progressive four-agent solving strategy, where each agent focuses on a specific stage of the problem-solving process. For the second issue, we introduce a Critic agent, inspired by Socratic questioning, which prompts critical thinking and stimulates autonomous learning. We conduct extensive experiments on the EMMA, Olympiad, and MathVista datasets, achieving promising results that outperform the current SOTA model by 15.84% across all tasks. Meanwhile, the additional analytical experiments also verify the model's progress as well as generalization ability.