オムニ・シンプルメム：自律研究に導かれた生涯マルチモーダルエージェントメモリの発見

Omni-SimpleMem: Autoresearch-Guided Discovery of Lifelong Multimodal Agent Memory

April 2, 2026

著者: Jiaqi Liu, Zipeng Ling, Shi Qiu, Yanqing Liu, Siwei Han, Peng Xia, Haoqin Tu, Zeyu Zheng, Cihang Xie, Charles Fleming, Mingyu Ding, Huaxiu Yao

cs.AI

要旨

AIエージェントが長期にわたって動作することが増えているが、マルチモーダルな経験を保持・整理・想起する能力は依然として重大なボトルネックである。効果的な生涯記憶を構築するには、アーキテクチャ、検索戦略、プロンプトエンジニアリング、データパイプラインにまたがる広大な設計空間を適切に選択する必要がある。この空間は広大で相互接続されているため、手動での探索や従来のAutoMLでは効果的に探求することが困難である。我々は、自律的研究パイプラインを展開し、生涯AIエージェントのための統一マルチモーダル記憶フレームワークであるOmni-SimpleMemを発見した。単純なベースライン（LoCoMoベンチマークでF1=0.117）から開始し、このパイプラインは2つのベンチマークで約50件の実験を自律的に実行し、障害モードの診断、アーキテクチャ変更の提案、データパイプラインのバグ修正を、内側のループにおいて人的介入なしで行った。結果として得られたシステムは両ベンチマークで最高性能を達成し、初期設定と比較してLoCoMoではF1を+411%（0.117から0.598へ）、Mem-Galleryでは+214%（0.254から0.797へ）改善した。決定的に、最も影響の大きかった発見はハイパーパラメータ調整ではなかった。バグ修正（+175%）、アーキテクチャ変更（+44%）、プロンプトエンジニアリング（特定カテゴリで+188%）は、それぞれ個別に、全てのハイパーパラメータチューニングの累積的貢献を上回り、従来のAutoMLの範囲を根本的に超える能力を示している。我々は6種類の発見タイプの分類を提供し、マルチモーダル記憶が自律的研究に特に適している4つの特性を特定し、自律的研究パイプラインを他のAIシステム領域に適用するための指針を提供する。コードはhttps://github.com/aiming-lab/SimpleMem で公開されている。

English

AI agents increasingly operate over extended time horizons, yet their ability to retain, organize, and recall multimodal experiences remains a critical bottleneck. Building effective lifelong memory requires navigating a vast design space spanning architecture, retrieval strategies, prompt engineering, and data pipelines; this space is too large and interconnected for manual exploration or traditional AutoML to explore effectively. We deploy an autonomous research pipeline to discover Omni-SimpleMem, a unified multimodal memory framework for lifelong AI agents. Starting from a naïve baseline (F1=0.117 on LoCoMo), the pipeline autonomously executes {sim}50 experiments across two benchmarks, diagnosing failure modes, proposing architectural modifications, and repairing data pipeline bugs, all without human intervention in the inner loop. The resulting system achieves state-of-the-art on both benchmarks, improving F1 by +411% on LoCoMo (0.117to0.598) and +214% on Mem-Gallery (0.254to0.797) relative to the initial configurations. Critically, the most impactful discoveries are not hyperparameter adjustments: bug fixes (+175%), architectural changes (+44%), and prompt engineering (+188% on specific categories) each individually exceed the cumulative contribution of all hyperparameter tuning, demonstrating capabilities fundamentally beyond the reach of traditional AutoML. We provide a taxonomy of six discovery types and identify four properties that make multimodal memory particularly suited for autoresearch, offering guidance for applying autonomous research pipelines to other AI system domains. Code is available at this https://github.com/aiming-lab/SimpleMem.