Omni-SimpleMem : Découverte Guidée par l'Auto-Recherche d'une Mémoire d'Agent Multimodale Continue
Omni-SimpleMem: Autoresearch-Guided Discovery of Lifelong Multimodal Agent Memory
April 2, 2026
Auteurs: Jiaqi Liu, Zipeng Ling, Shi Qiu, Yanqing Liu, Siwei Han, Peng Xia, Haoqin Tu, Zeyu Zheng, Cihang Xie, Charles Fleming, Mingyu Ding, Huaxiu Yao
cs.AI
Résumé
Les agents IA opèrent de plus en plus sur des horizons temporels étendus, mais leur capacité à retenir, organiser et rappeler des expériences multimodales reste un goulot d'étranglement critique. La construction d'une mémoire efficace tout au long de la vie nécessite de naviguer dans un vaste espace de conception couvrant l'architecture, les stratégies de récupération, l'ingénierie des prompts et les pipelines de données ; cet espace est trop vaste et interconnecté pour être exploré manuellement ou efficacement par l'AutoML traditionnel. Nous déployons un pipeline de recherche autonome pour découvrir Omni-SimpleMem, un cadre de mémoire multimodale unifié pour les agents IA tout au long de la vie. Partant d'une baseline naïve (F1=0.117 sur LoCoMo), le pipeline exécute de manière autonome ~50 expériences sur deux benchmarks, en diagnostiquant les modes de défaillance, proposant des modifications architecturales et corrigeant des bogues dans le pipeline de données, le tout sans intervention humaine dans la boucle interne. Le système résultant atteint l'état de l'art sur les deux benchmarks, améliorant le F1 de +411% sur LoCoMo (0.117 à 0.598) et de +214% sur Mem-Gallery (0.254 à 0.797) par rapport aux configurations initiales. Fait crucial, les découvertes les plus impactantes ne sont pas des ajustements d'hyperparamètres : les corrections de bogues (+175%), les changements architecturaux (+44%) et l'ingénierie des prompts (+188% sur des catégories spécifiques) dépassent individuellement la contribution cumulative de tout réglage d'hyperparamètres, démontrant des capacités fondamentalement hors de portée de l'AutoML traditionnel. Nous fournissons une taxonomie de six types de découvertes et identifions quatre propriétés qui rendent la mémoire multimodale particulièrement adaptée à l'auto-recherche, offrant des orientations pour appliquer des pipelines de recherche autonomes à d'autres domaines de systèmes IA. Le code est disponible à l'adresse https://github.com/aiming-lab/SimpleMem.
English
AI agents increasingly operate over extended time horizons, yet their ability to retain, organize, and recall multimodal experiences remains a critical bottleneck. Building effective lifelong memory requires navigating a vast design space spanning architecture, retrieval strategies, prompt engineering, and data pipelines; this space is too large and interconnected for manual exploration or traditional AutoML to explore effectively. We deploy an autonomous research pipeline to discover Omni-SimpleMem, a unified multimodal memory framework for lifelong AI agents. Starting from a naïve baseline (F1=0.117 on LoCoMo), the pipeline autonomously executes {sim}50 experiments across two benchmarks, diagnosing failure modes, proposing architectural modifications, and repairing data pipeline bugs, all without human intervention in the inner loop. The resulting system achieves state-of-the-art on both benchmarks, improving F1 by +411% on LoCoMo (0.117to0.598) and +214% on Mem-Gallery (0.254to0.797) relative to the initial configurations. Critically, the most impactful discoveries are not hyperparameter adjustments: bug fixes (+175%), architectural changes (+44%), and prompt engineering (+188% on specific categories) each individually exceed the cumulative contribution of all hyperparameter tuning, demonstrating capabilities fundamentally beyond the reach of traditional AutoML. We provide a taxonomy of six discovery types and identify four properties that make multimodal memory particularly suited for autoresearch, offering guidance for applying autonomous research pipelines to other AI system domains. Code is available at this https://github.com/aiming-lab/SimpleMem.