Omni-SimpleMem: Autoresearch-gestuurde Ontdekking van Levenslang Multimodaal Agentgeheugen
Omni-SimpleMem: Autoresearch-Guided Discovery of Lifelong Multimodal Agent Memory
April 2, 2026
Auteurs: Jiaqi Liu, Zipeng Ling, Shi Qiu, Yanqing Liu, Siwei Han, Peng Xia, Haoqin Tu, Zeyu Zheng, Cihang Xie, Charles Fleming, Mingyu Ding, Huaxiu Yao
cs.AI
Samenvatting
AI-agenten opereren steeds vaker over langere tijdshorizons, maar hun vermogen om multimodale ervaringen vast te houden, te organiseren en op te roepen blijft een kritieke bottleneck. Het opbouwen van effectief levenslang geheugen vereist navigatie door een uitgebreide ontwerpruimte die architectuur, retrievestrategieën, prompt engineering en datapijplijnen omspant; deze ruimte is te groot en onderling verbonden voor handmatige exploratie of traditionele AutoML om effectief te verkennen. Wij zetten een autonoom onderzoekspijplijn in om Omni-SimpleMem te ontdekken, een uniform multimodaal geheugenkader voor levenslange AI-agenten. Uitgaande van een naïeve baseline (F1=0.117 op LoCoMo) voert de pijplijn autonoom ~50 experimenten uit over twee benchmarks, diagnosticeert faalmodi, stelt architectuurwijzigingen voor en repareert bugs in datapijplijnen, allemaal zonder menselijk ingrijpen in de binnenlus. Het resulterende systeem behaalt state-of-the-art op beide benchmarks, met een F1-verbetering van +411% op LoCoMo (0.117 naar 0.598) en +214% op Mem-Gallery (0.254 naar 0.797) ten opzichte van de initiële configuraties. Cruciaal is dat de meest impactvolle ontdekkingen geen hyperparameteraanpassingen zijn: bugfixes (+175%), architectuurwijzigingen (+44%) en prompt engineering (+188% op specifieke categorieën) overstijgen elk afzonderlijk de cumulatieve bijdrage van alle hyperparameterafstemming, wat vermogens demonstreert die fundamenteel buiten het bereik van traditionele AutoML vallen. Wij presenteren een taxonomie van zes ontdekkingstypen en identificeren vier eigenschappen die multimodaal geheugen bijzonder geschikt maken voor autonoom onderzoek, en bieden zo richtlijnen voor het toepassen van autonome onderzoekspijplijnen op andere AI-systeemdomeinen. Code is beschikbaar op https://github.com/aiming-lab/SimpleMem.
English
AI agents increasingly operate over extended time horizons, yet their ability to retain, organize, and recall multimodal experiences remains a critical bottleneck. Building effective lifelong memory requires navigating a vast design space spanning architecture, retrieval strategies, prompt engineering, and data pipelines; this space is too large and interconnected for manual exploration or traditional AutoML to explore effectively. We deploy an autonomous research pipeline to discover Omni-SimpleMem, a unified multimodal memory framework for lifelong AI agents. Starting from a naïve baseline (F1=0.117 on LoCoMo), the pipeline autonomously executes {sim}50 experiments across two benchmarks, diagnosing failure modes, proposing architectural modifications, and repairing data pipeline bugs, all without human intervention in the inner loop. The resulting system achieves state-of-the-art on both benchmarks, improving F1 by +411% on LoCoMo (0.117to0.598) and +214% on Mem-Gallery (0.254to0.797) relative to the initial configurations. Critically, the most impactful discoveries are not hyperparameter adjustments: bug fixes (+175%), architectural changes (+44%), and prompt engineering (+188% on specific categories) each individually exceed the cumulative contribution of all hyperparameter tuning, demonstrating capabilities fundamentally beyond the reach of traditional AutoML. We provide a taxonomy of six discovery types and identify four properties that make multimodal memory particularly suited for autoresearch, offering guidance for applying autonomous research pipelines to other AI system domains. Code is available at this https://github.com/aiming-lab/SimpleMem.