HY-WU (Partie I) : Un cadre de mémoire neuronale fonctionnelle extensible et son instanciation dans l'édition d'images guidée par texte
HY-WU (Part I): An Extensible Functional Neural Memory Framework and An Instantiation in Text-Guided Image Editing
March 7, 2026
Auteurs: Tencent HY Team
cs.AI
Résumé
Les modèles de fondation évoluent de prédicteurs hors ligne vers des systèmes déployés censés fonctionner sur de longues périodes. Dans les déploiements réels, les objectifs ne sont pas fixes : les domaines dérivent, les préférences des utilisateurs évoluent et de nouvelles tâches apparaissent après la mise en service du modèle. Cela élève l'apprentissage continu et la personnalisation instantanée du statut de fonctionnalités optionnelles à celui d'exigences architecturales fondamentales. Pourtant, la plupart des pipelines d'adaptation suivent encore un paradigme de poids statique : après l'entraînement (ou après toute étape d'adaptation), l'inférence exécute un unique vecteur de paramètres, indépendamment de l'intention de l'utilisateur, du domaine ou des contraintes spécifiques à l'instance. Cela traite le modèle entraîné ou adapté comme un point unique dans l'espace des paramètres. Dans des régimes hétérogènes et en évolution continue, des objectifs distincts peuvent induire des régions faisables séparées sur les paramètres, forçant toute mise à jour partagée unique vers un compromis, des interférences ou une surspécialisation. Par conséquent, l'apprentissage continu et la personnalisation sont souvent implémentés comme un réécriture répétée de poids partagés, risquant la dégradation des comportements précédemment appris. Nous proposons HY-WU (Weight Unleashing), un cadre d'adaptation axé sur la mémoire qui déplace la pression d'adaptation loin du réécriture d'un point de paramètre partagé unique. HY-WU implémente une mémoire fonctionnelle (au niveau opérateur) sous forme de module neuronal : un générateur qui synthétise des mises à jour de poids à la volée à partir de la condition d'instance, produisant des opérateurs spécifiques à l'instance sans optimisation au moment du test.
English
Foundation models are transitioning from offline predictors to deployed systems expected to operate over long time horizons. In real deployments, objectives are not fixed: domains drift, user preferences evolve, and new tasks appear after the model has shipped. This elevates continual learning and instant personalization from optional features to core architectural requirements. Yet most adaptation pipelines still follow a static weight paradigm: after training (or after any adaptation step), inference executes a single parameter vector regardless of user intent, domain, or instance-specific constraints. This treats the trained or adapted model as a single point in parameter space. In heterogeneous and continually evolving regimes, distinct objectives can induce separated feasible regions over parameters, forcing any single shared update into compromise, interference, or overspecialization. As a result, continual learning and personalization are often implemented as repeated overwriting of shared weights, risking degradation of previously learned behaviors. We propose HY-WU (Weight Unleashing), a memory-first adaptation framework that shifts adaptation pressure away from overwriting a single shared parameter point. HY-WU implements functional (operator-level) memory as a neural module: a generator that synthesizes weight updates on-the-fly from the instance condition, yielding instance-specific operators without test-time optimization.