HY-WU(1부): 확장 가능한 기능적 신경 메모리 프레임워크 및 텍스트 기반 이미지 편집에서의 구현

HY-WU (Part I): An Extensible Functional Neural Memory Framework and An Instantiation in Text-Guided Image Editing

March 7, 2026

저자: Tencent HY Team

cs.AI

초록

파운데이션 모델은 오프라인 예측 모델에서 장기간 운영될 것으로 기대되는 배포 시스템으로 전환되고 있습니다. 실제 배포 환경에서는 목표가 고정되어 있지 않습니다: 도메인은 변화하고, 사용자 선호도는 진화하며, 모델 출시 후 새로운 작업이 등장합니다. 이로 인해 지속 학습과 즉각적인 개인화는 선택적 기능에서 핵심 아키텍처 요구 사항으로 격상되었습니다. 그러나 대부분의 적응 파이프라인은 여전히 정적 가중치 패러다임을 따릅니다: 학습(또는 어떤 적응 단계) 이후에는 사용자 의도, 도메인, 또는 인스턴스별 제약 조건에 관계없이 추론 시 단일 매개변수 벡터를 실행합니다. 이는 학습되거나 적응된 모델을 매개변수 공간 내의 단일 지점으로 취급하는 것입니다. 이질적이고 지속적으로 진화하는 환경에서는 서로 다른 목표가 매개변수에 대해 분리된 실현 가능 영역을 유도할 수 있으며, 이로 인해 단일 공유 업데이트는 타협, 간섭 또는 과도한 특수화를 강요받습니다. 그 결과, 지속 학습과 개인화는 공유 가중치의 반복적인 덮어쓰기로 구현되는 경우가 많으며, 이전에 학습된 동작의 저하 위험을 초래합니다. 우리는 HY-WU(Weight Unleashing)를 제안합니다. 이는 메모리 중심 적응 프레임워크로, 단일 공유 매개변수 지점을 덮어쓰는 압력에서 적응 부하를 전환합니다. HY-WU는 기능적(연산자 수준) 메모리를 신경망 모듈, 즉 인스턴스 조건에서 실시간으로 가중치 업데이트를 합성하는 생성기로 구현하여 테스트 타임 최적화 없이 인스턴스별 연산자를 생성합니다.

English

Foundation models are transitioning from offline predictors to deployed systems expected to operate over long time horizons. In real deployments, objectives are not fixed: domains drift, user preferences evolve, and new tasks appear after the model has shipped. This elevates continual learning and instant personalization from optional features to core architectural requirements. Yet most adaptation pipelines still follow a static weight paradigm: after training (or after any adaptation step), inference executes a single parameter vector regardless of user intent, domain, or instance-specific constraints. This treats the trained or adapted model as a single point in parameter space. In heterogeneous and continually evolving regimes, distinct objectives can induce separated feasible regions over parameters, forcing any single shared update into compromise, interference, or overspecialization. As a result, continual learning and personalization are often implemented as repeated overwriting of shared weights, risking degradation of previously learned behaviors. We propose HY-WU (Weight Unleashing), a memory-first adaptation framework that shifts adaptation pressure away from overwriting a single shared parameter point. HY-WU implements functional (operator-level) memory as a neural module: a generator that synthesizes weight updates on-the-fly from the instance condition, yielding instance-specific operators without test-time optimization.