편집 가능한 시각 디자인
Editable Visual Design
September 3, 2026
저자: Junyan Ye, Wei Liu, Dongzhi Jiang, Zichen Wen, HaoDong Li, Zhutao Lv, Jiaxin Lin, Jinhua Yu, Jun He, Zilong Huang, Rui Chen, Weijia Li
cs.AI
초록
확산 기반 모델(예: GPT-Image-2 및 Nano-Banana)은 뛰어난 시각적 표현력을 보여 주지만, 엔드투엔드 생성은 근본적으로 텍스트 오류가 잦고 레이어가 병합된 비트맵을 산출하므로 레이어 단위 후편집이 불가능하다. 반면, 코딩 에이전트(Coding Agent)를 통한 코드 기반 시각 생성은 정밀한 레이아웃 제어와 분리된 레이어를 제공하지만, 전역적 미적 직관이 부족하고 복잡한 시각 자산을 코딩하기 어렵다는 제약을 지닌다.
이 문제를 해결하기 위해, 우리는 코딩 에이전트가 주도하는 Editable Visual Design(편집 가능한 시각 디자인)이라는 새로운 패러다임을 제안한다. VLM(비전-언어 모델)을 요구사항 이해, 작업 계획, 미적 판단을 위한 '창의적 두뇌'로 지정하고, 이미지 생성 모델을 요청 시 독립형 시각 자산을 합성하는 '시각 세계 시뮬레이터'로 활용한다. 에이전트는 '먼저 상상한 뒤 실행한다'는 폐쇄 루프 워크플로 아래에서 개별 자산을 생성하고, 네이티브 HTML/CSS를 작성하며, 시각적 렌더링 피드백에 따라 디자인을 반복적으로 개선한다.
또한, Agent Design Replay는 전문 인간 디자이너와 유사한 창의적 사고 및 추론 궤적을 충실하게 재현한다. 궁극적으로, 이 시스템은 레이어가 분리되고 실제 텍스트를 포함한 편집 가능한 산출물을 제공하여 사용자가 그래픽 사용자 인터페이스에서 직관적인 마우스 드래그와 레이아웃 조정을 수행할 수 있게 한다. 포스터, 인포그래픽 및 기타 시나리오에 대한 검증은 이 패러다임이 정교한 미적 완성도와 프로덕션 수준의 편집 가능성을 성공적으로 함께 달성함을 보여 준다.
English
While diffusion base models such as GPT-Image-2 and Nano-Banana exhibit remarkable visual expressiveness, their end-to-end generation inherently yields flattened bitmaps with error-prone text, precluding layer-wise post-editing. Conversely, code-based visual generation via Coding Agents provides precise layout control and decoupled layers, yet remains constrained by a lack of global aesthetic intuition and the difficulty of coding complex visual assets.
To address this, we propose Editable Visual Design, a new paradigm driven by a Coding Agent. We designate the VLM as the ``creative brain'' for requirement comprehension, task planning, and aesthetic judgment, while utilizing the image generation model as an on-demand ``visual world simulator'' to synthesize standalone visual assets. Operating under an ``imagine first, then act'' closed-loop workflow, the agent generates isolated assets, writes native HTML/CSS, and iteratively refines the design against visual rendering feedback.
Furthermore, Agent Design Replay faithfully reproduces the creative and reasoning trajectory akin to that of professional human designers. Ultimately, the system delivers editable artifacts with decoupled layers and real text, enabling users to perform intuitive mouse dragging and layout adjustments on a graphical user interface. Validations on posters, infographics, and other scenarios show that this paradigm successfully achieves both refined aesthetics and production-grade editability.