미적 정렬이 동화를 부르는 위험: 이미지 생성과 보상 모델이 아름다움 편향과 이데올로기적 ‘검열’을 강화하는 방식

초록

이미지 생성 모델을 일반화된 미적 선호도에 과도하게 정렬하는 것은 사용자 의도와 상충되며, 특히 예술적 또는 비판적 목적으로 '반미적' 결과물을 요청하는 경우에 두드러집니다. 이러한 정렬은 개발자 중심의 가치를 우선시함으로써 사용자 자율성과 미적 다원성을 훼손합니다. 우리는 광범위한 미적 스펙트럼 데이터셋을 구축하고 최첨단 생성 모델 및 보상 모델을 평가하여 이러한 편향을 실험합니다. 연구 결과, 미적 정렬이 된 생성 모델은 종관적으로 아름다운 결과물을 기본값으로 생성하는 경향이 있어 저품질 또는 부정적 이미지 생성 지시를 존중하지 못하는 것으로 나타났습니다. 결정적으로, 보상 모델은 사용자의 명시적 프롬프트와 완벽하게 일치하는 반미적 이미지조차 불이익 처리합니다. 우리는 이미지-이미지 편집 작업과 실제 추상 미술 작품에 대한 평가를 통해 이 체계적 편향을 확인합니다.

English

Over-aligning image generation models to a generalized aesthetic preference conflicts with user intent, particularly when ``anti-aesthetic" outputs are requested for artistic or critical purposes. This adherence prioritizes developer-centered values, compromising user autonomy and aesthetic pluralism. We test this bias by constructing a wide-spectrum aesthetics dataset and evaluating state-of-the-art generation and reward models. We find that aesthetic-aligned generation models frequently default to conventionally beautiful outputs, failing to respect instructions for low-quality or negative imagery. Crucially, reward models penalize anti-aesthetic images even when they perfectly match the explicit user prompt. We confirm this systemic bias through image-to-image editing and evaluation against real abstract artworks.

미적 정렬이 동화를 부르는 위험: 이미지 생성과 보상 모델이 아름다움 편향과 이데올로기적 ‘검열’을 강화하는 방식

Aesthetic Alignment Risks Assimilation: How Image Generation and Reward Models Reinforce Beauty Bias and Ideological "Censorship"

초록

Support