自己回帰的画像編集における強化学習の可能性

要旨

幅広い画像編集タスクにおける性能向上を目指し、私たちは3つの戦略を探求しました：教師ありファインチューニング（SFT）、強化学習（RL）、およびChain-of-Thought（CoT）推論です。これらの要素を一貫したフレームワークで研究するため、テキストと視覚的トークンを統一的に処理する自己回帰型マルチモーダルモデルを採用しました。その結果、大規模なマルチモーダルLLM検証器と組み合わせたRLが最も効果的な戦略であることがわかりました。これを受けて、EARL: Editing with Autoregression and RLをリリースしました。これは強力なRLベースの画像編集モデルであり、はるかに少ないトレーニングデータを使用しながらも、強力なベースラインと比較して多様な編集タスクで競争力のある性能を発揮します。したがって、EARLは画像編集における自己回帰型マルチモーダルモデルの最先端を押し進めています。私たちはコード、トレーニングデータ、およびトレーニング済みモデルをhttps://github.com/mair-lab/EARLで公開しています。

English

We explore three strategies to enhance performance on a wide range of image editing tasks: supervised fine-tuning (SFT), reinforcement learning (RL), and Chain-of-Thought (CoT) reasoning. In order to study all these components in one consistent framework, we adopt an autoregressive multimodal model that processes textual and visual tokens in a unified manner. We find RL combined with a large multi-modal LLM verifier to be the most effective of these strategies. As a result, we release EARL: Editing with Autoregression and RL, a strong RL-based image editing model that performs competitively on a diverse range of edits compared to strong baselines, despite using much less training data. Thus, EARL pushes the frontier of autoregressive multimodal models on image editing. We release our code, training data, and trained models at https://github.com/mair-lab/EARL.

自己回帰的画像編集における強化学習の可能性

The Promise of RL for Autoregressive Image Editing

要旨

Support