AI研究论文每日精选

每日精选AI研究论文及翻译

ROICtrl：增强视觉生成的实例控制
ROICtrl: Boosting Instance Control for Visual Generation

Nov 27, 2024

Yuchao Gu, Yipin Zhou, Yunfan Ye, Yixin Nie, Licheng Yu, Pingchuan Ma, Kevin Qinghong Lin, Mike Zheng Shou

712

自然语言经常难以准确地将位置和属性信息与多个实例关联起来，这限制了当前基于文本的视觉生成模型仅能处理包含少数主要实例的简单构图。为了解决这一局限性，本研究通过引入区域实例控制来增强扩散模型，其中每个实例由一个边界框和一个自由形式的标题配对控制。该领域的先前方法通常依赖于隐式位置编码或显式注意力蒙版来分离感兴趣的区域（ROIs），从而导致要么注入不准确的坐标，要么计算开销巨大。受目标检测中的ROI-Align启发，我们引入了一个称为ROI-Unpool的互补操作。ROI-Align和ROI-Unpool共同实现了对高分辨率特征图上明确、高效和准确的ROI操作。基于ROI-Unpool，我们提出了ROICtrl，这是一个适配器，可用于预训练的扩散模型，实现精确的区域实例控制。ROICtrl与社区微调的扩散模型兼容，也与现有的基于空间的附加组件（如ControlNet、T2I-Adapter）和基于嵌入的附加组件（如IP-Adapter、ED-LoRA）兼容，将它们的应用扩展到多实例生成。实验证明，ROICtrl在区域实例控制方面表现出优越性能，同时显著降低了计算成本。

交错场景图用于交错文本和图像生成的评估
Interleaved Scene Graph for Interleaved Text-and-Image Generation Assessment

Nov 26, 2024

Dongping Chen, Ruoxi Chen, Shu Pu, Zhaoyi Liu, Yanru Wu, Caixi Chen, Benlin Liu, Yue Huang, Yao Wan, Pan Zhou, Ranjay Krishna

192

许多真实世界用户查询（例如“如何制作蛋炒饭？”）可以从能够生成带有文本步骤和相应图像的响应系统中受益，类似于烹饪书。设计用于生成交错文本和图像的模型在确保这些模态内部和之间的一致性方面面临挑战。为了解决这些挑战，我们提出了ISG，一个用于交错文本和图像生成的全面评估框架。ISG利用场景图结构来捕捉文本和图像块之间的关系，评估响应的四个粒度级别：整体、结构、块级和图像特定。这种多层次评估允许对一致性、连贯性和准确性进行微妙评估，并提供可解释的问答反馈。结合ISG，我们引入了一个基准，ISG-Bench，涵盖了8个类别和21个子类别的1,150个样本。这个基准数据集包括复杂的语言-视觉依赖关系和黄金答案，有效评估模型在视觉中心任务上的表现，如风格转移，这是当前模型面临挑战的领域。使用ISG-Bench，我们展示了最近的统一视觉-语言模型在生成交错内容方面表现不佳。尽管组合方法将独立的语言和图像模型结合在一起在整体水平上比统一模型提高了111%，但它们在块和图像级别的表现仍然不理想。为了促进未来的工作，我们开发了ISG-Agent，一个基线代理，采用“计划-执行-优化”流水线来调用工具，实现了122%的性能提升。

通过频率分解实现保持身份的文本到视频生成
Identity-Preserving Text-to-Video Generation by Frequency Decomposition

Nov 26, 2024

Shenghai Yuan, Jinfa Huang, Xianyi He, Yunyuan Ge, Yujun Shi, Liuhan Chen, Jiebo Luo, Li Yuan

133

保持身份的文本到视频（IPT2V）生成旨在创建具有一致人类身份的高保真度视频。这是视频生成中的重要任务，但对生成模型仍然是一个未解决的问题。本文在两个文献中尚未解决的方向上推动了IPT2V的技术前沿：（1）一个无需繁琐逐案微调的无调谐流程，以及（2）一个频率感知启发式保持身份的DiT控制方案。我们提出了ConsisID，一个无调谐DiT控制的可控IPT2V模型，以保持生成视频中的人类身份一致。受扩散变压器频率分析的先前发现启发，它在频率域中使用身份控制信号，其中面部特征可以分解为低频全局特征和高频固有特征。首先，从低频角度出发，我们引入了一个全局面部提取器，将参考图像和面部关键点编码为潜在空间，生成富含低频信息的特征。然后，将这些特征集成到网络的浅层中，以缓解与DiT相关的训练挑战。其次，从高频角度出发，我们设计了一个局部面部提取器，捕获高频细节并将其注入变压器块，增强模型保持细粒度特征的能力。我们提出了一种分层训练策略，利用频率信息进行身份保持，将普通的预训练视频生成模型转化为IPT2V模型。大量实验证明，我们的频率感知启发式方案为基于DiT的模型提供了最佳控制解决方案。由于这一方案，我们的ConsisID生成了高质量、保持身份的视频，朝着更有效的IPT2V迈出了一大步。

MARVEL-40M+: 多层次视觉阐释用于高保真度文本到3D内容创作
MARVEL-40M+: Multi-Level Visual Elaboration for High-Fidelity Text-to-3D Content Creation

Nov 26, 2024

Sankalp Sinha, Mohammad Sadil Khan, Muhammad Usama, Shino Sam, Didier Stricker, Sk Aziz Ali, Muhammad Zeshan Afzal

214

从文本提示生成高保真度的3D内容仍然是计算机视觉中的一个重要挑战，原因在于现有数据集的规模、多样性和注释深度有限。为了解决这个问题，我们引入了MARVEL-40M+，这是一个包含4000万文本注释的庞大数据集，涵盖了来自七个主要3D数据集的超过890万个3D资产。我们的贡献在于引入了一种新颖的多阶段注释流程，该流程整合了开源预训练的多视图VLMs和LLMs，自动生成从详细（150-200个词）到简洁语义标签（10-20个词）的多层描述。这种结构既支持细粒度的3D重建，又支持快速原型设计。此外，我们将源数据集中的人类元数据纳入我们的注释流程中，以在注释中添加领域特定信息，并减少VLM的幻觉。此外，我们开发了MARVEL-FX3D，一个两阶段的文本到3D流程。我们使用我们的注释对Stable Diffusion进行微调，并使用预训练的图像到3D网络在15秒内生成3D纹理网格。广泛的评估表明，MARVEL-40M+在注释质量和语言多样性方面明显优于现有数据集，GPT-4的胜率为72.41%，人类评估者的胜率为73.40%。

CAT4D：使用多视角视频扩散模型在4D中创造任何事物
CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

Nov 27, 2024

Rundi Wu, Ruiqi Gao, Ben Poole, Alex Trevithick, Changxi Zheng, Jonathan T. Barron, Aleksander Holynski

595

我们提出了CAT4D，一种从单目视频创建4D（动态3D）场景的方法。CAT4D利用在多种数据集上训练的多视角视频扩散模型，实现在任意指定摄像机姿势和时间戳下的新颖视角合成。结合一种新颖的采样方法，该模型可以将单目视频转换为多视角视频，通过优化可变形的3D高斯表示实现稳健的4D重建。我们展示了在新颖视角合成和动态场景重建基准上的竞争性表现，并突出了从真实或生成的视频生成4D场景的创造性能力。请查看我们的项目页面以获取结果和交互式演示：cat-4d.github.io。

大型语言模型驱动的图形用户界面代理：一项调查
Large Language Model-Brained GUI Agents: A Survey

Nov 27, 2024

Chaoyun Zhang, Shilin He, Jiaxu Qian, Bowen Li, Liqun Li, Si Qin, Yu Kang, Minghua Ma, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

323

图形用户界面（GUI）长期以来一直是人机交互的核心，提供了直观且视觉驱动的方式来访问和与数字系统交互。LLM的出现，特别是多模态模型，开启了GUI自动化的新时代。它们在自然语言理解、代码生成和视觉处理方面展现了卓越的能力。这为一代新型LLM大脑GUI代理铺平了道路，能够解释复杂的GUI元素，并根据自然语言指令自主执行动作。这些代理代表了一种范式转变，使用户能够通过简单的对话命令执行复杂的多步任务。它们的应用涵盖了网页导航、移动应用程序交互和桌面自动化，提供了一种变革性的用户体验，彻底改变了个人与软件的互动方式。这一新兴领域正在迅速发展，无论是在研究还是工业界都取得了重大进展。为了系统地理解这一趋势，本文提出了LLM大脑GUI代理的综合调查，探讨了它们的历史演变、核心组件和先进技术。我们探讨了诸如现有GUI代理框架、为训练专门的GUI代理收集和利用数据、为GUI任务开发大型动作模型以及评估指标和基准的研究问题，以评估它们的有效性。此外，我们还研究了由这些代理驱动的新兴应用。通过详细分析，本调查确定了关键的研究空白，并概述了未来该领域的发展路线。通过整合基础知识和最新发展，本研究旨在指导研究人员和从业者克服挑战，释放LLM大脑GUI代理的全部潜力。

扩散自蒸馏用于零样本定制图像生成
Diffusion Self-Distillation for Zero-Shot Customized Image Generation

Nov 27, 2024

Shengqu Cai, Eric Chan, Yunzhi Zhang, Leonidas Guibas, Jiajun Wu, Gordon Wetzstein

166

文本到图像扩散模型产生令人印象深刻的结果，但对于希望精细控制的艺术家来说，这些工具令人沮丧。例如，一个常见的用例是在新颖环境中创建特定实例的图像，即“保持身份生成”。这种情境，以及许多其他任务（例如，重新照明），是图像+文本条件生成模型的自然选择。然而，目前缺乏高质量的配对数据来直接训练这样的模型。我们提出了扩散自蒸馏，这是一种利用预训练的文本到图像模型为文本条件的图像到图像任务生成自己数据集的方法。我们首先利用文本到图像扩散模型的上下文生成能力创建图像网格，并借助视觉语言模型的帮助筛选出一个大型配对数据集。然后，我们通过使用筛选后的配对数据集对文本到图像模型进行微调，将其转变为文本+图像到图像模型。我们证明，扩散自蒸馏在一系列保持身份生成任务中优于现有的零次调优方法，并且在不需要测试时优化的情况下，与每个实例调优技术竞争力相当。

3D凸壳点渲染：使用3D平滑凸壳的辐射场渲染
3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

Nov 22, 2024

Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

165

最近在辐射场重建方面取得的进展，如3D高斯飞溅（3DGS），通过用高斯基元的组合表示场景，实现了高质量的新视角合成和快速渲染。然而，3D高斯存在一些限制用于场景重建。在不显著增加高斯数量的情况下准确捕捉硬边缘是具有挑战性的，这会导致较大的内存占用。此外，它们难以表示平坦表面，因为它们在空间中扩散。没有手工制作的正则化器，它们往往会在实际表面周围不规则地分散。为了规避这些问题，我们引入了一种名为3D凸飞溅（3DCS）的新方法，它利用3D光滑凸体作为基元，从多视图图像中建模几何意义的辐射场。光滑凸形状比高斯更灵活，可以更好地表示具有硬边缘和密集体积的3D场景，使用更少的基元。借助我们高效的基于CUDA的光栅化器，3DCS在Mip-NeRF360、坦克与庙宇和深度混合等基准测试中比3DGS表现出更优异的性能。具体而言，我们的方法在PSNR上提高了高达0.81，在LPIPS上提高了0.026，同时保持高渲染速度并减少所需基元的数量。我们的结果突显了3D凸飞溅成为高质量场景重建和新视角合成的新标准的潜力。项目页面：convexsplatting.github.io。

DiffusionDrive：端到端自动驾驶的截断扩散模型
DiffusionDrive: Truncated Diffusion Model for End-to-End Autonomous Driving

Nov 22, 2024

Bencheng Liao, Shaoyu Chen, Haoran Yin, Bo Jiang, Cheng Wang, Sixu Yan, Xinbang Zhang, Xiangyu Li, Ying Zhang, Qian Zhang, Xinggang Wang

152

最近，扩散模型作为一种强大的生成技术，用于机器人策略学习，能够建模多模式动作分布。利用其端到端自动驾驶的能力是一个有前途的方向。然而，在机器人扩散策略中存在大量去噪步骤，以及交通场景更加动态、开放的特性，这给实时速度下生成多样化驾驶动作带来了重大挑战。为了解决这些挑战，我们提出了一种新颖的截断扩散策略，该策略结合了先验的多模式锚点，并截断了扩散进程，使模型能够从锚定的高斯分布学习去噪到多模式驾驶动作分布。此外，我们设计了一种高效的级联扩散解码器，以增强与条件场景上下文的交互。所提出的模型DiffusionDrive相比于基本扩散策略，去噪步骤减少了10倍，在仅两步中提供了更优异的多样性和质量。在面向规划的NAVSIM数据集上，使用对齐的ResNet-34骨干网络，DiffusionDrive在没有花哨技巧的情况下达到了88.1 PDMS，创造了新纪录，同时在NVIDIA 4090上以每秒45帧的实时速度运行。在具有挑战性的场景上的定性结果进一步证实了DiffusionDrive能够稳健地生成多样化且合理的驾驶动作。代码和模型将在https://github.com/hustvl/DiffusionDrive 上提供。

Make-It-Animatable：一种用于创建动画就绪3D角色的高效框架
Make-It-Animatable: An Efficient Framework for Authoring Animation-Ready 3D Characters

Nov 27, 2024

Zhiyang Guo, Jinxu Xiang, Kai Ma, Wengang Zhou, Houqiang Li, Ran Zhang

144

现代创意产业中，3D角色至关重要，但使它们具有动画性往往需要大量手动工作，如绑定和蒙皮。现有的自动绑定工具存在一些限制，包括需要手动注释、刚性骨架拓扑结构以及在不同形状和姿势之间的有限泛化能力。另一种方法是生成可动画化的化身，预先绑定到一个带有骨骼模板的网格上。然而，这种方法通常缺乏灵活性，通常仅限于逼真的人体形状。为了解决这些问题，我们提出了Make-It-Animatable，这是一种新颖的数据驱动方法，可以使任何3D人形模型在不到一秒的时间内准备好进行角色动画，无论其形状和姿势如何。我们的统一框架生成高质量的混合权重、骨骼和姿势变换。通过结合基于粒子的形状自动编码器，我们的方法支持各种3D表示，包括网格和3D高斯斑点。此外，我们采用粗到细的表示和结构感知建模策略，以确保对具有非标准骨架结构的角色的准确性和鲁棒性。我们进行了大量实验证明我们框架的有效性。与现有方法相比，我们的方法在质量和速度上都取得了显著改进。

UniPose：一个统一的多模态框架，用于人体姿势理解、生成和编辑。
UniPose: A Unified Multimodal Framework for Human Pose Comprehension, Generation and Editing

Nov 25, 2024

Yiheng Li, Ruibing Hou, Hong Chang, Shiguang Shan, Xilin Chen

134

人体姿势在数字时代起着至关重要的作用。尽管最近的研究在理解和生成人体姿势方面取得了令人瞩目的进展，但它们通常仅支持单一控制信号模态，并且在孤立环境中运行，限制了它们在现实场景中的应用。本文提出了UniPose，这是一个利用大型语言模型（LLMs）来理解、生成和编辑人体姿势的框架，涵盖图像、文本和3D SMPL姿势等多种模态。具体而言，我们应用姿势分词器将3D姿势转换为离散的姿势标记，实现与统一词汇表中的LLM的无缝集成。为进一步增强对细粒度姿势感知能力，我们为UniPose提供了一组视觉编码器，其中包括一个特定于姿势的视觉编码器。受益于统一的学习策略，UniPose有效地在不同的与姿势相关的任务之间传递知识，适应未知任务，并展现出扩展的能力。这项工作是构建姿势理解、生成和编辑通用框架的首次尝试。广泛的实验突显了UniPose在各种与姿势相关任务中具有竞争力甚至优越的表现。

协作解码使视觉自回归建模更高效。
Collaborative Decoding Makes Visual Auto-Regressive Modeling Efficient

Nov 26, 2024

Zigeng Chen, Xinyin Ma, Gongfan Fang, Xinchao Wang

122

在图像生成领域迅速发展中，视觉自回归（VAR）建模因其创新的下一级别预测方法而受到广泛关注。这一范式在效率、可扩展性和零样本泛化方面带来了显著改进。然而，VAR固有的由粗到细的特性引入了一个较长的标记序列，导致了内存消耗和计算冗余的增加。为解决这些瓶颈，我们提出了协作解码（CoDe），这是一种针对VAR框架量身定制的新型高效解码策略。CoDe基于两个关键观察结果：在较大尺度上参数需求大幅降低，以及不同尺度间存在独特的生成模式。基于这些见解，我们将多尺度推理过程划分为大模型和小模型之间的无缝协作。大模型充当“起草者”，专门负责在较小尺度生成低频内容，而小模型充当“完善者”，仅专注于在较大尺度预测高频细节。这种协作方式在保持图像质量几乎不受影响的同时实现了显著的效率提升：CoDe实现了1.7倍的加速，将内存使用量减少约50％，并将图像质量从FID从1.95略微增加至1.98。当进一步减少起草步骤时，CoDe可以实现令人印象深刻的2.9倍加速比，达到在单个NVIDIA 4090 GPU上以256x256分辨率生成41张图像/秒，同时保持出色的FID为2.27。代码可在https://github.com/czg1225/CoDe上找到。

DreamCache：基于特征缓存的无微调轻量化个性化图像生成
DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching

Nov 26, 2024

Emanuele Aiello, Umberto Michieli, Diego Valsesia, Mete Ozay, Enrico Magli

123

个性化图像生成需要文本到图像生成模型，这些模型捕捉参考主题的核心特征，以便在不同上下文中实现可控生成。现有方法面临挑战，因为训练要求复杂、推断成本高、灵活性有限，或者以上述问题的组合。在本文中，我们介绍了DreamCache，这是一种可扩展的方法，用于高效且高质量的个性化图像生成。通过缓存少量来自部分层和预训练扩散去噪器的单个时间步的参考图像特征，DreamCache通过轻量级、经过训练的调节适配器实现对生成图像特征的动态调制。DreamCache实现了最先进的图像和文本对齐，利用数量级更少的额外参数，并且比现有模型更具计算效率和多功能性。

ChatRex：驯服多模态LLM实现联合感知和理解
ChatRex: Taming Multimodal LLM for Joint Perception and Understanding

Nov 27, 2024

Qing Jiang, Gen luo, Yuqin Yang, Yuda Xiong, Yihao Chen, Zhaoyang Zeng, Tianhe Ren, Lei Zhang

103

感知和理解是计算机视觉的两大支柱。虽然多模态大型语言模型（MLLM）展示了出色的视觉理解能力，但它们可能缺乏准确的感知能力，例如，当前最先进的模型 Qwen2-VL 仅在 COCO 数据集上实现了 43.9 的召回率，限制了许多需要结合感知和理解的任务。在这项工作中，我们旨在从模型设计和数据开发的角度弥合这一感知差距。我们首先介绍了 ChatRex，这是一个具有解耦感知设计的 MLLM。我们不是让LLM直接预测框坐标，而是将来自通用提议网络的输出框输入LLM，使其输出相应的框索引以表示其检测结果，将回归任务转变为LLM更熟练处理的检索型任务。从数据角度来看，我们构建了一个完全自动化的数据引擎，并构建了 Rexverse-2M 数据集，具有多个粒度以支持感知和理解的联合训练。经过标准的两阶段训练，ChatRex展示了强大的感知能力，同时保持了多模态理解性能。这两种能力的结合同时解锁了许多有吸引力的应用，展示了感知和理解在MLLM中的互补作用。代码可在 https://github.com/IDEA-Research/ChatRex 获取。

使用多模控制进行视频引导的弗利音效生成
Video-Guided Foley Sound Generation with Multimodal Controls

Nov 26, 2024

Ziyang Chen, Prem Seetharaman, Bryan Russell, Oriol Nieto, David Bourgin, Andrew Owens, Justin Salamon

102

Omegance：扩散基合成中不同粒度的单一参数
Omegance: A Single Parameter for Various Granularities in Diffusion-Based Synthesis

Nov 26, 2024

Xinyu Hou, Zongsheng Yue, Xiaoming Li, Chen Change Loy

草案模型知道何时停止：自我验证长度策略用于推测解码
Draft Model Knows When to Stop: A Self-Verification Length Policy for Speculative Decoding

Nov 27, 2024

Ziyin Zhang, Jiahao Xu, Tian Liang, Xingyu Chen, Zhiwei He, Rui Wang, Zhaopeng Tu

VideoLLM 知道何时发言：通过视频文本二重交互格式增强时效视频理解
VideoLLM Knows When to Speak: Enhancing Time-Sensitive Video Comprehension with Video-Text Duet Interaction Format

Nov 27, 2024

Yueqian Wang, Xiaojun Meng, Yuxuan Wang, Jianxin Liang, Jiansheng Wei, Huishuai Zhang, Dongyan Zhao

编辑即消失，我的面容不再停留：个人生物特征防御对抗恶意生成编辑
Edit Away and My Face Will not Stay: Personal Biometric Defense against Malicious Generative Editing

Nov 25, 2024

Hanhui Wang, Yihua Zhang, Ruizheng Bai, Yue Zhao, Sijia Liu, Zhengzhong Tu