每日精选AI研究论文及翻译
我们发现常见的扩散噪声计划未强制最后一个时间步具有零信噪比（SNR），而一些扩散采样器的实现并未从最后一个时间步开始。这样的设计存在缺陷，未反映模型在推断时接收纯高斯噪声的事实，导致训练与推断之间存在差异。我们展示了这种有缺陷的设计在现有实现中引起了实际问题。在稳定扩散中，它严重限制了模型仅生成亮度适中的图像，并阻止其生成非常明亮和暗的样本。我们提出了一些简单的修复方法：（1）重新调整噪声计划以强制零终端SNR；（2）用v预测训练模型；（3）更改采样器以始终从最后一个时间步开始；（4）重新调整无分类器指导以防止过曝光。这些简单的更改确保了训练和推断之间扩散过程的一致性，并使模型能够生成更符合原始数据分布的样本。
本文介绍了FitMe，一种面部反射模型和可微分渲染优化流程，可用于从单个或多个图像中获取高保真可渲染的人体化身。该模型由多模态风格生成器组成，以扩散和镜面反射为基础捕捉面部外观，并包含基于PCA的形状模型。我们采用快速可微分渲染过程，可用于优化流程，同时实现逼真的面部着色。我们的优化过程通过利用基于风格的潜在表示和形状模型的表现力，准确捕捉高细节的面部反射和形状。FitMe在单个“野外”面部图像上实现了最先进的反射获取和身份保留，同时在提供多个与同一身份相关的无约束面部图像时产生令人印象深刻的扫描式结果。与最近的隐式化身重建相比，FitMe仅需一分钟即可生成可重新照明的基于网格和纹理的化身，可供最终用户应用程序使用。
扩散模型在文本到图像生成方面表现出色，尤其在面向个性化图像的主题驱动生成方面。然而，由于需要针对特定主题进行微调，现有方法效率低下，计算密集且阻碍了高效部署。此外，现有方法在多主题生成方面存在困难，因为它们经常在不同主题之间混合特征。我们提出了FastComposer，它实现了高效、个性化、多主题文本到图像生成，无需进行微调。FastComposer利用图像编码器提取的主题嵌入来增强扩散模型中的通用文本条件，实现基于主题图像和文本指令的个性化图像生成，仅需进行前向传递。为了解决多主题生成中的身份混合问题，FastComposer在训练过程中提出了交叉注意力定位监督，强制引用主题的注意力定位到目标图像中的正确区域。简单地基于主题嵌入进行条件设置会导致主题过拟合。FastComposer提出了在去噪步骤中延迟主题条件设置，以在主题驱动的图像生成中保持身份和可编辑性。FastComposer生成了多个不同风格、动作和背景的未见个体图像。与基于微调的方法相比，FastComposer实现了300倍至2500倍的加速，并且对于新主题不需要额外存储空间。FastComposer为高效、个性化和高质量的多主题图像创作铺平了道路。代码、模型和数据集可在https://github.com/mit-han-lab/fastcomposer获取。
自动确定文本和相应图像是否语义对齐是视觉语言模型面临的重要挑战，具有生成文本到图像和图像到文本任务的应用。在这项工作中，我们研究了用于自动文本-图像对齐评估的方法。我们首先介绍了SeeTRUE：一个全面的评估集，涵盖了来自文本到图像和图像到文本生成任务的多个数据集，其中包含人类判断给定文本-图像对是否语义对齐的数据。然后，我们描述了两种自动确定对齐的方法：第一种方法涉及基于问题生成和视觉问题回答模型的流程，第二种方法采用端到端分类方法，通过微调多模态预训练模型。这两种方法在各种文本-图像对齐任务中均优于先前的方法，在涉及复杂构图或不自然图像的挑战性案例中取得了显著改进。最后，我们演示了我们的方法如何定位图像和给定文本之间的特定不对齐，并展示了它们如何用于自动重新排列文本到图像生成中的候选项。
人类可以轻松地理解一张图片描绘出多个潜在对象，从而允许互动。我们利用这种技能来规划与世界的互动，并加速理解新对象而无需进行互动。在本文中，我们希望赋予机器类似的能力，以便智能代理能更好地探索3D场景或操纵对象。我们的方法是基于Transformer的模型，用于预测对象的3D位置、物理属性和可供性。为了支撑这一模型，我们收集了包括互联网视频、自我中心视频和室内图像在内的数据集，用于训练和验证我们的方法。我们的模型在我们的数据上表现出色，并且在机器人数据上具有良好的泛化能力。
在线持续学习（OCL）研究主要集中在减轻灾难性遗忘，通过在整个代理生命周期中固定和有限的存储分配。然而，数据存储成本的不断降低突显了许多应用不符合这些假设。在这些情况下，主要关注点在于管理计算开销而不是存储。本文针对这种情景，通过放宽存储约束并强调固定、有限的经济预算，研究在线持续学习问题。我们提供了一个简单的算法，可以在微小的计算预算下紧凑存储和利用整个传入数据流，使用k最近邻分类器和通用预训练特征提取器。我们的算法提供了一种吸引人的持续学习一致性属性：它永远不会忘记过去看到的数据。我们在两个大规模OCL数据集上树立了新的技术水平：持续定位（CLOC）数据集，包含712类别的39M张图像，以及持续谷歌地标V2（CGLM）数据集，包含10,788类别的580K张图像，击败了在减少过去数据灾难性遗忘和快速适应快速变化数据流方面比我们更高计算预算的方法。我们提供代码以重现我们的结果，网址为https://github.com/drimpossible/ACM。