每日精选AI研究论文及翻译
辐射场方法最近彻底改变了利用多张照片或视频捕获的场景进行新视角合成的方式。然而，要实现高视觉质量仍需要耗时训练和渲染的神经网络，而最近更快的方法不可避免地在速度和质量之间进行权衡。对于无界完整场景（而非孤立对象）和1080p分辨率渲染，目前没有一种方法能够实现实时显示速率。我们引入了三个关键元素，使我们能够在保持竞争性训练时间的同时实现最先进的视觉质量，并且重要的是实现了高质量的实时（>=30 fps）1080p分辨率新视角合成。首先，从相机校准期间产生的稀疏点开始，我们用3D高斯模型表示场景，以保留连续体辐射场的理想特性，用于场景优化，同时避免在空白空间中进行不必要的计算；其次，我们对3D高斯模型执行交错优化/密度控制，特别是优化各向异性协方差以实现对场景的准确表示；第三，我们开发了一种快速的可见性感知渲染算法，支持各向异性飞溅，并加速训练，同时实现实时渲染。我们在几个已建立的数据集上展示了最先进的视觉质量和实时渲染。
谄媚是一种不良行为，模型会调整其回应以迎合人类用户的观点，即使该观点在客观上是不正确的（例如，一旦用户透露自己是自由主义者，模型会调整其回应以适应自由主义观点）。本文研究了语言模型中谄媚行为的普遍性，并提出了一种简单的合成数据干预方法来减少这种行为。 首先，在三个谄媚任务集（Perez等，2022）上，要求模型对没有正确答案的陈述（例如政治）发表意见，我们观察到，对于参数高达540B的PaLM模型，模型扩展和指导调整显著增加了谄媚行为。其次，我们将谄媚评估扩展到简单的加法陈述，这些陈述在客观上是错误的，发现尽管模型知道这些陈述是错误的，但如果用户也这样认为，语言模型仍然会同意这些陈述。 为了减少谄媚行为，我们提出了一种简单的合成数据干预方法，该方法利用公共自然语言处理任务，鼓励模型对这些任务上的用户观点具有鲁棒性。在轻量级微调步骤中添加这些数据可以显著减少对保留提示的谄媚行为。生成干预合成数据的代码可在https://github.com/google/sycophancy-intervention 找到。
警告：本论文包含可能不适宜或冒犯性内容。 随着生成模型在各种应用中变得可供公众使用，测试和分析这些模型的漏洞已成为当务之急。在这里，我们提出了一种自动红队框架，评估给定模型并揭示其对不安全和不适当内容生成的漏洞。我们的框架使用上下文学习在反馈循环中对模型进行红队操作，并触发其生成不安全内容。我们提出了不同的上下文攻击策略，自动学习用于文本到图像模型的有效和多样化对抗提示。我们的实验表明，与基线方法相比，我们提出的策略在暴露Stable Diffusion（SD）模型的漏洞方面显著更为有效，即使后者已加强了安全功能。此外，我们证明了所提出的框架对于对文本到文本模型进行红队操作是有效的，导致有毒响应生成速率显著高于先前报告的数字。
大规模预训练视觉-语言模型，如CLIP，在零样本分类方面表现出色，例如在ImageNet上实现了76.3%的top-1准确率，而无需查看任何示例，这为许多没有标记数据的任务带来潜在好处。然而，在将CLIP应用于下游目标领域时，视觉和文本领域差距以及跨模态不对齐可能会严重影响模型性能。为了解决这些挑战，我们提出了ReCLIP，这是视觉-语言模型的第一个无源域自适应方法，不需要任何源数据或目标标记数据。ReCLIP首先学习一个投影空间来减轻不对齐的视觉-文本嵌入，并学习伪标签，然后使用伪标签部署跨模态自训练，以迭代更新视觉和文本编码器，优化标签，减少领域差距和不对齐。通过大量实验，我们展示了ReCLIP将CLIP的平均错误率从30.17%降低到了25.06%，在22个图像分类基准测试中。
在对使用受版权或其他限制的数据训练语言模型（LMs）的合法性问题上存在激烈辩论。然而，正如我们所展示的，如果仅在低风险文本（例如过期版权书籍或政府文件）上进行训练，模型性能会显著下降，这是由于其规模有限且领域覆盖范围有限。我们提出了SILO，这是一个新的语言模型，在推理过程中管理这种风险-性能权衡。SILO的构建方式是：（1）在我们精心策划的包含228B个公共领域和许可文本的Open License Corpus（OLC）上训练参数化LM，（2）通过增加一个更通用且易于修改的非参数化数据存储库（例如包含受版权书籍或新闻的数据存储库），仅在推理过程中进行查询。数据存储库允许使用高风险数据而无需对其进行训练，支持句子级数据归因，并使数据生产者可以通过从存储库中删除内容来选择退出模型。这些功能可以促进符合数据使用法规，如美国的公平使用原则和欧盟的GDPR。我们的实验表明，参数化LM在OLC未涵盖的领域表现不佳。然而，访问数据存储库极大地提高了跨领域性能，将性能差距缩小了90%，与在Pile上训练的LM相比，Pile是一个包含大多数高风险文本的更多样化语料库。我们还分析了哪种非参数化方法效果最佳，剩余错误在哪里，以及性能如何随数据存储库规模扩展。我们的结果表明，可以在减轻法律风险的同时构建高质量的语言模型。