AI研究论文每日精选

在本报告中，我们介绍Gemini家族的最新模型Gemini 1.5 Pro，这是一个高度计算效率的多模式专家混合模型，能够回忆和推理来自数百万标记的上下文中的细粒度信息，包括多个长文档和几小时的视频和音频。Gemini 1.5 Pro在跨模态的长上下文检索任务中实现了接近完美的召回率，改进了长文档问答、长视频问答和长上下文ASR的最新技术水平，并在广泛的基准测试中与Gemini 1.0 Ultra的最新技术水平相匹敌甚至超越。通过研究Gemini 1.5 Pro在长上下文能力方面的极限，我们发现在至少1000万标记的情况下，下一个标记预测和接近完美的检索（>99%）持续改进，这是对现有模型（如Claude 2.1（20万）和GPT-4 Turbo（12.8万））的一次世代性飞跃。最后，我们强调了大型语言模型在前沿的惊人新能力；当为Kalamang语的语法手册提供时，这是一种全球使用者不到200人的语言，模型学会将英语翻译成Kalamang的水平与从相同内容学习的人类相似。

我们介绍了DeepSeek-VL，这是一个专为现实世界视觉与语言理解应用而设计的开源视觉-语言（VL）模型。我们的方法围绕三个关键维度展开： 我们努力确保我们的数据具有多样性、可扩展性，并广泛涵盖包括网页截图、PDF、OCR、图表和基于知识的内容在内的现实场景，旨在全面表征实际背景。此外，我们从真实用户场景创建了用例分类法，并相应构建了一个指导微调数据集。使用这个数据集进行微调显著提高了模型在实际应用中的用户体验。考虑到效率和大多数现实场景的需求，DeepSeek-VL集成了一个混合视觉编码器，可以高效处理高分辨率图像（1024 x 1024），同时保持相对较低的计算开销。这种设计选择确保了模型能够在各种视觉任务中捕获关键语义和详细信息。 我们认为，一个熟练的视觉-语言模型首先应具备强大的语言能力。为了确保在预训练期间保留LLM能力，我们研究了一种有效的VL预训练策略，通过从一开始就整合LLM训练，并仔细管理视觉和语言模态之间观察到的竞争动态。 DeepSeek-VL系列（包括1.3B和7B模型）在现实世界应用中作为视觉-语言聊天机器人展示出卓越的用户体验，在相同模型大小的情况下实现了一流或有竞争力的性能，同时在以语言为中心的基准测试中表现出稳健的性能。我们已经公开了1.3B和7B模型，以促进基于这一基础模型的创新。

扩散模型在文本到图像生成领域展现出了卓越的性能。然而，大多数广泛使用的模型仍然采用CLIP作为它们的文本编码器，这限制了它们理解密集提示、涵盖多个对象、详细属性、复杂关系、长文本对齐等能力。本文介绍了一种高效的大型语言模型适配器，称为ELLA，它为文本到图像扩散模型配备了强大的大型语言模型（LLM），以增强文本对齐，而无需对U-Net或LLM进行训练。为了无缝连接两个预训练模型，我们研究了一系列语义对齐连接器设计，并提出了一种新颖的模块，即时间步感知语义连接器（TSC），它可以动态地从LLM中提取时间步相关条件。我们的方法在去噪过程的不同阶段调整语义特征，帮助扩散模型在采样时间步上解释冗长和复杂的提示。此外，ELLA可以轻松与社区模型和工具结合，以提高它们的提示跟随能力。为了评估在密集提示跟随方面的文本到图像模型，我们引入了密集提示图基准（DPG-Bench），这是一个包含1K密集提示的具有挑战性的基准。广泛的实验表明，ELLA在密集提示跟随方面优于最先进的方法，特别是在涉及多个对象组合、不同属性和关系的情况下。

在不断发展的数字音频领域中，以其音乐和谈话内容而闻名的Spotify最近向其庞大用户群引入了有声读物。尽管前景看好，但这一举措给个性化推荐带来了重大挑战。与音乐和播客不同，最初需要付费获取的有声读物在购买前无法轻松浏览，这使得推荐的相关性面临更高的风险。此外，将新的内容类型引入现有平台会面临极端的数据稀疏性，因为大多数用户对这种新内容类型并不熟悉。最后，向数百万用户推荐内容要求模型反应迅速且具有可扩展性。为了解决这些挑战，我们利用播客和音乐用户偏好，引入了2T-HGNN，这是一个包含异质图神经网络（HGNNs）和双塔（2T）模型的可扩展推荐系统。这种新颖方法揭示了项目之间微妙的关系，同时确保了低延迟和复杂性。我们将用户从HGNN图中分离出来，并提出了一种创新的多链接邻居采样器。这些选择，连同双塔组件，显著降低了HGNN模型的复杂性。涉及数百万用户的实证评估显示，在个性化推荐质量方面取得了显著改善，导致新有声读物的启动率增加了46％，流媒体率提升了23％。有趣的是，我们的模型影响不仅限于有声读物，还使得像播客这样的成熟产品受益。

最近文本到图像生成系统的进展主要受到扩散模型的推动。然而，单阶段文本到图像扩散模型仍然面临着计算效率和图像细节精炼方面的挑战。为了解决这一问题，我们提出了CogView3，这是一种创新的级联框架，可以提升文本到图像扩散的性能。CogView3是第一个在文本到图像生成领域实现中继扩散的模型，通过首先创建低分辨率图像，然后应用基于中继的超分辨率来执行任务。这种方法不仅产生了具有竞争力的文本到图像输出，而且极大地减少了训练和推断成本。我们的实验结果表明，CogView3在人类评估中比当前最先进的开源文本到图像扩散模型SDXL表现提高了77.0\%，同时仅需要大约1/2的推断时间。CogView3的精简变体在仅利用SDXL推断时间的1/10的情况下实现了可比的性能。

前馈3D生成模型，如大型重建模型（LRM），已经展示出出色的生成速度。然而，基于Transformer的方法并未利用其架构中三平面组件的几何先验，这常常导致在3D数据规模有限且训练缓慢的情况下质量不佳。在这项工作中，我们提出了卷积重建模型（CRM），这是一个高保真的前馈单图像到3D生成模型。鉴于稀疏3D数据带来的限制，我们强调了将几何先验整合到网络设计中的必要性。CRM基于一个关键观察，即三平面的可视化展示出六个正交图像的空间对应关系。首先，它从单个输入图像生成六个正交视图图像，然后将这些图像馈送到卷积U-Net中，利用其强大的像素级对齐能力和显著的带宽，创建高分辨率的三平面。CRM进一步采用Flexicubes作为几何表示，有助于在纹理网格上进行直接端到端的优化。总体而言，我们的模型仅需10秒就能从图像中生成高保真纹理网格，无需任何测试时优化。

文本到图像扩散模型（T2I）展示了在创建逼真和美学图像方面的前所未有能力。相比之下，文本到视频扩散模型（T2V）在帧质量和文本对齐方面仍然远远落后，这归因于训练视频的质量和数量不足。在本文中，我们介绍了VideoElevator，这是一种无需训练且即插即用的方法，利用T2I的卓越能力提升了T2V的性能。与传统的T2V采样（即时间和空间建模）不同，VideoElevator明确将每个采样步骤分解为时间运动细化和空间质量提升。具体而言，时间运动细化利用封装的T2V来增强时间一致性，然后反转为T2I所需的噪声分布。然后，空间质量提升利用膨胀的T2I直接预测更少噪声的潜在值，增加更多照片逼真的细节。我们在各种T2V和T2I的组合下进行了广泛的实验。结果显示，VideoElevator不仅改善了具有基础T2I的T2V基线的性能，还促进了具有个性化T2I的风格化视频合成。我们的代码可在https://github.com/YBYBZhang/VideoElevator找到。