AI研究论文每日精选

构建具有实体的人工智能系统，能够在任何3D环境中遵循任意语言指令，是创造通用人工智能的关键挑战。实现这一目标需要学会将语言与感知和实体动作相结合，以完成复杂任务。可扩展、可指导、多世界代理（SIMA）项目通过训练代理程序在各种虚拟3D环境中遵循自由形式的指令来应对这一挑战，包括策划研究环境以及开放式的商业视频游戏。我们的目标是开发一个可指导的代理程序，能够在任何模拟的3D环境中完成人类能够做到的任何事情。我们的方法侧重于以语言驱动的普适性为重点，同时减少最小的假设。我们的代理程序使用通用的、类似人类的接口实时与环境交互：输入为图像观察和语言指令，输出为键盘和鼠标操作。这种通用方法具有挑战性，但它使代理程序能够在许多视觉复杂且语义丰富的环境中将语言落地，同时也使我们能够轻松地在新环境中运行代理程序。在本文中，我们描述了我们的动机和目标，我们已经取得的初步进展，以及在几个不同的研究环境和各种商业视频游戏中取得的有前景的初步结果。

最近，基于音频的音乐生成模型取得了巨大进展，但迄今为止尚未成功生成具有连贯音乐结构的完整音乐曲目。我们展示通过在长时间上下文中训练生成模型，可以生成长达4分45秒的音乐作品。我们的模型由在高度下采样的连续潜在表示（潜在速率为21.5赫兹）上运行的扩散-变压器组成。根据音频质量和提示对齐度等指标，它获得了最先进的生成结果，并主观测试显示，它生成具有连贯结构的完整音乐作品。