AI研究論文每日精選

在創建通用人工智慧時，建立具有實體存在的人工智慧系統，能夠在任何3D環境中遵循任意語言指令，是一個重要挑戰。實現這一目標需要學習將語言基於感知和實體行動，以完成複雜任務。可擴展、可指導、多世界代理（SIMA）項目通過訓練代理程序來遵循各種虛擬3D環境中的自由形式指令，包括精心策劃的研究環境以及開放式、商業視頻遊戲。我們的目標是開發一個可指導的代理，能夠在任何模擬3D環境中完成人類可以做的任何事情。我們的方法專注於以語言驅動的通用性，同時施加最少的假設。我們的代理使用通用的、類似人類的界面與環境實時交互：輸入為圖像觀察和語言指令，輸出為鍵盤和滑鼠操作。這種通用方法具有挑戰性，但它使代理能夠在許多視覺上復雜且語義豐富的環境中基於語言，同時也使我們能夠輕鬆地在新環境中運行代理。在本文中，我們描述了我們的動機和目標，我們已經取得的初步進展，以及在幾個不同的研究環境和各種商業視頻遊戲中的有希望的初步結果。

最近，基於音訊的音樂生成模型取得了巨大進展，但迄今為止尚未成功生成具有連貫音樂結構的完整音樂曲目。我們展示通過在長時間上下文上訓練生成模型，可以生成長達4分45秒的長格式音樂。我們的模型由在高度降採樣的連續潛在表示（潛在速率為21.5Hz）上運行的擴散-變壓器組成。根據音質和提示對齊的指標，它獲得了最先進的生成結果，主觀測試顯示它生成具有連貫結構的完整音樂。