papers.title

La construction de systèmes d'IA incarnée capables de suivre des instructions linguistiques arbitraires dans n'importe quel environnement 3D constitue un défi majeur pour la création d'une IA générale. Atteindre cet objectif nécessite d'apprendre à ancrer le langage dans la perception et les actions incarnées, afin d'accomplir des tâches complexes. Le projet Scalable, Instructable, Multiworld Agent (SIMA) aborde ce problème en entraînant des agents à suivre des instructions libres dans une diversité d'environnements virtuels 3D, incluant des environnements de recherche soigneusement conçus ainsi que des jeux vidéo commerciaux ouverts. Notre objectif est de développer un agent instructable capable d'accomplir tout ce qu'un humain peut faire dans n'importe quel environnement simulé en 3D. Notre approche se concentre sur la généralité pilotée par le langage tout en imposant des hypothèses minimales. Nos agents interagissent avec les environnements en temps réel via une interface générique et humaine : les entrées sont des observations visuelles et des instructions linguistiques, et les sorties sont des actions clavier-souris. Cette approche générale est complexe, mais elle permet aux agents d'ancrer le langage dans de nombreux environnements visuellement complexes et sémantiquement riches, tout en nous permettant de déployer facilement les agents dans de nouveaux environnements. Dans cet article, nous décrivons notre motivation et notre objectif, les progrès initiaux réalisés, ainsi que des résultats préliminaires prometteurs sur plusieurs environnements de recherche variés et une gamme de jeux vidéo commerciaux.

Les modèles génératifs audio pour la musique ont récemment accompli des progrès significatifs, mais jusqu'à présent, ils n'ont pas réussi à produire des pistes musicales complètes avec une structure musicale cohérente. Nous démontrons qu'en entraînant un modèle génératif sur des contextes temporels longs, il est possible de produire de la musique de longue durée, allant jusqu'à 4 minutes et 45 secondes. Notre modèle repose sur un transformeur de diffusion opérant sur une représentation latente continue fortement sous-échantillonnée (taux latent de 21,5 Hz). Il atteint des performances de pointe en termes de qualité audio et d'alignement avec les prompts, selon des métriques objectives, et des tests subjectifs révèlent qu'il produit de la musique de longue durée avec une structure cohérente.