Dagelijkse Papers

Het ontwikkelen van belichaamde AI-systemen die willekeurige taal-instructies kunnen volgen in elke 3D-omgeving is een belangrijke uitdaging voor het creëren van algemene AI. Het bereiken van dit doel vereist het leren verankeren van taal in perceptie en belichaamde acties, om complexe taken te kunnen uitvoeren. Het Scalable, Instructable, Multiworld Agent (SIMA)-project pakt dit aan door agents te trainen om vrije-vorm instructies te volgen in een diverse reeks virtuele 3D-omgevingen, waaronder gecureerde onderzoeksomgevingen en open-ended commerciële videogames. Ons doel is het ontwikkelen van een instructeerbare agent die alles kan doen wat een mens kan doen in elke gesimuleerde 3D-omgeving. Onze aanpak richt zich op taalgedreven algemeenheid met minimale aannames. Onze agents interacteren in real-time met omgevingen via een generieke, mensachtige interface: de invoer bestaat uit beeldobservaties en taal-instructies, en de uitvoer zijn toetsenbord- en muisacties. Deze algemene aanpak is uitdagend, maar stelt agents in staat om taal te verankeren in vele visueel complexe en semantisch rijke omgevingen, terwijl het ons ook in staat stelt om agents gemakkelijk in nieuwe omgevingen te laten functioneren. In dit artikel beschrijven we onze motivatie en doelstelling, de initiële voortgang die we hebben geboekt, en veelbelovende voorlopige resultaten in diverse onderzoeksomgevingen en een verscheidenheid aan commerciële videogames.

Audio-gebaseerde generatieve modellen voor muziek hebben recentelijk grote vooruitgang geboekt, maar zijn tot nu toe niet in staat geweest volledige muziektracks met een samenhangende muzikale structuur te produceren. We tonen aan dat het mogelijk is om langere muziekstukken van maximaal 4 minuten en 45 seconden te genereren door een generatief model te trainen op lange temporele contexten. Ons model bestaat uit een diffusie-transformer die werkt op een sterk gedownsamplede continue latente representatie (latente frequentie van 21,5 Hz). Het behaalt state-of-the-art resultaten volgens metrieken voor audiokwaliteit en promptafstemming, en subjectieve tests laten zien dat het volledige muziekstukken met een samenhangende structuur produceert.