ELF: Ingebedde Taalstromen

Samenvatting

Diffusie- en stromingsgebaseerde modellen zijn de de facto benaderingen geworden voor het genereren van continue data, bijvoorbeeld op gebieden zoals afbeeldingen en video's. Hun succes heeft geleid tot een groeiende belangstelling om ze toe te passen op taalmodellering. In tegenstelling tot hun tegenhangers in het beelddomein werken de hedendaagse toonaangevende diffusietaalmodellen (DLM's) voornamelijk met discrete tokens. In dit artikel tonen we aan dat continue DLM's effectief kunnen worden gemaakt met minimale aanpassing aan het discrete domein. We stellen Embedded Language Flows (ELF) voor, een klasse van diffusiemodellen in een continue inbeddingsruimte, gebaseerd op Flow Matching in continue tijd. In tegenstelling tot bestaande DLM's blijft ELF voornamelijk in de continue inbeddingsruimte tot de laatste tijdstap, waar het met behulp van een netwerk met gedeelde gewichten wordt toegewezen aan discrete tokens. Deze formulering maakt het eenvoudig om gevestigde technieken uit beelddomein-diffusiemodellen aan te passen, zoals classificatorvrije sturing (CFG). Experimenten tonen aan dat ELF aanzienlijk beter presteert dan toonaangevende discrete en continue DLM's, met een betere generatiekwaliteit en minder bemonsteringsstappen. Deze resultaten suggereren dat ELF een veelbelovende weg biedt naar effectieve continue DLM's.

English

Diffusion and flow-based models have become the de facto approaches for generating continuous data, e.g., in domains such as images and videos. Their success has attracted growing interest in applying them to language modeling. Unlike their image-domain counterparts, today's leading diffusion language models (DLMs) primarily operate over discrete tokens. In this paper, we show that continuous DLMs can be made effective with minimal adaptation to the discrete domain. We propose Embedded Language Flows (ELF), a class of diffusion models in continuous embedding space based on continuous-time Flow Matching. Unlike existing DLMs, ELF predominantly stays within the continuous embedding space until the final time step, where it maps to discrete tokens using a shared-weight network. This formulation makes it straightforward to adapt established techniques from image-domain diffusion models, e.g., classifier-free guidance (CFG). Experiments show that ELF substantially outperforms leading discrete and continuous DLMs, achieving better generation quality with fewer sampling steps. These results suggest that ELF offers a promising path toward effective continuous DLMs.