Onde cortar, a que profundidade: BPE e Unigram-LM em SMILES químicos

Resumo

Todo modelo de linguagem química que lê SMILES começa com um tokenizador, mas a área herdou a codificação por pares de bytes (BPE) do processamento de linguagem natural com pouco escrutínio. Em linguagem natural, a principal alternativa ao BPE, o Unigram-LM, é conhecida por construir vocabulários estruturalmente diferentes. Se esse contraste se mantém em química era uma questão em aberto. Relatamos uma comparação controlada entre BPE e Unigram-LM sobre uma base química fixa de 165 tokens, em tamanhos de vocabulário pequenos nos quais as incorporações de tokens (token embeddings) são aprendíveis, em três tipologias de corpus (diverso, semelhante a fármacos e produtos naturais) e ambas as políticas de fronteira de pré-tokenização. Os dois não convergem. Em todas as 22 condições emparelhadas, eles constroem vocabulários de subpalavras quase disjuntos: a sobreposição de Jaccard entre algoritmos nos segmentos aprendidos nunca excede 0,161 e, no máximo, 0,05 quando ponderada para os segmentos de alta frequência que um modelo mais atualiza. O Unigram-LM também segmenta moléculas reservadas em 29–41% mais tokens; as duas abordagens concordam amplamente sobre onde cortar, mas não sobre a profundidade, de modo que a segmentação do BPE é uma versão estritamente mais grosseira da segmentação do Unigram-LM em 80–99% das moléculas. A separação se mantém entre corpus, fronteira e tamanho do vocabulário, persistindo mesmo em oito vezes essa escala. Portanto, o algoritmo de subpalavras é uma decisão de modelagem, não um padrão gratuito. O estudo não treina nenhum modelo de linguagem.

English

Every chemical language model reading SMILES begins with a tokenizer, yet the field has inherited byte-pair encoding (BPE) from natural language with little scrutiny. In natural language, BPE's principal alternative, Unigram-LM, is known to build structurally different vocabularies. Whether that contrast survives in chemistry was open. We report a controlled comparison of BPE and Unigram-LM over a fixed 165-token chemistry base, at the small vocabulary sizes where token embeddings are learnable, across three corpus typologies (diverse, drug-like, natural-products) and both pre-tokenization boundary policies. The two do not converge. In all 22 matched conditions they build near-disjoint subword vocabularies: cross-algorithm Jaccard overlap on the learned pieces never exceeds 0.161, and at most 0.05 once weighted toward the high-frequency pieces a model updates most. Unigram-LM also segments held-out molecules into 29-41% more tokens; the arms largely agree on where to cut but not how deeply, so BPE's segmentation is a strict coarsening of Unigram-LM's on 80-99% of molecules. The separation holds across corpus, boundary, and vocabulary size, persisting even at eight times that scale. The subword algorithm is therefore a modeling decision, not a free default. The study trains no language models.