Où couper, à quelle profondeur : BPE et Unigram-LM sur les SMILES chimiques

Résumé

Chaque modèle de langage chimique lisant des SMILES commence par un tokeniseur, mais le domaine a hérité du codage par paires d'octets (BPE) issu du langage naturel avec peu d'examen critique. En langage naturel, la principale alternative au BPE, Unigram-LM, est reconnue pour construire des vocabulaires structurellement différents. La question de savoir si cette distinction persiste en chimie restait ouverte. Nous présentons une comparaison contrôlée entre BPE et Unigram-LM sur une base chimique fixe de 165 tokens, pour les petites tailles de vocabulaire où les plongements de tokens sont apprenables, à travers trois typologies de corpus (diversifié, de type médicament, produits naturels) et les deux politiques de limites de pré-tokenisation. Les deux méthodes ne convergent pas. Dans les 22 conditions appariées, elles construisent des vocabulaires de sous-mots quasi disjoints : le chevauchement de Jaccard inter-algorithmes sur les pièces apprises ne dépasse jamais 0,161, et au maximum 0,05 une fois pondéré en faveur des pièces à haute fréquence qu'un modèle met le plus à jour. Unigram-LM segmente également les molécules exclues en 29 à 41 % de tokens supplémentaires ; les deux méthodes s'accordent largement sur l'endroit où couper, mais pas sur la profondeur, de sorte que la segmentation de BPE est un épaississement strict de celle d'Unigram-LM sur 80 à 99 % des molécules. La séparation se maintient à travers le corpus, la limite et la taille du vocabulaire, persistant même à huit fois cette échelle. L'algorithme de sous-mots constitue donc une décision de modélisation, et non un choix par défaut libre. L'étude n'entraîne aucun modèle de langage.

English

Every chemical language model reading SMILES begins with a tokenizer, yet the field has inherited byte-pair encoding (BPE) from natural language with little scrutiny. In natural language, BPE's principal alternative, Unigram-LM, is known to build structurally different vocabularies. Whether that contrast survives in chemistry was open. We report a controlled comparison of BPE and Unigram-LM over a fixed 165-token chemistry base, at the small vocabulary sizes where token embeddings are learnable, across three corpus typologies (diverse, drug-like, natural-products) and both pre-tokenization boundary policies. The two do not converge. In all 22 matched conditions they build near-disjoint subword vocabularies: cross-algorithm Jaccard overlap on the learned pieces never exceeds 0.161, and at most 0.05 once weighted toward the high-frequency pieces a model updates most. Unigram-LM also segments held-out molecules into 29-41% more tokens; the arms largely agree on where to cut but not how deeply, so BPE's segmentation is a strict coarsening of Unigram-LM's on 80-99% of molecules. The separation holds across corpus, boundary, and vocabulary size, persisting even at eight times that scale. The subword algorithm is therefore a modeling decision, not a free default. The study trains no language models.