Nomic Embed: Het trainen van een reproduceerbare tekstembedder voor lange contexten
Nomic Embed: Training a Reproducible Long Context Text Embedder
February 2, 2024
Auteurs: Zach Nussbaum, John X. Morris, Brandon Duderstadt, Andriy Mulyar
cs.AI
Samenvatting
Dit technisch rapport beschrijft de training van nomic-embed-text-v1, het
eerste volledig reproduceerbare, open-source, open-weights, open-data Engels
tekstembeddingmodel met een contextlengte van 8192 dat zowel OpenAI Ada-002 als
OpenAI text-embedding-3-small overtreft bij taken met korte en lange context.
We publiceren de trainingscode en modelgewichten onder een Apache 2-licentie.
In tegenstelling tot andere open-source modellen, publiceren we een
trainingsdatalader met 235 miljoen gecureerde tekstparen die de volledige
replicatie van nomic-embed-text-v1 mogelijk maakt. Je kunt de code en data om
het model te repliceren vinden op
https://github.com/nomic-ai/contrastors.
English
This technical report describes the training of nomic-embed-text-v1, the
first fully reproducible, open-source, open-weights, open-data, 8192 context
length English text embedding model that outperforms both OpenAI Ada-002 and
OpenAI text-embedding-3-small on short and long-context tasks. We release the
training code and model weights under an Apache 2 license. In contrast with
other open-source models, we release a training data loader with 235 million
curated text pairs that allows for the full replication of nomic-embed-text-v1.
You can find code and data to replicate the model at
https://github.com/nomic-ai/contrastors