CRINN: Apprendimento per Rinforzo Contrastivo per la Ricerca dei Vicini Più Vicini Approssimati

CRINN: Contrastive Reinforcement Learning for Approximate Nearest Neighbor Search

August 4, 2025

Autori: Xiaoya Li, Xiaofei Sun, Albert Wang, Chris Shum, Jiwei Li

cs.AI

Abstract

Gli algoritmi di ricerca approssimata del vicino più prossimo (ANNS) sono diventati sempre più cruciali per le recenti applicazioni di intelligenza artificiale, in particolare nella generazione aumentata da recupero (RAG) e nelle applicazioni di LLM basate su agenti. In questo articolo presentiamo CRINN, un nuovo paradigma per gli algoritmi ANNS. CRINN tratta l'ottimizzazione ANNS come un problema di apprendimento per rinforzo, dove la velocità di esecuzione funge da segnale di ricompensa. Questo approccio consente la generazione automatica di implementazioni ANNS progressivamente più veloci, mantenendo i vincoli di accuratezza. La nostra valutazione sperimentale dimostra l'efficacia di CRINN su sei ampiamente utilizzati dataset di benchmark NNS. Rispetto agli algoritmi ANNS open-source all'avanguardia, CRINN ottiene le migliori prestazioni su tre di essi (GIST-960-Euclidean, MNIST-784-Euclidean e GloVe-25-angular), e si piazza a pari merito al primo posto su due di essi (SIFT-128-Euclidean e GloVe-25-angular). Le implicazioni del successo di CRINN vanno ben oltre l'ottimizzazione ANNS: convalida che gli LLM potenziati dall'apprendimento per rinforzo possono funzionare come uno strumento efficace per automatizzare sofisticate ottimizzazioni algoritmiche che richiedono conoscenze specializzate e affinamenti manuali laboriosi. Il codice è disponibile all'indirizzo https://github.com/deepreinforce-ai/CRINN.

English

Approximate nearest-neighbor search (ANNS) algorithms have become increasingly critical for recent AI applications, particularly in retrieval-augmented generation (RAG) and agent-based LLM applications. In this paper, we present CRINN, a new paradigm for ANNS algorithms. CRINN treats ANNS optimization as a reinforcement learning problem where execution speed serves as the reward signal. This approach enables the automatic generation of progressively faster ANNS implementations while maintaining accuracy constraints. Our experimental evaluation demonstrates CRINN's effectiveness across six widely-used NNS benchmark datasets. When compared against state-of-the-art open-source ANNS algorithms, CRINN achieves best performance on three of them (GIST-960-Euclidean, MNIST-784-Euclidean, and GloVe-25-angular), and tied for first place on two of them (SIFT-128-Euclidean and GloVe-25-angular). The implications of CRINN's success reach well beyond ANNS optimization: It validates that LLMs augmented with reinforcement learning can function as an effective tool for automating sophisticated algorithmic optimizations that demand specialized knowledge and labor-intensive manual refinement.Code can be found at https://github.com/deepreinforce-ai/CRINN