CRINN: Contrastief Reinforcement Learning voor Zoeken naar de Dichtstbijzijnde Buren

CRINN: Contrastive Reinforcement Learning for Approximate Nearest Neighbor Search

August 4, 2025

Auteurs: Xiaoya Li, Xiaofei Sun, Albert Wang, Chris Shum, Jiwei Li

cs.AI

Samenvatting

Algoritmen voor het zoeken naar de dichtstbijzijnde buren (ANNS) zijn steeds belangrijker geworden voor recente AI-toepassingen, met name in retrieval-augmented generation (RAG) en agent-gebaseerde LLM-toepassingen. In dit artikel presenteren we CRINN, een nieuw paradigma voor ANNS-algoritmen. CRINN behandelt ANNS-optimalisatie als een reinforcement learning-probleem waarbij uitvoeringssnelheid dient als het beloningssignaal. Deze aanpak maakt de automatische generatie van steeds snellere ANNS-implementaties mogelijk, terwijl nauwkeurigheidsbeperkingen worden gehandhaafd. Onze experimentele evaluatie toont de effectiviteit van CRINN aan over zes veelgebruikte NNS-benchmarkdatasets. In vergelijking met state-of-the-art open-source ANNS-algoritmen behaalt CRINN de beste prestaties op drie daarvan (GIST-960-Euclidean, MNIST-784-Euclidean en GloVe-25-angular), en eindigt het op gelijke hoogte met de beste op twee daarvan (SIFT-128-Euclidean en GloVe-25-angular). De implicaties van het succes van CRINN reiken veel verder dan ANNS-optimalisatie: het bevestigt dat LLM's die zijn versterkt met reinforcement learning kunnen functioneren als een effectief hulpmiddel voor het automatiseren van geavanceerde algoritmische optimalisaties die gespecialiseerde kennis en arbeidsintensieve handmatige verfijning vereisen. Code is te vinden op https://github.com/deepreinforce-ai/CRINN.

English

Approximate nearest-neighbor search (ANNS) algorithms have become increasingly critical for recent AI applications, particularly in retrieval-augmented generation (RAG) and agent-based LLM applications. In this paper, we present CRINN, a new paradigm for ANNS algorithms. CRINN treats ANNS optimization as a reinforcement learning problem where execution speed serves as the reward signal. This approach enables the automatic generation of progressively faster ANNS implementations while maintaining accuracy constraints. Our experimental evaluation demonstrates CRINN's effectiveness across six widely-used NNS benchmark datasets. When compared against state-of-the-art open-source ANNS algorithms, CRINN achieves best performance on three of them (GIST-960-Euclidean, MNIST-784-Euclidean, and GloVe-25-angular), and tied for first place on two of them (SIFT-128-Euclidean and GloVe-25-angular). The implications of CRINN's success reach well beyond ANNS optimization: It validates that LLMs augmented with reinforcement learning can function as an effective tool for automating sophisticated algorithmic optimizations that demand specialized knowledge and labor-intensive manual refinement.Code can be found at https://github.com/deepreinforce-ai/CRINN