LLM-R2: Een op grote taalmodellen gebaseerd, regelgestuurd herschrijfsysteem voor het verbeteren van query-efficiëntie

LLM-R2: A Large Language Model Enhanced Rule-based Rewrite System for Boosting Query Efficiency

April 19, 2024

Auteurs: Zhaodonghui Li, Haitao Yuan, Huiming Wang, Gao Cong, Lidong Bing

cs.AI

Samenvatting

Query rewrite, dat als doel heeft om efficiëntere queries te genereren door de structuur van een SQL-query aan te passen zonder het queryresultaat te veranderen, is een belangrijk onderzoeksprobleem geweest. Om de gelijkwaardigheid tussen de herschreven query en de originele query tijdens het herschrijven te behouden, volgen traditionele methoden voor query rewrite altijd bepaalde herschrijfregels. Er blijven echter enkele problemen bestaan. Ten eerste zijn bestaande methoden om de optimale keuze of volgorde van herschrijfregels te vinden nog steeds beperkt, en kost het proces vaak veel resources. Methoden die het ontdekken van nieuwe herschrijfregels omvatten, vereisen meestal ingewikkelde bewijzen van structurele logica of uitgebreide gebruikersinteracties. Ten tweede vertrouwen huidige methoden voor query rewrite sterk op DBMS-kostenschatters, die vaak niet nauwkeurig zijn. In dit artikel pakken we deze problemen aan door een nieuwe methode voor query rewrite voor te stellen, genaamd LLM-R2, waarbij een groot taalmodel (LLM) wordt gebruikt om mogelijke herschrijfregels voor een databasesysteem voor te stellen. Om het inferentievermogen van het LLM bij het aanbevelen van herschrijfregels verder te verbeteren, trainen we een contrastief model via een curriculum om queryrepresentaties te leren en effectieve querydemonstraties voor het LLM te selecteren. Experimentele resultaten hebben aangetoond dat onze methode de uitvoeringsefficiëntie van queries aanzienlijk kan verbeteren en de baseline-methoden overtreft. Bovendien is onze methode zeer robuust over verschillende datasets.

English

Query rewrite, which aims to generate more efficient queries by altering a SQL query's structure without changing the query result, has been an important research problem. In order to maintain equivalence between the rewritten query and the original one during rewriting, traditional query rewrite methods always rewrite the queries following certain rewrite rules. However, some problems still remain. Firstly, existing methods of finding the optimal choice or sequence of rewrite rules are still limited and the process always costs a lot of resources. Methods involving discovering new rewrite rules typically require complicated proofs of structural logic or extensive user interactions. Secondly, current query rewrite methods usually rely highly on DBMS cost estimators which are often not accurate. In this paper, we address these problems by proposing a novel method of query rewrite named LLM-R2, adopting a large language model (LLM) to propose possible rewrite rules for a database rewrite system. To further improve the inference ability of LLM in recommending rewrite rules, we train a contrastive model by curriculum to learn query representations and select effective query demonstrations for the LLM. Experimental results have shown that our method can significantly improve the query execution efficiency and outperform the baseline methods. In addition, our method enjoys high robustness across different datasets.