Iteratieve Grafiekuitlijning

Iterative Graph Alignment

August 29, 2024

Auteurs: Fangyuan Yu, Hardeep Singh Arora, Matt Johnson

cs.AI

Samenvatting

Door diverse narratieven te comprimeren, gaan grote taalmodellen (LLMs) verder dan memorisatie en bereiken ze intelligentie door generaliseerbare causale relaties vast te leggen. Ze kampen echter met lokale 'representatiehiaten' als gevolg van onvoldoende diversiteit in de trainingsdata, wat hun praktische bruikbaarheid beperkt, vooral bij taken die strikte naleving van regels vereisen. Traditionele uitlijningsmethoden die zwaar leunen op menselijke annotaties zijn inefficiënt en niet schaalbaar. Recente zelfuitlijningsmethoden schieten ook tekort, omdat ze vaak afhankelijk zijn van zelfselectie gebaseerd op prompting en op memorisatie gebaseerd leren. Om deze problemen aan te pakken, introduceren we Iteratieve Grafiek Uitlijning (IGA), een annotatievrij, op regels gebaseerd uitlijningsalgoritme. Een leraarmodel (VLM) gebruikt Iteratieve Grafiek Prompting (IGP) om logische grafieken en referentieantwoorden te creëren. Het studentmodel (LLM) identificeert lokale kennislacunes door te proberen zijn antwoorden af te stemmen op deze referenties, waarbij het samenwerkt met hulpmodellen om diverse antwoorden te genereren. Deze uitgelijnde antwoorden worden vervolgens gebruikt voor iteratieve supervised fine-tuning (SFT). Onze evaluaties in vijf op regels gebaseerde scenario's tonen de effectiviteit van IGP aan, met een verbetering van 73,12% in uitlijning voor Claude Sonnet 3.5, en Llama3-8B-Instruct behaalt een verbetering van 86,20%, wat Claude Sonnet 3.5 overtreft in op regels gebaseerde uitlijning.

English

By compressing diverse narratives, LLMs go beyond memorization, achieving intelligence by capturing generalizable causal relationships. However, they suffer from local 'representation gaps' due to insufficient training data diversity, limiting their real-world utility, especially in tasks requiring strict alignment to rules. Traditional alignment methods relying on heavy human annotations are inefficient and unscalable. Recent self-alignment techniques also fall short, as they often depend on self-selection based prompting and memorization-based learning. To address these issues, we introduce Iterative Graph Alignment (IGA), an annotation-free rule-based alignment algorithm. A teacher model (VLM) employs Iterative Graph Prompting (IGP) to create logical graphs and reference answers. The student model (LLM) identifies local knowledge gaps by attempting to align its responses with these references, collaborating with helper models to generate diverse answers. These aligned responses are then used for iterative supervised fine-tuning (SFT). Our evaluations across five rule-based scenarios demonstrate IGP's effectiveness, with a 73.12\% alignment improvement in Claude Sonnet 3.5, and Llama3-8B-Instruct achieving an 86.20\% improvement, outperforming Claude Sonnet 3.5 in rule-based alignment.