Итеративное выравнивание графов

Iterative Graph Alignment

August 29, 2024

Авторы: Fangyuan Yu, Hardeep Singh Arora, Matt Johnson

cs.AI

Аннотация

Сжимая разнообразные повествования, LLM превосходят запоминание, достигая интеллекта за счет захвата обобщенных причинно-следственных связей. Однако они сталкиваются с локальными "пробелами в представлении" из-за недостаточного разнообразия обучающих данных, что ограничивает их практическую применимость в реальном мире, особенно в задачах, требующих строгого соответствия правилам. Традиционные методы выравнивания, основанные на тяжелых человеческих аннотациях, неэффективны и не масштабируемы. Недавние методы самовыравнивания также не идеальны, поскольку они часто зависят от самоотбора на основе подсказок и запоминания. Для решения этих проблем мы представляем Итеративное Графовое Выравнивание (IGA), алгоритм выравнивания на основе правил без аннотаций. Учительская модель (VLM) использует Итеративное Графовое Подсказывание (IGP) для создания логических графов и эталонных ответов. Студенческая модель (LLM) выявляет локальные пробелы в знаниях, пытаясь выровнять свои ответы с этими эталонами, сотрудничая с вспомогательными моделями для генерации разнообразных ответов. Эти выровненные ответы затем используются для итеративного обучения с учителем (SFT). Наши оценки по пяти сценариям на основе правил демонстрируют эффективность IGP, с улучшением выравнивания на 73,12% в Claude Sonnet 3.5 и достижением улучшения на 86,20% для Llama3-8B-Instruct, превосходя Claude Sonnet 3.5 в выравнивании на основе правил.

English

By compressing diverse narratives, LLMs go beyond memorization, achieving intelligence by capturing generalizable causal relationships. However, they suffer from local 'representation gaps' due to insufficient training data diversity, limiting their real-world utility, especially in tasks requiring strict alignment to rules. Traditional alignment methods relying on heavy human annotations are inefficient and unscalable. Recent self-alignment techniques also fall short, as they often depend on self-selection based prompting and memorization-based learning. To address these issues, we introduce Iterative Graph Alignment (IGA), an annotation-free rule-based alignment algorithm. A teacher model (VLM) employs Iterative Graph Prompting (IGP) to create logical graphs and reference answers. The student model (LLM) identifies local knowledge gaps by attempting to align its responses with these references, collaborating with helper models to generate diverse answers. These aligned responses are then used for iterative supervised fine-tuning (SFT). Our evaluations across five rule-based scenarios demonstrate IGP's effectiveness, with a 73.12\% alignment improvement in Claude Sonnet 3.5, and Llama3-8B-Instruct achieving an 86.20\% improvement, outperforming Claude Sonnet 3.5 in rule-based alignment.