ReFeed: Многомерное уточнение суммаризации с рефлексивным анализом на основе обратной связи

ReFeed: Multi-dimensional Summarization Refinement with Reflective Reasoning on Feedback

March 27, 2025

Авторы: Taewon Yun, Jihwan Oh, Hyangsuk Min, Yuho Lee, Jihwan Bang, Jason Cai, Hwanjun Song

cs.AI

Аннотация

Усовершенствование суммаризации сталкивается с трудностями при расширении на несколько измерений. В данной статье мы представляем ReFeed, мощный конвейер для улучшения суммаризации, который усиливает несколько измерений через рефлексивное рассуждение на основе обратной связи. Для достижения этого мы выпускаем SumFeed-CoT, крупномасштабный набор данных на основе Long-CoT, оптимизированный для обучения легковесной модели с рефлексивным рассуждением. Наши эксперименты показывают, как количество измерений, воздействие обратной связи и стратегия рассуждения влияют на производительность улучшения, подчеркивая, что рефлексивное рассуждение и одновременное рассмотрение множественной обратной связи имеют решающее значение для смягчения компромиссов между измерениями. Кроме того, ReFeed устойчив к зашумленной обратной связи и порядку обратной связи. Наконец, наше исследование подчеркивает, что создание данных с четкой целью и руководящими принципами составляет фундаментальную основу эффективного рассуждения. Набор данных и модель будут опубликованы.

English

Summarization refinement faces challenges when extending to multi-dimension. In this paper, we introduce ReFeed, a powerful summarization refinement pipeline that enhances multiple dimensions through reflective reasoning on feedback. To achieve this, we release SumFeed-CoT, a large-scale Long-CoT-based dataset optimized for training a lightweight model with reflective reasoning. Our experiments reveal how the number of dimensions, feedback exposure, and reasoning policy influence refinement performance, highlighting reflective reasoning and simultaneously addressing multiple feedback is crucial to mitigate trade-off between dimensions. Furthermore, ReFeed is robust to noisy feedback and feedback order. Lastly, our finding emphasizes that creating data with a proper goal and guideline constitutes a fundamental pillar of effective reasoning. The dataset and model will be released.