ReFeed: 피드백에 대한 반성적 사고를 통한 다차원 요약 정제

ReFeed: Multi-dimensional Summarization Refinement with Reflective Reasoning on Feedback

March 27, 2025

저자: Taewon Yun, Jihwan Oh, Hyangsuk Min, Yuho Lee, Jihwan Bang, Jason Cai, Hwanjun Song

cs.AI

초록

다차원으로 확장될 때 요약 정제 작업은 여러 도전에 직면합니다. 본 논문에서는 피드백에 대한 반성적 추론을 통해 다차원을 강화하는 강력한 요약 정제 파이프라인인 ReFeed를 소개합니다. 이를 위해, 반성적 추론이 가능한 경량 모델을 훈련시키기 위해 최적화된 대규모 Long-CoT 기반 데이터셋인 SumFeed-CoT를 공개합니다. 우리의 실험은 차원의 수, 피드백 노출, 그리고 추론 정책이 정제 성능에 미치는 영향을 밝혀내며, 반성적 추론과 다중 피드백의 동시 처리가 차원 간의 트레이드오프를 완화하는 데 중요함을 강조합니다. 더 나아가, ReFeed는 노이즈가 있는 피드백과 피드백 순서에 대해 강건함을 보입니다. 마지막으로, 적절한 목표와 가이드라인을 갖춘 데이터 생성이 효과적인 추론의 근본적인 기둥을 구성한다는 점을 강조합니다. 데이터셋과 모델은 공개될 예정입니다.

English

Summarization refinement faces challenges when extending to multi-dimension. In this paper, we introduce ReFeed, a powerful summarization refinement pipeline that enhances multiple dimensions through reflective reasoning on feedback. To achieve this, we release SumFeed-CoT, a large-scale Long-CoT-based dataset optimized for training a lightweight model with reflective reasoning. Our experiments reveal how the number of dimensions, feedback exposure, and reasoning policy influence refinement performance, highlighting reflective reasoning and simultaneously addressing multiple feedback is crucial to mitigate trade-off between dimensions. Furthermore, ReFeed is robust to noisy feedback and feedback order. Lastly, our finding emphasizes that creating data with a proper goal and guideline constitutes a fundamental pillar of effective reasoning. The dataset and model will be released.