ReIn: 추론 기반 대화 오류 복구

초록

도구 통합이 가능한 대규모 언어 모델(LLM) 기반 대화 에이전트는 고정된 작업 지향 대화 데이터셋에서 강력한 성능을 보이지만, 사용자에 의해 발생하는 예상치 못한 오류에 취약합니다. 본 연구는 오류 예방보다는 오류 복구에 주목하며, 이는 오류가 발생한 대화 맥락의 정확한 진단과 적절한 복구 계획의 실행을 필요로 합니다. 상당한 비용과 시간이 소요되는 모델 미세 조정이나 프롬프트 수정을 현실적 제약으로 배제한 상황에서, 우리는 에이전트가 맥락적으로 결함이 있는 상호작용으로부터 복구할 수 있는지, 그리고 모델 매개변수와 프롬프트를 변경하지 않고 에이전트의 행동을 어떻게 적응시킬 수 있는지 탐구합니다. 이를 위해 우리는 테스트 타임 개입 방법인 Reasoning Inception(ReIn)을 제안합니다. ReIn은 에이전트의 의사 결정 과정에 초기 추론을 주입합니다. 구체적으로, 외부 인셉션 모듈이 대화 맥락 내에서 사전 정의된 오류를 식별하고 복구 계획을 생성한 후, 이를 에이전트의 내부 추론 과정에 통합하여 매개변수나 시스템 프롬프트를 수정하지 않고도 수정 조치를 안내합니다. 우리는 사용자 목표 성공적 완료를 직접적으로 방해하는 대화 실패 시나리오(사용자의 모호한 요청과 지원되지 않는 요청)를 체계적으로 시뮬레이션하여 ReIn을 평가합니다. 다양한 에이전트 모델과 인셉션 모듈 조합에서 ReIn은 작업 성공률을 크게 향상시키며 보지 못한 오류 유형으로도 일반화됩니다. 또한, 이 방법은 명시적 프롬프트 수정 접근법을 지속적으로 능가하여 효율적인 실시간 방법으로서의 유용성을 부각합니다. 특히 명령 계층 구조와 관련된 운영 메커니즘에 대한 심층 분석은, ReIn과 함께 복구 도구를 공동으로 정의하는 것이 백본 모델이나 시스템 프롬프트를 수정하지 않고도 대화 에이전트의 회복 탄력성을 향상시키는 안전하고 효과적인 전략이 될 수 있음을 시사합니다.

English

Conversational agents powered by large language models (LLMs) with tool integration achieve strong performance on fixed task-oriented dialogue datasets but remain vulnerable to unanticipated, user-induced errors. Rather than focusing on error prevention, this work focuses on error recovery, which necessitates the accurate diagnosis of erroneous dialogue contexts and execution of proper recovery plans. Under realistic constraints precluding model fine-tuning or prompt modification due to significant cost and time requirements, we explore whether agents can recover from contextually flawed interactions and how their behavior can be adapted without altering model parameters and prompts. To this end, we propose Reasoning Inception (ReIn), a test-time intervention method that plants an initial reasoning into the agent's decision-making process. Specifically, an external inception module identifies predefined errors within the dialogue context and generates recovery plans, which are subsequently integrated into the agent's internal reasoning process to guide corrective actions, without modifying its parameters or system prompts. We evaluate ReIn by systematically simulating conversational failure scenarios that directly hinder successful completion of user goals: user's ambiguous and unsupported requests. Across diverse combinations of agent models and inception modules, ReIn substantially improves task success and generalizes to unseen error types. Moreover, it consistently outperforms explicit prompt-modification approaches, underscoring its utility as an efficient, on-the-fly method. In-depth analysis of its operational mechanism, particularly in relation to instruction hierarchy, indicates that jointly defining recovery tools with ReIn can serve as a safe and effective strategy for improving the resilience of conversational agents without modifying the backbone models or system prompts.

ReIn: 추론 기반 대화 오류 복구

ReIn: Conversational Error Recovery with Reasoning Inception

초록

Support