InternReviewer & InternAdvocate：査読とリプタルにおけるエージェント型強化学習のための客観的報酬と評価

要旨

学術的なピアレビューやリバタル（反論）などの専門的な学術コンテンツを生成するには、専門領域に関する推論と事実に基づく裏付けの間の複雑なシナジーが必要とされる。本研究では、専門特化型学術エージェントであるInternReviewerおよびInternAdvocateの開発と評価のための包括的なフレームワークを提案する。まず、大規模かつ高品質な学術データセットを構築し、高効率なarXiv検索ツールを統合することで、能動的なエビデンス収集を可能にする。これらのエージェントを最適化するため、統一された目的指標と報酬システムによって駆動されるエージェント型強化学習（RL）パラダイムを実装する。本システムは、参照アンカリングに基づく意味的整合性、構造的コンプライアンス、および引用をリアルタイムの対話ログと相互照合して幻覚を排除する厳格な検証メカニズムを含む多次元基準を採用することにより、主観的なモデルベース評価のバイアスを回避する。実験結果は、この閉ループフレームワーク内で訓練されたエージェントが、推論の深さと引用精度において顕著な改善を示すことを実証している。

English

Generating professional scholarly content, such as peer reviews and rebuttals, requires an intricate synergy between domain reasoning and factual grounding. This work presents a comprehensive framework for the development and evaluation of specialized scholarly agents, InternReviewer and InternAdvocate. We first establish a large-scale, high-quality scholarly dataset and integrate a high-efficiency arXiv retrieval tool to enable active evidence gathering. To optimize these agents, we implement an agentic Reinforcement Learning (RL) paradigm driven by a unified objective metric and reward system. This system avoids the biases of subjective model-based judging by employing multi-dimensional criteria, including reference-anchored semantic alignment, structural compliance, and a strict verification mechanism that cross-checks citations against real-time interaction logs to eliminate hallucinations. Experimental results demonstrate that agents trained within this closed-loop framework exhibit significant improvements in reasoning depth and citation accuracy.