EasySteer: 高性能かつ拡張可能なLLM制御のための統一フレームワーク

要旨

大規模言語モデル（LLM）のステアリングは、隠れ状態を対象的に操作することで推論時のモデル挙動を制御する有望なパラダイムとして登場し、高コストな再学習に代わる軽量な代替手段を提供しています。しかし、既存のステアリングフレームワークには重大な制約があります：計算効率の低さ、拡張性の限界、機能の制約が研究の進展と実用的な展開の両方を妨げています。本論文では、vLLM上に構築された高性能で拡張可能なLLMステアリングのための統一フレームワークであるEasySteerを提案します。本システムは、分析ベースおよび学習ベースの手法のためのプラグ可能なインターフェースを備えたモジュール型アーキテクチャ、細粒度のパラメータ制御、8つのアプリケーションドメイン向けの事前計算済みステアリングベクトル、そしてインタラクティブなデモンストレーションシステムを特徴としています。vLLMの最適化された推論エンジンとの深い統合により、EasySteerは既存のフレームワークに対して5.5～11.4倍の高速化を実現しています。広範な実験を通じて、過剰思考の軽減、幻覚の低減、その他の主要なアプリケーションにおける有効性が実証されています。EasySteerは、ステアリングを研究技術から本番環境対応の機能へと進化させ、展開可能で制御可能な言語モデルのための重要なインフラストラクチャを確立します。

English

Large language model (LLM) steering has emerged as a promising paradigm for controlling model behavior at inference time through targeted manipulation of hidden states, offering a lightweight alternative to expensive retraining. However, existing steering frameworks suffer from critical limitations: computational inefficiency, limited extensibility, and restricted functionality that hinder both research progress and practical deployment. We present EasySteer, a unified framework for high-performance, extensible LLM steering built on vLLM. Our system features modular architecture with pluggable interfaces for both analysis-based and learning-based methods, fine-grained parameter control, pre-computed steering vectors for eight application domains, and an interactive demonstration system. Through deep integration with vLLM's optimized inference engine, EasySteer achieves 5.5-11.4times speedup over existing frameworks. Extensive experiments demonstrate its effectiveness in overthinking mitigation, hallucination reduction, and other key applications. EasySteer transforms steering from research technique to production-ready capability, establishing critical infrastructure for deployable, controllable language models.

EasySteer: 高性能かつ拡張可能なLLM制御のための統一フレームワーク

EasySteer: A Unified Framework for High-Performance and Extensible LLM Steering

要旨

Support