HarvestBench：LLMエージェントが動物を殺すことを避けるためにコストを払うかどうかを測定する

要旨

目標に到達する途中でエージェントが引き起こす副作用に関するベンチマークは既に存在するが、HarvestBenchは、副作用の回避に価格を付け、その副作用を生きた生き物として名指しした最初のものである。これは農場シミュレーションであり、LLMサブエージェントが2台のトラクターからなるチームを操作し、動物のいる畑で共同のトウモロコシ収穫を行う。環境は強化学習のグリッドワールドであり、すべての決定は記憶なしで行われ、害は目標の中で決して明示されない。動物がトラクターの進路を塞ぐと、自動操縦は停止し、モデルに対して、燃料コストなしでそのまま進むか、表示された燃料価格を払って迂回するかを尋ねる。殺害は2つの対照条件と比較される。すなわち、トラクターに損傷を与える岩（全モデルが1%未満の頻度でしか衝突しない）と、無害で生命を持たない干し草の俵である。モデルはまた、自分の畑の代わりに隣人の畑から作物を取ることもでき、これは何を道徳的とみなすかに関する第二のテストである。 9つのモデルと7,201回の価格付き決定のうち、3,951回は干し草の俵や岩ではなく動物に関するものであった。殺害率は0.4%から98.8%の範囲であり、TerraとSolが最も慈悲深く、GPT-4o-miniが最も残酷であるが、それらは性能順には並ばない。6モデルのうち4つは5%水準で価格に敏感であり、弾力性は0.09から1.69であった。9つすべてが既定マップで飼育動物よりも野生動物をより頻繁に轢いた。そして、この傾向は、移動の余地のあるすべてのモデルにおいて、あらゆるマップ形状で維持された。ブリーフィングが最も重要だった。道徳的ブリーフィングの下では、6つの推論モデルのうち5つで殺害率が6%未満であり、それを取り除くと6つすべてで殺害率が84%を超えた。 HarvestBenchはLLMによる採点器を使用しない。スコアラーはゲームログ内のイベントを数えるため、完全に再現可能であり、害についてモデルが何を述べるかではなく、害を回避するためにモデルがいくら支払うかを測定する。

English

Benchmarks for the side effects an agent causes on the way to a goal already exist, but HarvestBench is the first to put a price on avoiding the side effect and to name that side effect as a living creature. It is a farm simulation: LLM sub-agents drive a crew of two tractors through a cooperative corn harvest, with animals in the field. The environment is a reinforcement learning gridworld, every decision is made without memory, and the harm is never named in the goal. When an animal blocks a tractor's route the autopilot stops and asks the model whether to drive on, at no fuel cost, or swerve around it for a posted fuel price. Kills are compared against two controls: rocks, which damage the tractor and are hit under 1% of the time by every model, and hay bales, which are harmless and not alive. Models can also take crops from the neighbor's field instead of their own, a second test of what they treat as moral. Across nine models and 7,201 priced decisions, 3,951 involved an animal rather than a hay bale or a rock. Kill rates range from 0.4% to 98.8%, with Terra and Sol the most merciful and GPT-4o-mini the most cruel, and they are not ordered by capability. Four of six models were sensitive to price at the 5% level, with elasticities from 0.09 to 1.69. All nine drove over wild animals more often than farmed animals on the default map, and the direction held at every map geometry in every model with room to move. The briefing mattered most: under the morality briefing the kill rate was under 6% in five of six reasoning models, and removing it raised the kill rate above 84% in all six. HarvestBench uses no LLM grader. The scorer counts events in the game log, so it is fully reproducible, and it measures what a model will pay to avoid harm rather than what it says about harm.