persona-length-content-bench

性格ペルソナ・語数上限・発話内容で選ぶ対話モデル

対話エージェントに性格ペルソナ・語数上限・発話内容の 3 つの指示を同時に与え、語数上限を絞り項目を増やしながら測った 15 のオープンモデルの結果から、用途に合うモデルを 3 段で選びます。まず 3 つの指示をどこまで守り続けられるか(耐性)で絞り、次に守れなくなったときに残したい指示で選び、最後に速度とサイズで決めます。

モデル 15場面 300性格の側面 30語数上限 8 段階発話内容 0〜3 項目生成 3 周

STEP 13 つの指示をどこまで守り続けられるかで絞る

耐性は、3 つの指示を同時に与えて語数上限を絞り項目を増やしたとき、性格の残存率・語数を守った割合・内容をすべて伝えた割合の 3 つがそろって高いほど高くなる値です(調和平均)。1 つの指示をほとんど守らないモデルは、他の 2 つが高くても上がりません。

論文では例として 70 を使っています。下げるほど多くのモデルが残ります。
横軸は出力速度(トークン/秒、A100 1 枚・同時 64 系列)。塗りつぶしは下限以上のモデル。破線はそれより速いモデルに耐性で上回られない点を結んだもの。

STEP 2守れなくなったとき残したい指示で選ぶ

制約が厳しくなり 3 つを同時には守れなくなったとき、どの指示を残すかはモデルで違います。各モデルの崩壊点(性格なしで語数上限と 3 項目の内容を両方 80% 以上守れる最も厳しい語数上限)で 3 つを同時に与え、各指示を守った割合から、指示のタイミングの基準(同じ種類の指示をシステムプロンプトとターンごとのプロンプトに矛盾させた基準実験の値)を引いた差で測ります。正ならその指示を余計に残し、負なら捨てています。

縦軸は崩壊点で 3 つを同時に与えたときにその指示を守った割合から基準を引いた差(ポイント)。塗りつぶしは STEP 1 で残ったモデル。

STEP 3速度とサイズで決める

STEP 1 と STEP 2 で残ったモデルのうち、許容できる速度とサイズの範囲で最も速いモデルを答えにします。

A100 80GB 1 枚、vLLM、同時 64 系列での生成トークン数/秒。
総パラメータ数(B)。Gemma 4 E4B/E2B は推論時に使うのが 4B/2B です。

全モデルの値

論文の表 5〜7 の数値です。耐性と 3 つの値は 24 組合せの平均、崩壊点での値は 3 つを同時に与えたときに守った割合、差は基準実験の値を引いたもの、単独は各指示だけを与えたときの値です。