より安いモデルを探す前に、エージェントがモデルを呼び出す仕組みを見直す。Writerは新しい主力モデルPalmyra X6と改良したエージェント実行基盤を8月13日から顧客に提供し始めた。基本タスクにおけるコスト削減の会社推定値は最大50%だ。

TechCrunchの報道によると、Palmyra X6はZ.aiのオープンソースモデルGLM-5.2をポストトレーニングした派生モデルである。企業での導入を想定した状態で提供する一方、実行環境は特定モデルに固定しない。Writerの別モデルや、Azure、Amazon Bedrockから取り込んだ外部モデルと並べて運用できる。

コスト削減の主戦場をモデルの外へ

改良した実行基盤は、複雑な複数段階のタスクを、より少ないトークンで速く終えることに重点を置く。Writer研究陣の最近の論文では、複数のモデルを対象に実行基盤の小さな効率改善を試した。その結果、モデルを交換するよりも安定したコスト削減が得られ、テスト全体では平均40%下がったという。

エージェントは単発の質問に答えるだけではない。計画を立て、ツールを呼び、結果を読み、必要なら再試行する。不要な文脈を何度も送ったり、余分な手順を踏んだりすれば、1トークン当たりの価格が安くてもタスク全体の費用は膨らむ。Writerの設計は、単価ではなく一つの仕事を完了するまでの総消費量を抑える。

実行基盤の改善は、組織が利用するすべてのモデルに効くというのが同社の主張だ。モデルに依存しない構成なら、価格や性能の変化に合わせて基盤モデルを入れ替えても、オーケストレーションの改善は残る。Palmyra X6は、公開モデルを土台にした新しい標準候補としてその環境に加わる。

本番環境で問われる40%の再現性

最大50%という数字は基本タスクに対するWriterの推定であり、すべての導入先に共通する値ではない。実際の削減幅はタスクの長さ、ツール呼び出し回数、再試行、既存設定によって変わる。トークンを減らしても品質を維持できるかも確認が必要だ。

注目すべき指標は単独のベンチマークではなく、完了したタスク1件当たりの費用と完了率になる。研究で示した平均40%減が顧客環境でも再現され、長い複数段階の作業でも品質を保てるなら、企業向けエージェントの競争軸はモデル規模から実行効率へ移る。Palmyra X6は、その主張を本番で試す製品になった。

#palmyra-x6

WriterのPalmyra X6、実行基盤改良でエージェント費用最大50%減、モデル交換より効率へ