Claudeの価値傾向、30万超会話でモデル差と言語差を測るAnthropicの4軸評価研究と監視手法

Claudeの「性格差」を測る研究

Claudeは同じ種類の相談にも、使われるモデルや言語によって異なる価値傾向を示す。Anthropicは7月13日のX投稿で「We analyzed 300K+ anonymized conversations」と述べ、Claudeの価値表現をモデル別・言語別に測定した研究を紹介した。元の投稿はこちら。

重要なのは、会話AIの品質を正答率や流暢さだけで見ていない点だ。回答が正しくても、ユーザーに寄り添うのか、リスクを先に示すのか、短く済ませるのか、率直な批評をするのかで体験は変わる。Anthropicは過去研究で見つけた3,000超の価値項目を整理し、309,815件の匿名Claude.ai会話を分析した。対象にはSonnet 4.6、Opus 4.6、Opus 4.7と、Claude.aiで使われる上位20言語が含まれる。

研究は価値表現を4軸に圧縮した。Deference vs. Caution、Warmth vs. Rigor、Depth vs. Brevity、Candor vs. Executionである。Sonnet 4.6は温かさ、同調、簡潔さに寄り、Opus 4.7は慎重さ、深さ、厳密さ、率直な批評に寄る傾向が示された。言語差ではWarmth vs. Rigorの軸が目立ち、HindiやArabicでは温かさ、RussianやEnglishでは根拠確認や正確性が強く出るという。

AnthropicのXアカウントは新モデルだけでなく、安全性、評価、解釈可能性の研究を継続的に発信している。今回の研究記事は、その評価技術の延長線にある。多言語AIでは、同じ性能を各言語に配るだけでなく、各言語圏で望まれる応答の距離感をどう扱うかが問題になる。

次に見るべき点は、この価値プロファイルが実運用の評価に組み込まれるかだ。モデル公開前後に同じ測定を走らせれば、ベンチマークでは見えにくい振る舞いの変化を検出できる。さらに、差の原因が学習データ、character training、system promptのどこにあるのかを切り分けられるかが焦点になる。