安全分類をローカルに近づける

AIアプリのcontent safetyは、ルール作りだけでなく実装と運用の問題になっている。Mistral AIはXでShieldstralを“3B open-weights model for content safety”と表現した。出典はMistral AIの元ツイートで、関連資料にはHugging Faceのモデルカード、Mistral Docs、技術報告が含まれる。

“3B open-weights model for content safety”

Shieldstralの特徴は、固定カテゴリだけを予測するmoderationモデルではない点にある。自然言語で書いた安全ポリシーを入力し、その文書や画像が条件を満たすかをyes/no形式で判定する。Hugging Faceのモデルカードは、テキストのみ、画像のみ、テキストと画像の組み合わせを同じインターフェースで扱えると説明する。12言語、32kトークンの学習範囲、Safetensors形式、Apache 2.0ライセンスも明記されている。

数字の面でも、単なるモデルカード更新より重い。MistralのドキュメントはShieldstral 1.0をpublic previewとして扱い、3.8Bパラメータと記載する。一方、X投稿は3Bクラスの公開重みモデルとして伝えた。モデルカードにはWildGuardTestのprompt safety F1 88.1、HarmBenchのprompt classification F1 99.4、VLGuardのmultimodal safety F1 97.7が並ぶ。大きな外部APIを毎回呼ぶのではなく、自社ポリシーを文章で変えながらローカルに近い場所で判定したいチームには重要な選択肢だ。

次に見るポイント

Mistralの公式アカウントは、公開重みモデル、API、研究成果の主要な告知経路である。今後の焦点は、報告されたベンチマークが日本語や韓国語を含む運用データで再現するか、閾値調整で過剰拒否や見逃しが増えないか、vLLM、llama.cpp、SGLang、Transformers経由の実装が十分に軽いかである。

Source: Mistral AI on X

#content-safety

Shieldstral、3Bマルチモーダル安全モデルを単一16GB GPUへ載せた狙い