LocalLLaMAのGemma 4翻訳例、「自分で動かす」価値に反応

r/LocalLLaMAの投稿が反応を集めたのは、きれいなbenchmarkではなく、生々しいuse caseだったからだ。投稿者は中国のweb novelをchapterごとに翻訳しており、secret identityやcharacter nameのconsistencyを保つ必要があった。同じpromptを複数modelで試したところ、cloud modelのquality driftやfilteringを感じたという。タイトルの「If you don't run it, you don't own it」がその問題意識をそのまま表している。

比較は狭いが具体的だ。投稿者によれば、GPT OSS 120Bはcharacter nameを混同し、Qwen 3 MaxとQwen 3.6 Plusは文章自体は悪くないがこのtaskではfilterに引っかかった。ChatGPT 5.3は正しい名前選択と自然さで失敗したという。一方、Gemma 4 31Bはnaturalで速いtranslationとしてPASS、Qwen 3.5 27BとGemini Chatはpronounやnameの問題がありpartial passとされた。

面白いのは、Gemma 4が一般的にhosted modelを上回るという主張ではない。hosted modelのbehaviorがuserの足元で変わることへの不信だ。投稿者は、以前はChatGPT 4oがこのworkflowで最良だったが、その後のupdateやA/B testingを経て同じpromptの信頼性が下がったと書いている。local modelはleaderboard上で弱くても、versionを固定し、quantizationやpromptを自分で管理し、private workloadに対して再現性を持たせられる。

コメント欄もこのテーマを広げた。小さなlocal modelがSwiss German transcriptionのようなniche language taskで意外に強かったという経験談があり、silent model changeやfilteringをcloud serviceのoperational riskとして見る声もあった。公開datasetに基づくbenchmarkではなく、小説翻訳というdomainに偏った事例であることは重要だ。しかしその偏りこそ、LocalLLaMAらしい価値でもある。

元の議論はReddit postで読める。このケースが示すのはlocal LLMの全面勝利ではなく、version stability、censorship behavior、prompt reproducibilityが重要なrepeat workflowでは、controlそのものがmodel qualityの一部になるという点だ。