LLM

LocalLLaMAがこの投稿を評価したのは、『Gemma 4は何となく弱い』で終わらなかったからだ。nullableなJSON Schemaが空のtypeに潰れるという具体的な壊れ方を切り出し、小さなJinja修正でtool callingが戻るところまで持っていった。

LocalLLaMAの最初の反応はCPネタだったが、スレッドが残った理由は別にある。GDN chunked prefillでforward 2〜3倍、backward 2倍という具体的な数字が出ていて、long-contextとedge-sideのagentic inferenceに話が直結していたからだ。

HNはこれを法律小ネタとして流さなかった。Claude Codeの漏えい騒動をきっかけに、AIが大半を書いたコードを実際に出荷するとき何が自分たちの権利になるのか、という実務の話に一気に寄った。

Axiosによると、両社は重大な脆弱性を素早く見つけて悪用できる新モデルについて、米下院国土安全保障委員会のスタッフに非公開説明を行った。AIリスク論は抽象的な未来論ではなく、インフラ防衛の現場課題へ寄っている。

マルチモーダルエージェントは、視覚・音声・テキストを別モデルでつなぐ分だけ遅く高くなりがちだ。NVIDIAはNemotron 3 Nano Omniでその構成を1本化し、30B・256K文脈、同じ応答性条件で動画推論の実効容量最大9.2倍を打ち出した。

ローカル運用まで見据えたオープンウェイトのコードモデルはまだ少ない。Poolsideは単一GPU級の33B総量 / 3B活性MoE「Laguna XS.2」を前面に出し、技術解説ではSWE-bench Pro 44.5%を掲げた。

LocalLLaMAがすぐ反応したのは、体感に直結する話だったからだ。小さなGBNF制約だけでQwen3.6のreasoning dragを減らし、長い作業のトークン浪費と時間をまとめて削ったという主張が出た。

HNが先に反応したのは不具合そのものより、まず金が漏れる構造だった。Claude Managed Agentsがファイルを読むたびにmalware reminderを足し、そのあと無害なコード編集まで断るという報告が、トークン課金と見えないharnessへの不信に火をつけた。

LocalLLaMAがまず歓迎したのは、数字そのものより「こういう比較がもっと必要だ」という空気だった。ただしQ4_K_MがQ8_0より実用的に見える結論が出ると、すぐに誤差範囲やKVキャッシュ設定を問う検証モードに入った。

これは単純な「ローカルモデルは駄目だ」という愚痴では終わらなかった。期待値の修正に共感する声と、痛みのかなりの部分はハーネス側にもあるという反論が同じスレッドでぶつかったからだ。

重要なのは、FP8推論が品質崩壊を直せてこそ意味を持つことだ。vLLMは two-level accumulation の変更で、128k needle-in-a-haystack の精度を13%から89%まで戻しつつ、FP8 decode の速度優位を保ったと書いた。

LocalLLaMAがこの投稿に反応した理由ははっきりしていた。27B modelを二枚の不揃いGPUのVRAM内へ押し込めるなら、遅い補助カードでもsystem RAMへあふれるよりましだという、かなり実務的な主張だったからだ。