#local-llm

Hacker NewsはMicrosoftのbitnet.cppを再浮上させ、新しい100B checkpointというよりも、1.58-bit inferenceと省電力なlocal LLM運用へ向けたinfra更新として受け止めた。

高スコアのLocalLLaMA投稿では、16GBのM1 Pro上でQwen 3.5 9Bがmemory recallと基本的なtool callingを実運用向けにこなしつつ、creative reasoningでは依然としてfrontier modelに及ばなかったと報告された。

Hacker Newsで注目されたUnslothのQwen3.5ガイドは、27Bや35B-A3Bをローカル環境で動かすためのメモリ要件、thinking制御、llama.cpp手順を実務向けにまとめている。

r/LocalLLaMAで注目されたPSAは、OllamaやLM Studioのような便利レイヤーがmodel behaviorを変えてしまうため、新モデルの評価はまずllama.cpp、transformers、vLLM、SGLangのような基礎ランタイムで行うべきだと勧めている。コメントでも、重要なのは特定ツールの好みではなく、template、stop token、sampling、quantizationを固定した再現性だと強調された。

r/LocalLLaMAで注目を集めた投稿は、llama-swapを使ってローカルLLMの多モデル運用を整理した具体例を共有。単一バイナリ、YAML設定、systemd運用、パラメータフィルタが実務上の利点として語られた。

Transformers.jsとWebGPUを使用してQwen 3.5 0.8Bモデルをサーバーなしでブラウザ上で完全実行するデモがr/LocalLLaMAでスコア440を獲得しました。インストールもAPIキーも不要で、GPUアクセス可能な最新ブラウザだけで動作します。

13ヶ月の驚くべき比較：2025年初頭にはDeepSeek R1をフロンティアレベルで約5 t/s実行するのに$6,000が必要だったが、今では$600のミニPCでさらに優れたモデルを同じ速度で、もしくは17-20 t/sで実行できる。

AlibabaのQwenチームがQwen 3.5 Smallをリリースした。r/LocalLLaMAで1,000以上のアップボートを記録したこの発表は、高性能小型モデルへのコミュニティの高い関心を反映している。

r/LocalLLaMAコミュニティで、Qwen 3.5-35B-A3BがGPT-OSS-120Bよりも優れた性能を示しながら、サイズは1/3に過ぎないとする投稿が高評価を得ています。

r/LocalLLaMAで、Qwen3.5-35B-A3Bを単一RTX 3090で運用したagentic coding検証が大きな反響を得た。投稿者は100+ tokens/sと実務的なコーディング課題の通過を報告したが、コメントではツール利用の安定性や量子化設定による再現差も指摘されている。

r/LocalLLaMAコミュニティで、AlibabのQwen公式チャットインターフェースにQwen3.5モデル名が表示されているとの報告が話題に。次世代オープンソースLLMシリーズのリリースが間近に迫っていることを示唆している。

Qwen3のTTSモデルは声を1024次元ベクトルにエンコードし、性別変換・音高調整・感情空間生成などの数学的な音声操作を可能にします。軽量なスタンドアロンエンコーダーとしてHuggingFaceで公開されています。