#llama

MetaがLlamaモデルの派生物を配布していたHereticプロジェクトに法的通知を送りました。Hereticはガリレオを引用する皮肉な声明と共にファイルを削除し、ドイツのCodebergにミラーを設置しました。

text-generation-webuiが「TextGen」に改名し、Windows・Linux・macOS対応のインストール不要なネイティブデスクトップアプリとして生まれ変わった。LM Studioと同様のElectron構成だが、完全オープンソースという点が大きな違い。

5つの大手出版社と作家のスコット・テューロー氏がMetaとマーク・ザッカーバーグ氏個人を訴えた。同氏が海賊サイトから数百万件の著作物を無断ダウンロードしてLlamaのAI学習に使用することを個人的に承認したと主張している。

Metaは自社AI chipのMTIA roadmapをMTIA 300、400、450、500まで拡張したと説明した。2026〜2027年の配備を通じて、GenAI inferenceをより低コストで回す基盤を整える狙いだ。

新しい r/LocalLLaMA スレッドは、Graph-RAG の multi-hop QA における bottleneck が retrieval ではなく reasoning かもしれないという結果を押し上げた。structured prompting と graph-based context compression を組み合わせれば、open な Llama 8B が plain 70B baseline に対抗できるという主張が核だ。

CPU RAMを完全にバイパスし、NVMe SSDからGPUへ直接ウェイトをストリーミングすることで、単体の消費者向けGPU（RTX 3090）でLlama 3.1 70Bを動作させるオープンソースプロジェクト「ntransformer」が公開されました。

Hacker Newsで注目されたTaalasの発表は、モデル特化シリコンによる低遅延・低コスト推論を主張する内容。ハードワイヤードLlama 3.1 8Bで17K tokens/sec/ユーザーを掲げた。