Z.ai、GLM-5を公開：744Bパラメータのオープンソース最強モデル

技術仕様

GLM-5は前バージョンから大幅に拡張された。355Bパラメータ(32B活性)から744Bパラメータ(40B活性)に成長し、事前学習データは23Tから28.5Tトークンに拡大した。注目すべきアーキテクチャの追加はDeepSeek Sparse Attention(DSA)の統合で、これは長文脈容量を維持しながら展開コストを削減すると報告されている。

性能ハイライト

モデルは複数の評価フレームワークで強力な能力を示している:

• 学術ベンチマーク: 推論、コーディング、エージェントタスクで「すべてのオープンソースモデル中最高レベルの性能」を達成
• 実世界タスク: CC-Bench-V2でGLM-5はフロントエンド、バックエンド、長期タスクでGLM-4.7を大きく上回る
• 長期計画: Vending Bench 2でオープンソースモデル中1位、シミュレートされた1年間のビジネスシナリオを最終残高$4,432で完了

何が重要なのか

スケーリングを超えて、GLM-5はslimeを導入している。これは「トレーニングスループットと効率を大幅に改善する非同期RLインフラストラクチャ」と説明されている。これは重要な課題を解決する: 大規模言語モデルのための強化学習を規模的に展開すること。

このモデルは「複雑なシステムエンジニアリングと長期エージェントタスク」のために特別に構築され、従来の言語モデルと自律エージェント能力の間の橋渡しとして位置づけられている。

背景

リリースはRedditのLocalLLaMAとsingularityでそれぞれ730ポイントと289ポイントを記録し、大きな注目を集めた。Z.aiは「compute is very tight」と述べ、GPU不足を公然と認めた。