カルパシー：LLMのメモリ・演算最適化 — SRAMとDRAMのトレードオフと次世代ハードウェア

LLM時代の核心インフラ課題

AI研究者アンドレイ・カルパシー（Andrej Karpathy）は2026年2月にXで、トークン需要の「津波」が押し寄せる中、LLMのメモリ+演算を適切にオーケストレーションする重要な機会があると指摘した。

根本的な制約：SRAMとDRAM

カルパシーはチップ製造プロセスに起因する根本的で一般にはあまり知られていない制約を説明した。物理的に異なる2種類のメモリプールが存在する：

• オンチップSRAM：演算ユニットのすぐ隣に位置し、非常に高速だが容量が極めて小さい
• オフチップDRAM（HBM）：非常に大容量だが、データ取り出しは「長いストローを通して吸い出す」ような帯域幅制限がある

設計課題

カルパシーはLLMの主要ワークフロー（推論プリフィル/デコード、学習/ファインチューニングなど）で最高のスループット・レイテンシ・コスト効率を達成するための最適な物理基板設計が「今日最も興味深く報酬の高い知的パズル」だと強調した。NVIDIAの時価総額4.6兆ドルをその証拠として挙げた。

現在のジレンマ

最も重要なワークフロー — 長いトークンコンテキストでエージェンティックループを行う推論デコード — が、現在存在する両陣営で同時に達成することが最も難しいとカルパシーは指摘する：

• HBM中心（NVIDIA隣接）：大容量だが帯域幅制限
• SRAM中心（Cerebras隣接）：高速だが容量制限

MatXへの言及

カルパシーはこの問題に取り組むMatXチームを「A++グレード」と称賛し、小規模な関与をしていることを明かし、最近の資金調達を祝福した。多くのトークンを速く安く生成するための競争において、正しいハードウェアアーキテクチャがいかに重要かを示す洞察だ。