Taalas: LLMをシリコンに焼き込んで毎秒17,000トークンを実現するスタートアップ

LLM全体をシリコンに焼き込む

スタートアップ Taalas が、AI推論の根本的なパラダイム転換を提案しています。通常のGPUやクラウドクラスターでLLMの重みを実行するのではなく、モデル全体（重みとアーキテクチャの両方）をカスタムASICに直接焼き込むというアプローチです。HBMは不要で、すべてが1つのチップ上に存在します。

主な主張

• ユーザーあたり毎秒17,000トークン以上の処理
• 1ミリ秒未満の遅延
• クラウド推論と比べて20倍低コスト
• モデル選定からカスタムチップまで60日以内

リスクとトレードオフ

モデルアーキテクチャが数週間ごとに進化するAI時代に、特定のモデルをシリコンに固定することは大きなリスクを伴います。TaalasはこのトレードオフをTaalasが認識した上で、このアプローチが純粋な知性よりも遅延が重要な分野（リアルタイム音声モデル、アバター生成、コンピュータビジョンなど）において有利であると説明しています。ChatJimmy.aiでLlama 3.1 8Bのデモを実際に試すことができます。