ベアメタルAI：OSもカーネルも不要、UEFIで直接LLM推論を実行

OSが起動する前にAIと話す

あるエンジニアが、PCの電源を入れるだけでOSもカーネルも経由せずにAIとチャットできるシステムを実装し、LocalLLaMAコミュニティで大きな話題を呼んでいる。Dell E6510ノートPCで実演されたこのプロジェクトは、UEFIブートサービスモードで直接LLM推論を実行する。

依存ゼロの純粋なCで書かれたフルスタック

このUEFIアプリケーションは外部依存なしのフリースタンディングCで全て実装されており、以下を含む：

• トークナイザー
• 重みローダー
• テンソル演算エンジン
• 推論エンジン

電源ON → 「Run Live」選択 → 「chat」入力 → AIとチャット開始、というシンプルなフローで動作。Wi-Fiドライバーを除き、OSカーネルやドライバーなしにUEFIブートサービスレイヤー上で全て動作する。

現状の課題と今後の計画

開発者は最適化がほとんど行われていないため、現在は処理速度が遅いと認めている。まずネットワークドライバーの実装を優先し、その後パフォーマンス最適化を進める予定。小型モデルのサーバーとして発展させる計画もある。

なぜこれが重要か

ベアメタルAI推論は、技術的な挑戦にとどまらず、OSオーバーヘッドを極力排除した超軽量エッジデバイスや組み込みシステム、セキュリティ上OSを経由できない環境など、さまざまな可能性を示唆している。394点という高評価がこのアプローチへの関心の高さを示している。