インタラクティブで学ぶMicroGPT：Karpathyの200行GPTを完全解説

200行のPythonでLLMの仕組みを理解する

Andrej KarpathyのMicroGPTは、ライブラリなし、依存関係なしの純粋Pythonだけで書かれた200行のスクリプトだ。growingSWEはこのコードを初心者にもアクセスしやすいインタラクティブな視覚的チュートリアルとして再構成した。

学べる内容

• トークナイザー：テキストを整数シーケンスに変換するプロセス。名前を入力してリアルタイムでトークン化される様子を確認できる。
• Softmax：生のロジットスコアが次のトークンの確率分布に変換される様子を視覚的に確認する。
• 逆伝播：計算グラフ上でグラジェントがどのように流れるかをステップごとに追跡する。
• アテンションヒートマップ：self-attentionが生成中にどのトークンに注目するかを可視化する。

名前からChatGPTへ

このモデルは32,000の人名で訓練され、「kamon」「karai」「anna」「anton」のような新しい名前を生成することを学ぶ。ChatGPTの観点では、あなたとの会話は単なる文書に過ぎない。このモデルの応答は統計的な文書補完だ。Hacker Newsで182ポイントを獲得したこのチュートリアルは、現代LLMの仕組みを理解するための最もアクセスしやすい入門書の一つだ。