Hacker News で注目された ATTN/11 は、PDP-11/34A 上で single-layer、single-head の Transformer を PDP-11 assembly で学習させるプロジェクトだ。README によれば、fixed-point math、per-layer learning rates、32KB memory budget の最適化によって、digit reversal の学習は数時間級の見積もりから 5.5 minutes の実行まで短縮され、結果は 10/10 accuracy に達した。
100個未満のパラメータを持つ超小型Transformerモデルが、2つの10桁の数字の足し算で100%の精度を達成したという興味深い研究結果が公開されました。桁トークン化が鍵となっています。
growingSWEがAndrej Karpathyの200行純粋PythonのGPT実装をインタラクティブな可視化で解説。トークナイザーからsoftmax、逆伝播、アテンションヒートマップまで段階的に体験できる。
Hacker Newsでスコア732、コメント120を記録した<code>Microgpt</code>は、GPT系モデルの中核アルゴリズムを単一Pythonファイルに圧縮した教育向け実装として注目された。dataset、tokenizer、autograd、Transformer、Adam、inferenceを一続きで追える点が評価されている。
Google DeepMindはD4RTを公開し、動的シーンの4D reconstructionとtrackingを単一フレームワークに統合した。従来比で最大300xの効率改善を示し、roboticsやARでのリアルタイム活用可能性を示した。