#retrocomputing

LocalLLaMAで話題になったこの実験では、stock iMac G3にKarpathyのTinyStories 260Kモデルを移植し、32 tokensを1秒未満で生成する。ポイントは大きなモデルではなく、classic Mac OS向けに徹底して組み直したsystems workにある。

Hacker News で注目された ATTN/11 は、PDP-11/34A 上で single-layer、single-head の Transformer を PDP-11 assembly で学習させるプロジェクトだ。README によれば、fixed-point math、per-layer learning rates、32KB memory budget の最適化によって、digit reversal の学習は数時間級の見積もりから 5.5 minutes の実行まで短縮され、結果は 10/10 accuracy に達した。