難解さより手触り、r/MachineLearningが反応した手作り diffusion LM

r/MachineLearningがこの投稿に反応した理由は、ミームになった "be horse" だけではない。diffusion language model という言葉には、巨大な論文と複雑な実装の壁がつきまとう。ところがこのスレッドは、その威圧感をかなりきれいに崩した。投稿者はAI-generated codeに頼らず、小さなcharacter-level diffusion LMを自作し、tiny ShakespeareをMacBook Air M2で学習させ、ぎこちないながら確かにそれらしい出力まで持ってきた。笑えるのに、理解の助けとしてはかなり強い。

技術的な輪郭もはっきりしている。投稿本文によれば、モデルは約7.5Mパラメータで、語彙はmask token込みで66。リンク先の simple_dlm リポジトリ も同じ空気感で、単一のテキストファイルを用意し、uv run train で学習し、uv run sample で生成し、必要ならONNXへ書き出すだけだ。READMEの調子は軽いが、好奇心のある人がそのまま手を動かせる構成になっている。

コメント欄の反応が、この投稿の価値をよく示している。M2で数時間回して何かしらの出力が出るだけでも十分おもしろい、という声があり、別の利用者は diffusion LM の論文が持つ近寄りがたさが、実装を見た途端かなり薄れたと書いた。語彙分布の側へ直感を持ち込めば、急に神秘性が下がるという指摘もあった。r/MachineLearningが単なるお遊び実装を簡単に持ち上げる場所ではないことを考えると、ここでは学びの密度が評価されたと言える。

frontier級の数値がなくても、コミュニティ記事として十分に強いことを示した例でもある。抽象的な文献を、少ない儀式と手頃なハードウェアで動くコードへ落とした瞬間、反応は一段深くなる。巨大モデルと巨大クラスタの話が続く週でも、7.5Mパラメータの小さな diffusion LM が "be horse" を残しながら概念の壁を下げたこと自体がニュースになった。反応は Redditスレッド で、コードは GitHub にある。