#language-models

r/singularityはこの発想にすぐ飛びついた。1930年以前のテキストだけで学習した13B modelという奇妙さだけではない。Talkieが、現代web汚染なしにモデルが何を学ぶのかを見る実験室として読めたからだ。

r/MachineLearningがこの投稿を押し上げたのは性能自慢のためではない。tiny Shakespeareを使い、M2 Airで7.5Mパラメータの diffusion LM を動かした記録が、難しい概念を急に手で触れるものへ変えたからだ。

r/MachineLearningではこの投稿を、完成済みのbreakthroughというより、大規模spike-domain trainingに関する現在の前提へ正面から投げ込まれた実験ログとして受け止めた。2026年4月13日の投稿は1.088B pure SNN language modelが27K stepsでloss 4.4、93% sparsityに達したと報告し、コメントでは期待と慎重論が同時に出ていた。

r/MachineLearningの研究寄りpostは、pure spiking neural network language modelがrandom initializationから1.088Bパラメータまで到達したと主張し、強い関心を集めた。

2026年3月19日にHacker Newsへ投稿されたNanoGPT Slowrunスレッドは、クロール時点で162ポイントと43件のコメントを集めた。Q Labsは、100M tokenで学習した1.8B parameter ensembleが通常1B tokenを要するbaselineに匹敵したと主張している。