#neuromorphic

r/MachineLearningの研究寄りpostは、pure spiking neural network language modelがrandom initializationから1.088Bパラメータまで到達したと主張し、強い関心を集めた。

r/LocalLLaMAの投稿では、144M規模のSpiking Neural Network言語モデルNordをFineWeb-Eduでfrom scratch学習した実験が共有された。投稿者は97-98% inference sparsityやSTDPによるonline learningを主張する一方、loss 4.5や限定的比較という制約も明示している。