#neuromorphic

r/MachineLearning의 연구 지향 post는 pure spiking neural network language model이 random initialization에서 1.088B 파라미터까지 도달했다고 주장하며 관심을 모았다.

r/LocalLLaMA의 게시물은 144M 규모 Spiking Neural Network 언어모델을 FineWeb-Edu로 from scratch 학습했다는 실험 결과를 공유했다. 작성자는 97-98% inference sparsity, STDP 기반 online learning, GPT-2 Small 대비 주제 유지 특성, 그리고 아직 높은 loss(4.5) 등 한계를 동시에 공개했다.