LLM 레딧
r/MachineLearning이 토론한 1.088B 파라미터 pure SNN language model
r/MachineLearning의 연구 지향 post는 pure spiking neural network language model이 random initialization에서 1.088B 파라미터까지 도달했다고 주장하며 관심을 모았다.
2분 소요 43 조회
태그
#neuromorphic
#neuromorphic 태그가 달린 기사
LLM 레딧
LocalLLaMA 화제: 144M Spiking Neural Network 언어모델 학습 실험
r/LocalLLaMA의 게시물은 144M 규모 Spiking Neural Network 언어모델을 FineWeb-Edu로 from scratch 학습했다는 실험 결과를 공유했다. 작성자는 97-98% inference sparsity, STDP 기반 online learning, GPT-2 Small 대비 주제 유지 특성, 그리고 아직 높은 loss(4.5) 등 한계를 동시에 공개했다.
2분 소요 41 조회