LocalLLaMA 화제: 144M Spiking Neural Network 언어모델 학습 실험

게시물에서 주장한 내용

r/LocalLLaMA의 게시물(수집 시점 기준 score 154, comments 32)은 "Nord"라는 144M parameter Spiking Neural Network(SNN) 언어모델 학습 실험을 공유했다. 작성자는 이 모델이 RWKV, transformer, 기존 SNN 설계를 직접 차용하지 않은 "fully original architecture"라고 설명했으며, FineWeb-Edu 데이터로 from scratch 학습을 진행했다고 밝혔다. 또한 A5000 임대 환경에서 약 $10 수준으로 초기 학습을 수행했다고 적었다.

핵심 메시지는 "낮은 활성화율(sparsity)"과 "해석 가능성"이다. 작성자에 따르면 추론 시 토큰당 발화 뉴런 비율이 2-3% 수준으로, 전체 기준 97-98% inference sparsity가 자연스럽게 나타났고 별도의 sparsity loss를 두지 않았다고 한다.

기술적 포인트

• Topic coherence 관찰: 동일 프롬프트에서 GPT-2 Small(124M)과 비교했을 때 Nord가 주제를 더 유지했다고 주장했다. 다만 이는 제한된 프롬프트 사례 비교라고 명시했다.
• Spike rate 분석: Block 4의 활성 비율이 9.8%, Block 0은 0.6%로 나타나 정보 처리 단계가 상대적으로 분리되어 보인다고 설명했다.
• Online learning: STDP(Spike-Timing Dependent Plasticity) 기반 가중치 업데이트를 대화 중 적용할 수 있다는 점을 강조했다.
• 구성 요소: LeakyClamp, Associative Cascade, Multi-scale temporal encoding, Temporal Co-firing Resonance, Reward-modulated STDP를 조합했다고 기술했다.

작성자가 공개한 한계

게시물은 긍정적 결과만 제시하지 않았다. 현재 loss가 4.5이며 40GB 학습으로 3.8-4.0을 목표로 한다고 밝혔다. 텍스트 유창성은 아직 GPT-2보다 낮고, GPT-2 비교 역시 체계적 벤치마크가 아닌 제한된 샘플이라고 스스로 적시했다. 즉, "개념 검증 단계의 흥미로운 실험"에 가깝고, 범용 성능을 주장할 수준은 아니라는 점이 분명하다.

커뮤니티 반응

상위 댓글에서는 방법론 검증 요구가 반복됐다. 일부는 코드상 역전파(Backprop) 사용 지점을 지적했고, 다른 사용자들은 학습 시간 대비 비용 계산, 하드웨어 요구사항, 더 체계적인 평가 프로토콜을 요청했다. 즉 반응은 "아이디어는 흥미롭다"와 "검증 설계가 더 필요하다"로 요약된다.

왜 의미가 있는가

SNN 기반 language model 연구는 대규모 상용 LLM 흐름에서는 아직 주변부지만, sparsity와 energy 효율, 그리고 동적 학습 메커니즘 측면에서 탐색 가치가 있다. 이번 사례는 성능 우위를 입증한 결과라기보다, 오픈 커뮤니티에서 재현 가능한 코드와 모델 체크포인트를 함께 제시해 실험 기반 토론을 촉발했다는 점이 중요하다. 후속 단계에서는 표준 벤치마크, 장기 문맥 안정성, 비용 대비 성능 비교가 핵심 검증 항목이 될 것이다.

원문에서 공유된 링크: GitHub 코드(https://github.com/gtausa197-svg/-Project-Nord-Spiking-Neural-Network-Language-Model), Hugging Face 모델(https://huggingface.co/zerdovzad/Nord-AI).