LocalLLaMA注目投稿: 144M Spiking Neural Network言語モデルのfrom scratch学習

投稿内容の概要

r/LocalLLaMAの投稿（収集時点でscore 154、comments 32）は、"Nord"という144M parameterのSpiking Neural Network(SNN)言語モデル実験を公開した。投稿者は、このモデルがTransformerやRWKV、既存SNN設計を直接流用していないfully original architectureだと説明し、FineWeb-Eduを使ってfrom scratchで学習したと述べている。初期学習コストはA5000レンタル環境で約$10と報告された。

主張の中心はsparsityと可視性である。投稿によれば、推論時に1トークンあたり発火するニューロンは2-3%程度で、全体として97-98% inference sparsityが自然に現れたという。さらに、専用のsparsity lossを加えなくてもこの傾向が得られたとしている。

技術的に示されたポイント

• Topic coherenceの観察: GPT-2 Small(124M)との限定的なprompt比較で、Nordのほうが話題逸脱が少なかったと記載。
• Spike-rate分析: Block 4が9.8%、Block 0が0.6%の活動率という数値を示し、処理段階の違いを観察しやすいと説明。
• Online learning: STDP(Spike-Timing Dependent Plasticity)を会話中の重み更新に利用する仕組みを導入。
• 構成要素: LeakyClamp、Associative Cascade、Multi-scale temporal encoding、Temporal Co-firing Resonance、Reward-modulated STDPを組み合わせたとされる。

投稿者自身が示した制約

この投稿は制約も明確に記している。lossは現状4.5で、40GB学習時に3.8-4.0を目標にしていること、テキスト流暢性はまだGPT-2を下回ること、比較結果は体系的ベンチマークではなく限定例であることが明記されている。つまり、完成済み製品というよりは検証段階の研究実装に近い。

コミュニティの反応

上位コメントでは、ハードウェア要件、学習時間とコスト整合性、再現可能な評価設計、コード上の学習手法確認など、検証面の質問が多く見られた。全体としては"発想は興味深い"という評価と"定量評価を強化してほしい"という要求が並行している。

実務的な含意

SNN系LMは主流の大規模LLMと比べるとまだ周辺領域だが、sparsity、energy効率、時間依存学習という観点で継続的に注目されるテーマである。今回の価値は、議論だけでなくコードとモデルを公開し、再現検証の起点を提供した点にある。次に必要なのは、perplexity、長文安定性、throughput、energy-per-tokenを同条件で比較する標準評価である。

投稿内リンク: GitHubコード https://github.com/gtausa197-svg/-Project-Nord-Spiking-Neural-Network-Language-Model 、モデル https://huggingface.co/zerdovzad/Nord-AI 。