#tokenizer

HNで伸びた理由は、Claudeの利用制限が早く減るという感覚を数字に置き換えたからだ。Tokenomicsは匿名投稿541件で、同じrequestがOpus 4.7では平均466 tokens、Opus 4.6では349 tokensと示し、差分38.1%をめぐって実利用での意味が議論された。

HNが気にしたのはClaude 4.7のheadline性能より、同じ作業contextがより多くのtokenとして数えられる可能性だった。元記事はClaude Codeに近い入力でtoken countを比較し、コメント欄ではtoken burnとhuman review timeのどちらが本当のコストなのかが争点になった。

r/MachineLearningのDante-2B進捗報告は、Italianの形態とtoken効率を重視してtokenizerから作り直した2.1B bilingual LLMのPhase 1結果を共有している。

LocalLLaMA の高スコア post は、llama.cpp PR #21534 の merge によって Gemma 4 の current master support が実用的な安定域に入ったと見た。ただし焦点は fix そのものより tokenizer correctness、chat template、memory flag、そして CUDA 13.2 を避けるべきだという運用条件にあった。

r/MachineLearning で注目された Dante-2B は、2×H200 上で scratch から訓練されている 2.1B 規模の Italian/English dense model だ。Italian 向け tokenizer 効率、300B token corpus、そして phase 2 後に weights・tokenizer・pipeline を open release する計画が柱になっている。