100パラメータ未満のTiny Transformerが10桁の足し算を100%の精度で実現

超小型モデルの驚異的な算術能力

機械学習研究の興味深い発見がr/MachineLearningで138ポイントを獲得して注目を集めている：100個未満のパラメータを持つ超小型transformerモデルが2つの10桁数字を100%の精度で足し算できるというものだ。この結果はGitHubのAdderBoardプロジェクトで公開されている。

鍵となるdigitトークン化

この結果の核心はトークン化の方法にある。数値を不透明な文字列としてではなく、個々の数字(digit)トークンとして処理すると、モデルは桁ごとの値を直接学習できる。浮動小数点数として数値を処理するとはるかに難しくなるが、digitトークン化は超小型モデルでも足し算のパターンを効率的に学習できるようにする。

LLMの数学的推論への示唆

この研究はLLMが多桁の算術を苦手とする理由についての興味深い問いを提起する。標準的なLLMトークナイザーはしばしば複数の数字を1つのトークンにまとめてしまい、足し算を学習可能にする桁ごとの構造を不明瞭にする。

この発見はdigit認識トークン化が数学に特化したモデル開発の重要な要素となり得ることを示唆している。より広くは、この結果はトークン化の選択と創発的な数学的能力の関係を明らかにするものだ。