#contamination

HNはレトロな会話ネタで終わらなかった。1931年以前のテキストだけで学習した13Bモデルが、汚染の少ない評価装置になりうること、そして現代知識なしでも単純なPython課題をこなす場面に強く反応している。

LocalLLaMAの反応は驚きよりも納得に近かった。公開benchmarkは結局こうなる、という空気だ。今回はcontaminationとflawed testが数字で並び、従来の自慢材料がもう安定して見えなくなった。