#contamination

HN은 복고풍 말투 장난감에서 멈추지 않았다. 1931년 이전 텍스트만으로 학습한 13B 모델이 오염 없는 평가판이 될 수 있고, 현대 지식 없이도 단순한 Python 문제를 푸는 장면이 더 큰 흥미를 만들었다.

LocalLLaMA 반응은 놀람보다 체념에 가까웠다. 결국 공개 벤치마크는 이렇게 무너진다는 분위기였다. 이번엔 오염과 flawed test가 숫자로 정리되면서, 기존 자랑 포인트가 더는 안정적으로 보이지 않게 됐다.