Talkie의 첫인상은 분명 강하다. 1931년 이전 텍스트만으로 학습한 13B 언어 모델, 그리고 Claude Sonnet 4.6이 그 모델과 실시간으로 대화하는 화면은 HN에서 클릭을 부르기 충분했다. 그런데 스레드가 오래 붙잡은 포인트는 복고풍 말투 자체가 아니었다. 해커뉴스 이용자들은 이 모델을 "옛날 사람 흉내"보다, 오염 없는 일반화 실험 장치로 더 진지하게 읽었다.

프로젝트 설명도 그 방향을 밀고 있다. Talkie는 현대 웹 데이터를 섞지 않기 때문에 contamination 문제에서 비교적 자유롭다. 연구진은 이 성질을 이용해 두 가지를 시험한다. 하나는 모델이 지식 컷오프 이후 사건을 얼마나 놀라워하는지로 미래 예측 감각을 보는 것이고, 다른 하나는 현대 컴퓨터 지식 없이도 Python 예제를 보고 새 프로그램을 만들어낼 수 있는지 보는 것이다. 소개 페이지는 HumanEval 스타일 테스트와 회전 암호 해독 함수 사례를 예로 든다. 아직 정답은 단순한 한 줄 수준에 가깝지만, 역함수 감각 같은 일반화의 흔적은 분명히 보인다는 설명이다.

HN도 이 지점에 반응했다. 어떤 댓글은 "이건 stochastic parrot 취급에 대한 좋은 반례"라고 봤고, 다른 댓글은 35B나 122B 모델에 시대극 프롬프트를 씌우는 것과는 다른 연구 가치가 있다고 짚었다. 단순한 롤플레잉이면 시스템 프롬프트로도 흉내 낼 수 있지만, 지식 컷오프가 엄격한 모델로 후대의 개념을 얼마나 스스로 조합해 내는지는 완전히 다른 질문이기 때문이다.

모델 크기: 13B
학습 데이터 컷오프: pre-1931 text
핵심 실험: contamination 없는 평가와 현대 코드 일반화
라이브 데모: Claude Sonnet 4.6이 Talkie와 대화

이 프로젝트가 HN에서 힘을 얻은 이유는 향수보다 평가 방법론에 있다. 모델이 "옛날처럼 말하느냐"보다, 현대 데이터 없이도 무엇을 배울 수 있느냐가 더 큰 이야기다. Talkie는 당장 실용 모델이라기보다, LLM이 사전학습 데이터 바깥에서 어디까지 조합하고 추론하는지 묻는 실험실에 가깝다. HN은 그 불편한 질문을 재미있게 던졌다는 점에 표를 준 셈이다.

Source links: Hacker News thread, Talkie project page.

#model-evals

1930년대 LLM Talkie, HN이 꽂힌 건 복고 말투보다 오염 없는 일반화 실험