3.6 bits per parameter, LLM 암기 위험을 수치로 다시 보는 ICML 연구

LLM의 privacy 위험은 이제 “어떤 문장을 외웠는가”를 넘어, 모델이 얼마나 많은 정보를 담아낼 수 있는지의 문제로 옮겨가고 있다. NVIDIA AI 계정은 소스 트윗에서 “This ICML paper separates unintended memorization from generalization and estimates GPT-style model capacity at about 3.6 bits per parameter”라고 적었다. 의도치 않은 암기와 일반화를 구분하고, GPT 계열 모델의 암기 용량을 parameter당 약 3.6 bits로 추정했다는 내용이다.

트윗에 연결된 자료는 OpenReview의 ICML 논문 PDF다. 숫자가 중요한 이유는 명확하다. 지금까지 memorization 논의는 전화번호, 드문 문자열, 저작권 문장처럼 눈에 띄는 유출 사례를 중심으로 흘렀다. 반면 3.6 bits per parameter라는 추정치는 모델 크기, 데이터 중복 제거, 희귀 샘플, 학습 방식이 암기 가능량을 어떻게 바꾸는지 묻는 기준점이 된다.

NVIDIAAI 계정은 보통 AI 연구, GPU 인프라, open model 생태계 업데이트를 다룬다. 이번 글은 제품 홍보보다 연구 신호에 가깝다. FxTwitter로 확인한 시점에 조회수는 61,000회 이상, likes는 697개, reposts는 90개였다. 대형 모델 출시급 확산은 아니지만, ICML 논문 중 privacy와 scaling을 동시에 건드리는 결과로는 충분히 눈에 띄는 반응이다.

다음 관전 포인트는 이 수치가 실제 감사 도구로 이어지는지다. privacy reviewer는 이 추정치가 다른 architecture, 언어, 데이터 혼합에서도 extraction risk를 설명하는지 확인하려 할 것이다. 모델 개발자는 더 강한 deduplication이나 학습 절차 변경이 유용한 일반화 성능을 해치지 않으면서 암기 용량을 줄일 수 있는지도 검증해야 한다.