#baidu

문서 AI의 비용 병목은 페이지 단위 분할과 길어지는 KV cache다. Unlimited-OCR은 3B 전체 파라미터 중 500M만 활성화하면서 40쪽 문서와 32K 컨텍스트를 한 번에 처리한다고 소개됐다.

중요한 이유는 리더보드 순위가 더 싼 학습비와 함께 나왔다는 점이다. Baidu는 ERNIE 5.1 Preview가 LMArena Text에서 글로벌 13위, 중국 랩 1위를 기록했고, 비슷한 모델 대비 사전학습 비용은 약 6% 수준이라고 적었다.