AI X/Twitter
Baidu Unlimited-OCR, 500M 활성 파라미터로 40쪽 문서를 한 번에 읽는 구조
문서 AI의 비용 병목은 페이지 단위 분할과 길어지는 KV cache다. Unlimited-OCR은 3B 전체 파라미터 중 500M만 활성화하면서 40쪽 문서와 32K 컨텍스트를 한 번에 처리한다고 소개됐다.
1분 소요 21 조회
태그
#baidu
#baidu 태그가 달린 기사
LLM X/Twitter
ERNIE 5.1 Preview, 글로벌 13위… 사전학습 비용은 비교 모델의 6%까지 압축
중요한 이유는 리더보드 순위가 더 싼 학습비와 함께 나왔다는 점이다. Baidu는 ERNIE 5.1 Preview가 LMArena Text에서 글로벌 13위, 중국 랩 1위를 기록했고, 비슷한 모델 대비 사전학습 비용은 약 6% 수준이라고 적었다.
1분 소요 40 조회