GLM-OCR: 복잡한 문서 이해를 위한 초경량 멀티모달 OCR 모델

초경량으로 실현한 고성능 OCR

GLM-OCR은 복잡한 문서 이해를 위해 설계된 멀티모달 OCR 시스템입니다. 비전 인코더와 언어 디코더를 결합하여 레이아웃 분석 후 병렬 영역 인식을 수행하는 2단계 파이프라인으로 다양한 문서 레이아웃을 처리합니다.

핵심 특징

탁월한 성능: OmniDocBench V1.5에서 94.62점을 기록하며 종합 1위를 차지했습니다. 수식 인식, 표 추출, 정보 검색 벤치마크에서 우수한 성과를 보였습니다.

실전 최적화: 실제 비즈니스 환경을 위해 구축되었으며, 복잡한 표, 코드가 많은 문서, 도장이 찍힌 문서, 비전형적인 레이아웃 등 까다로운 자료에서도 강건한 성능을 유지합니다.

대규모 효율성: 0.9B 파라미터만으로 vLLM, SGLang, Ollama 등 여러 배포 프레임워크를 지원하며, 추론 지연 시간과 계산 비용을 줄여 높은 동시성 서비스와 엣지 배포에 이상적입니다.

접근성: 포괄적인 SDK 지원과 함께 완전 오픈소스로 제공되며, 간단한 설치와 한 줄 호출로 기존 프로덕션 파이프라인에 쉽게 통합할 수 있습니다.

기술 아키텍처

시스템은 대규모 이미지-텍스트 데이터로 사전 학습된 CogViT 비전 인코더, 효율적인 토큰 다운샘플링을 가진 경량 교차 모달 커넥터, GLM-0.5B 언어 디코더, 레이아웃 감지를 위한 PP-DocLayout-V3를 통합합니다.

새로운 훈련 접근법으로는 정확도와 일반화를 개선하기 위한 Multi-Token Prediction (MTP) 손실과 안정적인 전체 작업 강화 학습이 포함됩니다.