r/LocalLLaMA에서 87점과 15개 댓글을 받은 "Falcon-OCR and Falcon-Perception" 게시물은, 대형 vision-language 모델 경쟁과는 조금 다른 방향을 보여준다. 링크된 Hugging Face 글에 따르면 Falcon Perception은 0.6B 파라미터의 early-fusion Transformer로, 이미지 패치와 텍스트를 하나의 시퀀스로 함께 처리하면서 open-vocabulary grounding과 segmentation을 수행한다. 같은 묶음으로 소개된 Falcon OCR은 0.3B 규모의 OCR 모델로, 문서 처리 성능과 처리량을 동시에 강조한다.

Falcon Perception의 핵심은 pipeline을 줄이고 하나의 backbone 안에서 perception과 language conditioning을 함께 다루려는 설계다. 모델은 hybrid attention mask를 사용해 이미지 패치와 텍스트 토큰을 공유 파라미터 공간에서 처리하고, <coord> → <size> → <seg> 순서의 구조화된 token interface로 객체 정보를 낸다. Hugging Face 글은 SA-Co 벤치마크에서 Macro-F1 68.0을 기록해 SAM 3의 62.3보다 높았다고 소개하면서도, presence calibration에서는 MCC 0.64로 아직 개선 여지가 있다고 적고 있다.

함께 공개된 PBench는 attribute, OCR-guided disambiguation, spatial constraint, relation, crowded long-context scene 같은 세부 능력을 따로 진단하도록 설계됐다.
Falcon OCR은 olmOCR에서 80.3, OmniDocBench에서 88.6을 기록했고, 글에서는 open-source OCR 모델 중 높은 throughput을 내세운다.
Reddit 댓글에서는 모델 크기가 작아 실사용 실험이 쉽다는 점과, QGIS 같은 segmentation 작업에 써볼 만하다는 반응이 나왔다.

이 스레드가 의미 있는 이유는, 최신 비전 모델 경쟁이 무조건 더 큰 파라미터 수로만 가지 않는다는 점을 보여주기 때문이다. 특히 grounding, OCR, segmentation처럼 현업 파이프라인에 직접 들어가는 작업에서는 구조화된 출력 인터페이스와 추론 비용이 더 중요한 경우가 많다. 게시물 본문이 별도로 llama.cpp 지원 PR도 연결한 점은, 커뮤니티가 논문 성능보다 실제 배포 가능성을 함께 보고 있다는 신호다.

참고 링크는 Reddit 스레드, Hugging Face 기술 글, Falcon Perception, Falcon OCR이다.

#grounding

Falcon Perception과 Falcon OCR, 작은 vision-language 모델이 보여준 실용성