Falcon PerceptionとFalcon OCR、小型モデルで進む実用的な視覚処理

r/LocalLLaMAで87ポイント、15件のコメントを集めた「Falcon-OCR and Falcon-Perception」は、巨大な multimodal model 競争とは少し違う方向性を見せている。リンク先の Hugging Face 記事によれば、Falcon Perception は 0.6B parameter の early-fusion Transformer で、image patches と text を一つの系列として処理し、open-vocabulary grounding と segmentation を行う。一方の Falcon OCR は 0.3B 規模で、document understanding と OCR throughput を前面に出したモデルとして紹介されている。

Falcon Perception の要点は、複数の pipeline を重ねるのではなく、一つの backbone で perception と language conditioning を扱うことだ。hybrid attention mask を使い、image patches と text tokens を共有パラメータ空間で処理し、<coord>、<size>、<seg> という構造化された token interface で出力する。Hugging Face の記事では SA-Co で Macro-F1 68.0 を記録し、SAM 3 の 62.3 を上回った一方、presence calibration は MCC 0.64 とまだ改善余地があると説明している。

• PBench は attributes、OCR-guided disambiguation、spatial constraints、relations、crowded long-context scenes などを個別に診断する benchmark として用意されている。
• Falcon OCR は olmOCR で 80.3、OmniDocBench で 88.6 を記録し、open-source OCR モデルとして高い throughput を強調している。
• LocalLLaMA のコメントでは、小さいモデルなので試しやすいことや、QGIS のような segmentation ワークフローへの応用、llama.cpp 対応への期待が語られていた。

この投稿が面白いのは、視覚系モデルの価値が必ずしも parameter 数だけで決まらないと示している点だ。grounding、OCR、segmentation のように現場パイプラインへ直接入るタスクでは、構造化された出力、推論コスト、運用しやすさが大きな意味を持つ。Falcon Perception と Falcon OCR は、そのバランスを狙った設計として注目に値する。

参照先は Reddit スレッド、Hugging Face 技術記事、Falcon Perception、Falcon OCR。