#baidu

長文書OCRの弱点は、ページ分割とKV cacheの膨張にある。BaiduのUnlimited-OCRは3B総パラメータ、500M有効パラメータ、32Kコンテキストで40ページ文書を一度に読むと紹介された。

重要なのは、順位上昇がより安い学習コストとセットで出てきたことだ。BaiduはERNIE 5.1 PreviewがLMArena Textで世界13位、中国ラボ首位に入り、事前学習コストは同規模比較で約6%だと書いた。