Together Research、divide-and-conquer長文脈パイプラインがGPT-4o single-shotを上回りうると報告

Together ResearchがXで述べた内容

2026年3月27日、Together Researchは、より小さいモデルでもdivide-and-conquer戦略を使えば、long-context taskでGPT-4oのsingle-shot実行に匹敵、あるいは上回れると述べた。さらに、この研究がICLR 2026に採択されたことも明かしており、単なるSNS告知ではなく、コミュニティが検証できる研究成果として位置づけている。

この主張が重要なのは、長文脈競争がしばしば「より大きいcontext window」と「より強いfrontier model」の勝負として語られてきたからだ。Togetherは、orchestration設計がraw model sizeと同じくらい重要になりうると示している。

ブログと論文が補足した点

Togetherのブログは、長い文書を分割し、並列に処理し、最後に統合するplanner-worker-managerパイプラインを説明する。同社によれば、この設計により、十分に長い文脈ではLlama-3-70BやQwen-72Bのようなモデルが、GPT-4oの単発処理を上回る場合があるという。

対応するarXiv論文は、その理由をより体系的に述べる。失敗要因は、分割間の依存から生じるtask noise、文脈長とともに増えるmodel noise、部分解をうまく統合できないaggregator noiseの3つに整理される。要旨では、retrieval、question answering、summarizationにおける実験がこの枠組みを支持し、どの条件でchunk型multi-agent処理が有利になるかを説明するとしている。

なぜ重要か

この発表が高信号なのは、長文脈システムの最適化対象を変えるからだ。ボトルネックがモデル容量だけでなく、仕事の分解と再統合にもあるなら、常にfrontier-modelコストを払わなくても強い性能を得られる可能性がある。

製品チームとインフラチームにとっては実務的な意味が大きい。divide-and-conquerパイプラインは並列化によって遅延を下げ、コストを抑え、ワークロードごとの調整もしやすい。つまり長文脈engineeringは、単なるmodel選定から、システム設計そのものの問題へ移りつつある。

もちろんchunkingが常に有利というわけではない。同じ論文もcross-chunk dependenceが強い場合には単純分割が失敗しやすいと述べている。それでも今回の結果は、どんな場面で小型の協調モデル構成が有効かを判断する枠組みをかなり明確にした。

出典: Together Research X投稿 · Together AIブログ記事 · arXiv論文