컨텍스트 윈도우의 근본적 재설계

Recursive Language Models(RLM)은 2025년 10월 Alex Zhang이 제안하고 arXiv에 논문이 게재된 새로운 프레임워크로, Prime Intellect는 이를 2026년의 패러다임으로 명명했다.

작동 원리

기존 LLM은 대용량 입력을 직접 토큰으로 변환해 신경망에 주입한다. RLM은 이와 달리 긴 프롬프트를 환경의 일부로 취급하며, LLM이 Python REPL을 통해 심볼릭하게 상호작용하도록 설계됐다. 루트 LM은 샌드박스 Python 환경에서 도구를 호출하고, 서브-LLM을 실행하며, 최종 결과를 answer 변수에 작성한다.

핵심 혁신

능동적 컨텍스트 관리: 모델이 필요에 따라 컨텍스트를 Python 스크립트와 서브-LLM에 위임
정보 손실 없음: 요약 없이 원본 데이터를 보존
확장성: 모델 컨텍스트 윈도우 대비 최대 100배 긴 입력 처리
품질 향상: 짧은 프롬프트에서도 기존 LLM 대비 획기적으로 우수한 품질

The Bitter Lesson과의 일치

RLM은 Richard Sutton의 The Bitter Lesson 철학과 일치한다. 강화학습을 통해 모델이 end-to-end로 자신의 컨텍스트 관리를 학습하게 함으로써, 수동적 엔지니어링이 아닌 학습을 통한 개선을 가능케 한다.

Prime Intellect의 비전

Prime Intellect는 RLMEnv를 구현하며, RLM 패러다임을 통해 에이전트가 수주~수개월에 걸친 장기 과제를 해결할 수 있을 것으로 전망한다. 이는 단순히 컨텍스트 윈도우를 늘리는 것을 넘어, 모델이 스스로 정보를 구조화하고 관리하는 근본적인 패러다임 전환을 의미한다.

오픈소스 구현

Alex Zhang의 RLM GitHub는 다양한 샌드박스를 지원하는 범용 추론 라이브러리를 제공한다.

Source: Prime Intellect, arXiv, MarkTechPost

#paradigm-shift

Recursive Language Models — 2026년 AI 패러다임으로 부상한 컨텍스트 관리 혁신