LLM이 직접 고르는 attention 범위, KV cache 읽기 절반으로

100만 토큰 대화에서 필요한 과거 문장은 몇 줄뿐이어도 전역 attention 층은 답변 토큰을 만들 때마다 긴 KV cache를 읽는다. r/MachineLearning에 소개된 연구는 관련 위치를 외부 점수기가 찾게 하는 대신, 언어 모델이 어디를 볼지 직접 선언하도록 한다. 복잡한 새 attention 구조보다 모델의 지시 수행 능력을 추론 엔진 제어에 활용한 점이 논점이다.

Namgyu Ho, Huzama Ahmad, Woosung Koh, Se-Young Yun, Tal Schuster, Cicero Nogueira dos Santos가 제안한 Declarative Attention은 생성 과정을 세 모드로 나눈다. <global>은 전체 문맥, <focus>는 특정 구간, <local>은 최근 출력만 읽는다. 모델이 사고 과정 안에 이 선언을 내놓으면 추론 엔진이 도구 호출처럼 해석해 필요하지 않은 KV cache 읽기를 건너뛴다.

기존 sparse attention 접근은 가벼운 대리 점수로 관련 토큰을 먼저 고르더라도 매 생성 단계에 문맥 길이 N에 비례한 탐색이 남는다. Declarative Attention은 모델이 이미 질문과 관련된 위치를 알고 있을 수 있다는 가정에서 출발한다. 별도 검색기가 매번 전체 문맥을 훑는 비용을 줄이는 대신, 모델이 올바른 모드와 범위를 안정적으로 선언해야 한다.

arXiv 논문의 초록에 따르면 연구진은 15개 긴 문맥 과제를 zero-shot으로 평가했다. 재학습하지 않은 Gemma-4-31B에서는 디코딩 중 attention 대상 토큰이 52.0%, Qwen-3.6-27B에서는 31.1% 줄었다. 정확도 하락은 각각 1.27%포인트와 2.75%포인트였으며, 모델 규모가 커질수록 손실이 줄었다고 보고했다.

수치 해석에는 주의가 필요하다. attention 대상 토큰 감소가 실제 응답 지연이나 GPU 메모리 대역폭 절감과 정확히 같은 비율로 이어진다고 초록만으로 단정할 수 없다. 선언을 생성하고 해석하는 비용, 잘못된 focus 범위가 중요한 정보를 배제하는 실패, 모델별 형식 준수율도 운영 환경에서 측정해야 한다. 사고 과정에 제어 표식을 넣는 방식이 추론 API와 얼마나 잘 맞는지도 구현상의 변수다.

그럼에도 이 연구는 긴 문맥 최적화의 제어권을 모델 밖의 검색기에서 모델 내부 판단으로 옮긴다. 모델을 다시 훈련하지 않고 적용했다는 결과는 기존 배포 환경에서 시험할 여지를 넓힌다. 다음 단계는 훈련 과정에서 선언 정확도를 높이고, 벽시계 지연과 에너지 사용량, 정보 누락 위험을 함께 비교하는 일이다. 커뮤니티에 공유된 시각은 2026년 9월 5일 06:07:09 UTC로 cutoff 이후이며, 논문 원문과 게시물의 시간도 분리해 검증했다.