지식과 추론을 한 블록에서 떼어낸 설계

LLM의 지식 저장과 조합적 추론을 서로 다른 구성 요소에 맡기면 학습량과 서빙 비용을 함께 낮출 수 있다는 결과가 나왔다. Intern-S2-Mobius 연구진은 전역 공유 메모리 역할의 FFN과 여러 추론기 역할의 self-attention을 분리했다. 7B 모델을 처음부터 학습한 실험에서는 일반 7B Transformer 기준선이 사용한 데이터의 62.6%만으로 비슷한 다운스트림 점수를 기록했다. Qwen3.5-35B에서 계속 사전학습한 Intern-S2-Mobius는 비슷한 점수를 유지하면서 종단 간 추론을 약 4배 빠르게 처리했다.

“공유 메모리 FFN은 지식을 저장하고, 여러 self-attention 추론기는 조합적 추론을 담당한다.” — DailyPapers 게시물

핵심은 hidden state를 캐시이자 전달 통로로 쓰는 방식이다. 각 추론기는 필요한 지식 벡터를 공유 메모리에 반복적으로 질의하고, 반환된 정보를 추론 연산으로 넘긴다. 기존 Transformer가 한 블록 안에서 지식과 추론을 함께 처리하는 것과 달리, Mobius-v0는 두 기능의 용량과 반복 횟수를 따로 설계할 여지를 만든다. 연구진은 이 분리가 지식 압축률과 추론 효율을 높인다고 설명한다.

두 수치는 서로 다른 실험에서 나왔다

62.6%는 처음부터 학습한 7B Mobius-v0와 7B Transformer 기준선의 비교다. 약 4배는 Qwen3.5-35B를 출발점으로 계속 사전학습한 Intern-S2-Mobius의 종단 간 추론 비교다. 따라서 두 수치를 하나의 동일 모델이 동시에 달성한 결과로 읽어서는 안 된다. 비교의 의미는 지식·추론 분리가 작은 모델의 데이터 효율과 더 큰 모델의 실행 효율 양쪽에서 작동할 가능성을 보였다는 데 있다.

이 내용을 전한 DailyPapers 계정은 Hugging Face Papers에 올라온 논문과 연결된 모델·데이터셋·데모를 꾸준히 소개한다. 이번 게시물의 근거는 2026년 8월 14일 제출된 arXiv 초판 논문이다. 아직 동료평가나 독립 재현을 거친 확정 결과는 아니므로, 실제 배포 판단에는 전체 평가표와 하드웨어·배치·컨텍스트 길이 조건이 필요하다.

다음 확인점

후속 공개에서 봐야 할 것은 체크포인트와 학습 방법의 재현성, 여러 작업군에서의 품질 유지, 4배 속도 향상이 어떤 서빙 설정에서도 유지되는지다. 공유 FFN이 지식을 과도하게 압축할 때 생기는 손실, 여러 추론기의 메모리 접근 비용, 긴 컨텍스트에서의 지연도 중요하다. 이 결과가 재현되면 모델 효율 경쟁의 초점은 단순한 파라미터 축소를 넘어 지식 저장부와 추론부를 어떻게 배치하는지로 이동할 수 있다. 원문 게시물은 X에서 확인할 수 있다.

#mobius

Mobius, 지식·추론 분리로 7B 학습량 62.6% 줄이고 속도는 약 4배까지 끌어올려