Δ-Mem: 고정 크기 상태 행렬로 LLM 장기 기억 문제 해결

해결하는 문제

장기 어시스턴트 및 에이전트 시스템에서 LLM은 과거 정보를 효과적으로 축적하고 재사용하는 데 어려움을 겪는다. 컨텍스트 윈도우를 단순히 확장하는 것은 비용이 크고, 컨텍스트 활용 자체가 제대로 되지 않는 문제가 있다.

Δ-Mem의 핵심 혁신

Δ-Mem은 동결된 LLM 백본에 델타 규칙 학습으로 업데이트되는 고정 크기 상태 행렬을 추가한다. 이 온라인 메모리 상태가 생성 과정에서 어텐션 연산에 저랭크 보정을 가해 장기 기억을 가능하게 한다. 전체 모델 미세 조정이나 아키텍처 교체 없이도 효과적인 메모리를 구현하는 것이 핵심이다.

성능 결과

8×8 온라인 메모리 상태라는 극히 작은 크기로 주목할 만한 성과를 냈다. 동결 기준 대비 1.10배, 비-Δ-Mem 기준선 대비 1.15배의 전반적 성능 향상을 보였다. 메모리 집약적 벤치마크에서는 더욱 두드러져 MemoryAgentBench 1.31배, LoCoMo 1.20배 향상을 달성했다.

의의

효과적인 메모리가 어텐션에 직접 결합된 소형 온라인 상태로 실현될 수 있음을 증명했다. 장기 멀티턴 대화, 에이전트 시스템, 긴 문서 처리 등 다양한 응용에서 활용 가능한 가벼운 솔루션이다.