장기 대화 검색이 새 평가축으로 부상

에이전트가 오래된 대화와 작업 맥락을 다시 찾아 쓰려면 생성 모델보다 앞단의 임베딩 검색 품질이 먼저 흔들리지 않아야 한다. NVIDIA AI는 2026년 7월 17일 X 게시물에서 Nemotron 3 Embed가 LMEB에서 또 한 번 1위를 기록했다고 밝혔다.

“Another leaderboard win for Nemotron 3 Embed. The 8B model takes #1 on LMEB, with the 1B model right behind it at #2.”

이 트윗은 전날 공개된 RTEB 1위 소식의 반복이 아니라, 평가 무대를 장기 기억 중심 벤치마크로 확장했다는 점이 다르다. LMEB는 긴 대화와 기억 의존 과제에서 임베딩 모델이 필요한 세부 정보를 얼마나 잘 찾는지 본다. NVIDIA는 8B 모델이 1위, 1B 모델이 2위라고 적어, 고성능 버전과 경량 배포 버전이 동시에 상위권에 올랐다는 점을 강조했다.

연결된 Hugging Face 글은 Nemotron-3-Embed-8B-BF16이 RTEB 78.5%, MMTEB Retrieval 75.5%를 기록했다고 설명한다. 같은 글의 커뮤니티 업데이트에는 LMEB 결과로 8B가 64.4, 1B BF16이 61.5를 기록했다는 내용도 담겼다. 1B BF16은 이전 1B 계열보다 RTEB 오류율을 27%, MMTEB Retrieval 오류율을 28% 줄였고, NVFP4 변형은 Blackwell에서 BF16 대비 최대 2배 처리량을 겨냥한다.

NVIDIA AI 계정은 GPU 인프라, NIM, NeMo, 오픈 모델 배포 소식을 주로 다룬다. 이번 게시물에서 볼 대목은 모델 크기별 포지셔닝이다. 8B는 정확도 중심, 1B는 지연시간과 비용 중심, NVFP4는 Blackwell 처리량 중심이다. 다음 관전 포인트는 기업 검색, 코드 검색, 에이전트 메모리 서비스가 LMEB 같은 장기 기억 지표를 실제 사용자 유지 문맥에서 얼마나 재현하는지다.

#lmeb

Nemotron 3 Embed, LMEB에서 8B 1위·1B 2위로 장기 기억 검색 경쟁 가속