LLM 레딧
LLM이 직접 고르는 attention 범위, KV cache 읽기 절반으로
긴 문맥 전체를 매 토큰마다 훑지 말고 모델이 필요한 구간을 직접 선언하게 하자는 단순한 발상이 연구자들의 눈길을 끌었다. Declarative Attention은 기존 모델을 재학습하지 않고도 총 attention 대상 토큰을 최대 52.0% 줄였지만 정확도 손실과 실제 지연 시간 검증이 과제로 남는다.
2분 소요 1 조회
태그
#long-context
#long-context 태그가 달린 기사
LLM X/Twitter
NVIDIA, 128K 컨텍스트 시대엔 커널보다 attention 구조가 병목
긴 컨텍스트 모델의 속도는 학습 전 attention 설계에서 사실상 결정된다. NVIDIA는 4K에서 128K로 갈수록 attention 비중이 18%에서 85%까지 커진다고 설명했다.
1분 소요 19 조회
LLM X/Twitter
MiniMax M3 가중치 공개, 428B 규모·23B 활성 파라미터로 Hugging Face 입성
장문·멀티모달·코딩 성능을 앞세운 MiniMax M3가 오픈 웨이트 배포 단계에 들어갔다. 모델 카드는 약 428B 파라미터와 23B 활성 파라미터, 1M 컨텍스트를 명시한다.
1분 소요 33 조회
LLM 레딧
3090 한 장에서 218K 문맥, LocalLLaMA가 속도보다 안정성에 반응한 이유
LocalLLaMA가 본 포인트는 최고 속도가 아니었다. RTX 3090 한 장으로 218K 문맥을 밀어 올리고 긴 tool output에서도 덜 무너지는 구성이 더 중요했다.
2분 소요 38 조회
LLM 해커뉴스
DeepSeek V4에 HN 폭주, 문서 링크보다 더 크게 번진 건 곧바로 뜬 가중치
HN은 이번 스레드를 단순한 모델 공개로 보지 않았다. API 문서보다 먼저 Hugging Face 가중치와 base 모델이 모습을 드러내자, 커뮤니티의 관심은 홍보보다 실물 검증으로 곧장 옮겨갔다.
2분 소요 48 조회
LLM 레딧
r/LocalLLaMA가 찾은 Gemma 4 long context의 privacy-first 활용
인기 있는 r/LocalLLaMA thread는 Gemma 4의 256k context window로 100k+ token 개인 저널을 로컬에서 분석한 사례를 소개하며, privacy가 on-device LLM의 실용적 이유가 될 수 있음을 보여줬다.
2분 소요 44 조회
LLM 레딧
Gemma 4 26B A4B는 245K context에서도 버틸까
r/LocalLLaMA의 한 stress test는 Gemma 4 26B A4B가 llama.cpp에서 262,144 context window의 약 94% 지점에서도 일관성을 유지했다고 주장한다. 정식 benchmark는 아니지만, failure mode와 tuning 값을 함께 공개했다는 점에서 현장감 있는 자료다.
1분 소요 50 조회
LLM X/Twitter
Together Research, divide-and-conquer long-context 파이프라인이 GPT-4o single-shot를 앞설 수 있다고 보고
Together Research는 2026년 3월 27일 divide-and-conquer를 적용한 더 작은 모델이 long-context task에서 GPT-4o single-shot를 맞추거나 앞설 수 있다고 밝혔다. Together 블로그와 arXiv 논문은 이 방법이 planner-worker-manager 구조와 task, model, aggregator noise 분석에 기반한다고 설명한다.
2분 소요 39 조회
LLM 해커뉴스
HN: Anthropic, Opus 4.6·Sonnet 4.6에 1M context를 기본 가격으로 확대
Anthropic는 Opus 4.6과 Sonnet 4.6에 1M context를 general availability로 제공하고, long-context premium 없이 기본 가격을 적용한다고 밝혔다. Hacker News에서는 단순 사양 증가보다 실제 배포 economics 변화에 더 큰 관심이 모였다.
2분 소요 42 조회
LLM X/Twitter
Azure, Microsoft Foundry에서 Claude 4.6 장문맥 확대… 1M 컨텍스트·600페이지 입력·정액 단가 적용
Azure는 2026-03-14 X 게시물에서 Claude Opus 4.6과 Sonnet 4.6의 1M 토큰 컨텍스트, flat pricing, 600 image/PDF page 입력 지원을 강조했다. Microsoft와 Anthropic 공식 문서는 이 세 가지 조건이 실제로 적용된다고 확인한다.
2분 소요 42 조회
AI 해커뉴스
LoGeR, 1만9천 프레임까지 확장한 장문맥 3D 재구성 접근 제시
Hacker News에서 주목받은 LoGeR는 Google DeepMind와 UC Berkeley가 공개한 장문맥 3D 재구성 모델로, hybrid memory를 통해 후처리 최적화 없이 매우 긴 비디오를 다룬다고 설명한다.
2분 소요 40 조회
LLM 레딧
r/LocalLLaMA 화제: Hugging Face의 Qwen3.5-35B-A3B 모델 카드 공개
LocalLLaMA 커뮤니티에서 Qwen3.5-35B-A3B 모델 카드가 빠르게 확산됐다. MoE 구조, 긴 context, 다양한 serving 프레임워크 호환성이 핵심 포인트로 언급된다.
2분 소요 53 조회