LLM X/Twitter
NVIDIA, 256K 문맥의 30B 옴니 모델 공개… 기업형 영상 추론 처리량은 최대 9.2배
멀티모달 에이전트는 아직 비전·오디오·텍스트 모델을 따로 엮느라 비용과 지연을 치른다. NVIDIA는 Nemotron 3 Nano Omni로 30B 파라미터, 256K 문맥, 동일 반응성 기준 영상 추론 시스템 용량 최대 9.2배를 내세웠다.
2분 소요 43 조회
태그
#benchmark
#benchmark 태그가 달린 기사
LLM 레딧
Qwen 3.6 27B 양자화 비교, LocalLLaMA가 꽂힌 건 Q4_K_M… 그런데 숫자 논쟁
LocalLLaMA가 먼저 반긴 건 숫자 자체보다 “이런 비교 더 필요하다”는 분위기였다. 다만 Q4_K_M이 Q8_0보다 실전형으로 보인다는 결론이 나오자, 곧바로 오차 범위와 KV 캐시 설정을 따지는 검증 모드로 들어갔다.
1분 소요 49 조회
LLM X/Twitter
vLLM, FP8 장문맥 정확도 13%→89% 복구… KV-cache 실전 투입 벽 낮춘다
중요한 점은 FP8 추론이 품질 붕괴를 고칠 수 있어야만 값어치를 가진다는 데 있다. vLLM는 two-level accumulation 변경으로 128k needle-in-a-haystack 정확도를 13%에서 89%까지 끌어올리면서 FP8 decode 속도 이점은 유지했다고 적었다.
2분 소요 40 조회
LLM 해커뉴스
TerminalBench 1위 Dirac, HN이 점수보다 본 건 토큰 절약과 편집 방식
HN은 leaderboard 숫자만 보고 움직이지 않았다. Dirac가 더 적은 토큰, hash-anchored edit, AST 기반 문맥 선택으로 coding agent 성능을 끌어올렸다는 주장에 시선이 몰렸다.
2분 소요 52 조회
LLM 레딧
MacBook Air M5에서 local coding LLM 21개 비교, LocalLLaMA가 원한 건 vibe 아닌 숫자
r/LocalLLaMA의 MacBook Air M5 benchmark 글은 Qwen 3.6 35B-A3B의 89.6% HumanEval+ 결과뿐 아니라, RAM과 tok/s를 함께 본 실사용 관점을 제공했다.
1분 소요 42 조회
AI X/Twitter
ParseBench, 실제 기업 문서 OCR agent를 16.7만개 규칙 benchmark로 검증한다
중요한 점은 document agent가 table, chart value, visual grounding을 잃으면 실제 업무 판단이 흔들린다는 데 있다. ParseBench는 약 2,000쪽의 enterprise document, 16.7만개+ rule-based tests, 14개 method 평가를 제시한다.
2분 소요 44 조회
휴머노이드 로봇 레딧
Humanoid home-task 88% fail rate, r/singularity는 반쯤 찬 잔으로 봤다
r/singularity는 88% fail rate를 순수한 실패로만 읽지 않았다. 많은 사용자는 같은 숫자를 12% foothold로 봤고, 다른 쪽은 benchmark age와 빠진 robot platform을 따졌다.
2분 소요 42 조회
LLM X/Twitter
Quantized Gemma 4 31B, 메모리 절반으로 tokens/sec를 거의 두 배 끌어올리다
Quantization 얘기는 accuracy가 버티지 못하면 곧바로 무너진다. Red Hat AI는 quantized Gemma 4 31B가 메모리를 절반으로 줄이면서 tokens/sec를 거의 2배로 높이고, baseline accuracy의 99%+를 유지한다고 적었다.
2분 소요 51 조회
AI X/Twitter
EinsteinArena, Newton 시대 kissing number 하한을 593에서 604로 끌어올리다
닫힌 benchmark 대신 live math frontier가 움직였다는 점에서 무게가 다르다. Together는 EinsteinArena agents가 11차원 kissing number 하한을 593에서 604로 끌어올렸고, 4월 11일 기준 open problem에서 11개의 새로운 SOTA를 기록했다고 적었다.
2분 소요 46 조회
LLM X/Twitter
vLLM, 첫 MLPerf vision-language benchmark 제출 사례에 이름 올리다
vLLM은 NVIDIA가 Qwen3-VL 기반 첫 MLPerf vision-language benchmark 제출에 자사 framework를 사용했다고 밝혔다. 함께 링크된 NVIDIA blog는 이 결과를 Blackwell Ultra 성능 강화 흐름 속에 배치하며 일부 workload에서 최대 2.7배 throughput과 60% 이상 token cost 절감을 주장한다.
1분 소요 44 조회
LLM 레딧
LocalLLaMA 사용자, Gemma 4 26B A3B가 로컬 tool calling을 안정적으로 만든다고 평가
약 350포인트를 받은 LocalLLaMA 글은 Gemma 4 26B A3B가 적절한 runtime 설정과 함께할 때 로컬 coding-agent·tool-calling 워크플로에서 유난히 강하게 느껴진다고 주장한다. 작성자는 다른 로컬 모델 스택에서 겪었던 prompt caching과 function calling 문제와 대비해 이를 설명했다.
2분 소요 53 조회
LLM 레딧
MacBook Air M5 32GB에서 37개 LLM을 비교한 LocalLLaMA 벤치마크
LocalLLaMA에 공유된 Mac LLM Bench 결과는 32GB Apple Silicon 환경에서 MoE 모델이 dense 32B 계열보다 더 나은 latency-to-capability 균형을 보일 수 있음을 시사한다. 중요한 점은 숫자 하나보다 재현 가능한 benchmark workflow 자체다.
2분 소요 53 조회