본문으로 건너뛰기
Insights

카테고리

LLM

Insights의 LLM 기사

RSS 피드
LLM 레딧

r/LocalLLaMA: 커뮤니티 벤치마크 데이터가 Apple Silicon local LLM 성능 논의를 측정 가능한 형태로 바꾸다

최근 r/LocalLLaMA에서 주목받은 글은 커뮤니티가 이미 400개가 넘는 모델에 대해 거의 1만 건에 이르는 Apple Silicon 벤치마크를 제출했다고 주장한다. 이 글이 중요한 이유는 흩어진 체감담을 넘어, M-series 칩과 context 길이별 패턴을 비교할 수 있는 공유 데이터셋이 생기기 시작했기 때문이다.

2분 소요 42 조회
#apple-silicon#benchmarks#omlx
LLM 레딧

r/LocalLLaMA: M1 Max에서 MLX와 llama.cpp의 실제 지연 시간 차이를 검증

최근 r/LocalLLaMA 벤치마크 글은 Apple Silicon에서 MLX와 llama.cpp를 비교할 때 단순 tok/s 화면만 보면 중요한 차이를 놓칠 수 있다고 지적했다. MLX는 짧은 context의 generation에서는 여전히 빠르지만, 긴 context workload에서는 prefill이 전체 지연 시간을 지배해 체감 속도 우위가 크게 줄어들 수 있다.

2분 소요 49 조회
#mlx#llama.cpp#apple-silicon
LLM 레딧

r/singularity, LM head가 학습 신호 대부분을 낭비한다고 보는 논문에 주목

한 Reddit 스레드는 arXiv 논문 2603.10145를 끌어올렸고, 이 논문은 language model의 output layer가 단순한 softmax expressivity 문제가 아니라 gradient norm의 95~99%를 억제하는 optimization bottleneck일 수 있다고 주장한다. 토론은 더 나은 head 설계가 LLM 학습 효율을 크게 바꿀 수 있는지에 집중됐다.

2분 소요 40 조회
#backpropagation#lm-head#optimization
LLM 레딧

r/MachineLearning, LLM benchmark 논문이 발표될 때쯤 이미 낡아버리는지 논쟁

r/MachineLearning의 한 고득점 토론은 proprietary model이 매달 바뀌고 이전 version이 사라지는 상황에서 benchmark 논문이 무엇을 남기는지 묻는다. 가장 설득력 있었던 답변은 ranking은 빨리 낡지만, dataset과 failure case는 오래 남아 실전 eval asset이 될 수 있다는 것이었다.

2분 소요 42 조회
#benchmarks#evaluation#llm-research
LLM 해커뉴스

Hacker News, transformer 내부에서 program execution을 수행한다는 Percepta 주장에 주목

Percepta는 2026년 3월 11일 공개한 글에서 transformer 내부에 computer를 만들고, arbitrary C program을 수백만 step 실행하며, 2D attention head로 inference를 지수적으로 가속할 수 있다고 주장했다. HN 이용자들은 흥미로운 연구 방향으로 봤지만, 더 명확한 설명과 benchmark, 실제 확장성에 대한 근거를 요구했다.

2분 소요 41 조회
#transformers#inference#llm-research
LLM 해커뉴스

Hacker News, browser에서 local AI 호환성을 계산하는 CanIRun.ai에 주목

CanIRun.ai는 WebGL, WebGPU, navigator API로 GPU, CPU, RAM을 browser 안에서 감지하고, 어떤 quantized model이 내 장비에 맞는지 추정한다. HN 이용자들은 아이디어를 반겼지만, 누락된 hardware 항목, 보수적인 추정치, model 기준 역검색 기능은 더 보완이 필요하다고 지적했다.

2분 소요 49 조회
#local-ai#llm-inference#hardware