LLM judge, stakes 한 줄에 unsafe 판정이 30%까지 눈에 띄게 흔들렸다
새 arXiv preprint는 평가 결과의 consequences를 암시하는 한 줄만으로 LLM judge가 더 관대해졌다고 보고했다. 자동 safety·quality benchmark의 취약점이 드러났다.
카테고리
Insights의 LLM 기사
새 arXiv preprint는 평가 결과의 consequences를 암시하는 한 줄만으로 LLM judge가 더 관대해졌다고 보고했다. 자동 safety·quality benchmark의 취약점이 드러났다.
r/LocalLLaMA가 이 글에 반응한 이유는 숫자가 구체적이었기 때문이다: RTX 5070 Ti에서 128K context와 79 t/s를 만든 핵심이 flag 하나로 좁혀졌다.
r/LocalLLaMA에서 이 질문이 먹힌 이유는 단순했다: 막연한 음모론 대신 access control, logging, career risk라는 현실적인 답이 줄줄이 나왔다.
OpenAI는 Codex를 매주 300만 명이 넘는 developers가 쓰고 있다고 밝히며, desktop app을 code editor 밖으로 확장했다. 이번 update에는 macOS background computer use, in-app browser, gpt-image-1.5 image generation, 90개+ plugins, PR review workflow, SSH devboxes alpha, automations, memory preview가 포함됐다.
HN이 MacMind를 올린 이유는 transformer를 inspect 가능한 크기로 줄였기 때문이다. Macintosh SE/30의 HyperTalk 안에서 1,216-parameter model이 embeddings, positional encoding, self-attention, backpropagation, gradient descent로 FFT bit-reversal을 배운다.
MM-WebAgent는 AI가 만든 웹페이지가 왜 그럴듯한 조각들의 조합에 머무는지 겨냥한다. 계층형 planning, self-reflection, benchmark, code/data 공개를 통해 code-only 평가를 넘어 multimodal page coherence를 재는 틀을 제시했다.
r/singularity의 Opus 4.7 thread가 뜨거웠던 이유는 41.0%라는 숫자보다 그 숫자의 원인을 둘러싼 해석 싸움이었다. NYT Connections extended benchmark에서 Opus 4.6의 94.7%와 대비되자, community는 capability regression과 refusal tuning을 나눠 보려 했다.
r/LocalLLaMA가 Qwen3.6 release 자체보다 GGUF quant 선택과 CUDA 버그에 더 크게 반응했다. Unsloth의 benchmark post는 KLD, disk space, 4bit gibberish, CUDA 13.1/13.3 같은 실제 실행 조건을 전면에 올렸다.
HN이 주목한 건 Claude 4.7의 성능표가 아니라, 같은 prompt가 더 많은 token으로 계산될 때 developer workflow의 실제 비용이 어떻게 바뀌느냐였다. 원문은 Anthropic의 1.0-1.35x 안내보다 일부 technical docs에서 높은 ratio를 측정했고, 댓글은 token price보다 task value와 human review 시간이 더 중요하다는 반론까지 붙었다.
새 arXiv 논문은 낮은 평균 오류율 뒤에 LLM judge의 per-document 불안정성이 숨어 있음을 보였다. SummEval에서 문서 33-67%가 directed 3-cycle을 하나 이상 보였고, prediction set width는 absolute error와 강하게 맞물렸다.
왜 중요한가: 장시간 실행되는 agent는 모든 메시지를 다시 넣지 않고도 이전 상태를 기억해야 한다. Cloudflare는 private beta로 공개한 Agent Memory가 context window를 채우지 않으면서 필요한 정보를 다시 제공한다고 설명했다.
HN의 관심은 “Cloudflare가 AI를 한다”가 아니라, 14개 이상 provider를 묶는 inference layer가 agent 개발자의 실제 배관 문제를 줄여주느냐였다. Cloudflare 글은 AI Gateway, Workers AI binding, multimodal model catalog를 한 흐름으로 묶었고, 댓글은 OpenRouter와의 차이, pricing 신뢰도, model catalog의 일관성을 따졌다.