LLM 레딧
LoCoMo audit 제기한 r/MachineLearning, answer key 오류 6.4%와 judge 취약성 지적
Penfield Labs는 LoCoMo answer key 1,540문항 중 99개가 score를 왜곡한다고 주장했고, gpt-4o-mini judge가 의도적으로 틀린 답변도 62.81% 통과시켰다고 보고해 benchmark 신뢰성 논쟁을 키웠다.
2분 소요 45 조회
태그
#evaluation
#evaluation 태그가 달린 기사
AI X/Twitter
Google DeepMind, 유해한 AI 조작을 실측하는 real-world toolkit 공개
Google DeepMind는 2026년 3월 26일 대화형 AI가 감정을 악용하거나 사람을 해로운 선택으로 유도할 수 있는지를 다룬 새 연구를 공개했다. 회사는 영국·미국·인도 참가자 1만 명 이상이 참여한 9개 연구를 바탕으로, harmful AI manipulation을 측정하는 첫 empirically validated toolkit을 만들었다고 밝혔다.
2분 소요 55 조회
LLM
Microsoft Research, AI agent 첫 치명적 실패 지점 찾는 AgentRx 오픈소스 공개
Microsoft Research가 긴 agent trajectory에서 첫 critical failure step을 찾는 AgentRx를 공개했다. 115개 failed trajectory benchmark와 nine-category taxonomy도 함께 내놓으며 failure localization과 root-cause attribution 개선 수치를 제시했다.
2분 소요 35 조회
과학 레딧
r/MachineLearning, 편향된 라벨이 의료 AI 실패를 가릴 수 있다고 경고
r/MachineLearning에서 주목한 유방암 segmentation 연구는 자동 생성 라벨을 학습과 평가에 함께 쓰면 younger patient 집단의 성능 저하와 bias가 실제보다 덜 드러날 수 있다고 지적한다.
2분 소요 38 조회
AI X/Twitter
OpenAI, Promptfoo 인수로 agentic security testing 역량 강화 추진
OpenAI는 2026년 3월 9일 Promptfoo 인수 계획을 공개했다. OpenAI는 Promptfoo 기술이 OpenAI Frontier의 agentic security testing과 evaluation 역량을 강화할 것이며, Promptfoo는 기존 라이선스 아래 open source로 유지되고 기존 고객 지원도 이어간다고 밝혔다.
2분 소요 42 조회
LLM 레딧
r/MachineLearning, COCONUT의 “latent reasoning”이 architecture보다 curriculum 효과인지 문제 제기
r/MachineLearning의 한 글은 Meta의 COCONUT 성과가 recycled hidden state 자체보다 curriculum 설계와 sequential processing에서 왔을 가능성이 크다고 주장한다.
3분 소요 32 조회
LLM 해커뉴스
Hacker News, maintainer merge rate 기준으로 본 LLM 코딩 성능 정체론을 토론
Hacker News에서는 2026년 3월 12일 올라온 분석 글을 계기로, LLM 코딩 성능이 SWE-bench test 통과율보다 maintainer merge 기준에서 훨씬 약하게 보인다는 문제의식이 확산됐다.
2분 소요 49 조회
LLM 레딧
r/MachineLearning, LLM benchmark 논문이 발표될 때쯤 이미 낡아버리는지 논쟁
r/MachineLearning의 한 고득점 토론은 proprietary model이 매달 바뀌고 이전 version이 사라지는 상황에서 benchmark 논문이 무엇을 남기는지 묻는다. 가장 설득력 있었던 답변은 ranking은 빨리 낡지만, dataset과 failure case는 오래 남아 실전 eval asset이 될 수 있다는 것이었다.
2분 소요 42 조회
AI 레딧
‘Shadow API’가 LLM 연구 재현성을 무너뜨린다는 경고
r/MachineLearning에서 공유된 새 arXiv 논문은 unofficial model access provider가 연구 결과와 운영 신뢰성을 모두 흔들 수 있다고 지적한다.
1분 소요 39 조회
LLM X/Twitter
OpenAI, CoT-Controllability 평가 공개… GPT-5.4 Thinking의 추론 은닉 능력 제한적이라고 발표
OpenAI는 Chain-of-Thought controllability 평가 세트와 연구 문서를 공개했다고 밝혔다. 회사는 GPT-5.4 Thinking이 추론 과정을 의도적으로 숨기는 능력이 낮게 나타났으며, CoT 모니터링이 여전히 안전성 도구로 유효하다고 설명했다.
1분 소요 38 조회
LLM 레딧
LocalLLaMA 실험: Qwen3.5-35B-A3B, SWE-bench Verified Hard 37.8% 보고
r/LocalLLaMA 게시글은 “매 편집 후 검증” 루프만으로 Qwen3.5-35B-A3B 점수가 22.2%에서 37.8%로 상승했다고 보고하며, Claude Opus 4.6 기준 40%와의 격차 축소를 강조했다.
2분 소요 45 조회
LLM 레딧
OpenAI, SWE-bench Verified 평가 중단: 최소 16.4% 테스트 결함 지적
Reddit r/singularity에서 주목받은 게시물은 OpenAI가 SWE-bench Verified 테스트 품질 문제를 이유로 해당 벤치마크 평가를 더 이상 사용하지 않겠다고 밝힌 소식을 공유했다. 최소 16.4% 결함 지적은 LLM 코딩 벤치마크 해석 방식에 직접적인 영향을 준다.
1분 소요 42 조회