본문으로 건너뛰기

태그

#llm

#llm 태그가 달린 기사

RSS 피드
LLM

Cloudflare, 70+ models를 하나의 AI Gateway API로 묶었다

Cloudflare가 AI Gateway를 agent용 통합 inference layer로 확장해 Workers AI에서 70+ models와 12+ providers를 같은 API로 호출하게 했다. 핵심은 catalog 숫자보다, 한 작업에 inference call이 10번씩 이어지는 agent workflow에서 비용·retry·failover를 한곳에 모으는 데 있다.

2분 소요 42 조회
LLM 해커뉴스

Idle Mac으로 private inference? HN은 Darkbloom의 계산보다 신뢰 모델을 따졌다

HN은 아이디어의 야심에는 반응했지만 곧바로 약한 지점을 찔렀다. marketplace demand, MDM trust, Mac privacy claim, operator economics가 핵심이었다. Darkbloom은 idle Apple Silicon으로 OpenAI-compatible private inference를 더 싸게 제공할 수 있다고 말하지만, 댓글은 이를 landing page가 아니라 architecture와 incentive 문제로 읽었다.

2분 소요 42 조회
LLM

Anthropic Mythos, 은행 패치 속도보다 빠른 취약점 탐색을 드러냈다

Reuters 분석은 Mythos가 은행권에 먼 미래의 위험이 아니라 바로 지금의 patch timing 문제를 들이민다고 본다. 미국, Canada, Britain의 officials가 이미 금융권과 만났고, Anthropic은 이 모델이 high severity·critical severity 취약점을 thousands 단위로 찾아냈다고 설명했다.

2분 소요 43 조회
LLM 해커뉴스

Hacker News가 붙잡은 포인트는 이것이다: I-DLM은 diffusion LLM의 속도 이득을 AR 품질과 같이 가져가려 한다

Hacker News 댓글은 이 논문을 단순한 diffusion text demo가 아니라, 기존 autoregressive serving stack에 얹을 수 있는 더 빠른 LLM 후보로 읽고 있다. 프로젝트 페이지는 I-DLM-8B가 AIME-24 69.6, LiveCodeBench-v6 45.7, 그리고 high concurrency에서 2.9-4.1x throughput을 제시한다고 설명한다.

2분 소요 41 조회