Tiny-vLLM, C++와 CUDA로 LLM inference를 끝까지 따라가는 교재형 엔진
관심은 성능 자랑보다 README의 학습 설계에 모였다. vLLM의 핵심을 작은 코드와 수업 흐름으로 재구성한 점이 반응을 얻었다.
태그
#llm 태그가 달린 기사
관심은 성능 자랑보다 README의 학습 설계에 모였다. vLLM의 핵심을 작은 코드와 수업 흐름으로 재구성한 점이 반응을 얻었다.
토큰 사용량과 투자자 구성이 함께 주목을 받았다. HN 댓글의 관심은 “모델 라우터가 독립 인프라로 남을 수 있나”에 모였다.
Liquid AI가 38조 토큰으로 학습한 8B-A1B MoE 모델 LFM2.5를 공개했다. M5 Max에서 초당 253토큰, 모바일에서 30토큰, H100에서 초당 1만 8500토큰의 추론 성능을 자랑하며 동급 밀집 모델을 상회한다.
Quandri 엔지니어링 팀이 MCP(Model Context Protocol)의 세 가지 구조적 결함을 분석했다. 컨텍스트 낭비, 낮은 신뢰성, 기존 인프라와의 중복이 핵심 문제다.
댓글의 관심은 “AI가 코드를 얼마나 빨리 쓰나”보다 “검토 루프를 어떻게 설계해야 품질이 올라가나”에 모였다.
세계 최대 오픈 라이브러리 Anna's Archive가 llms.txt 파일을 통해 AI 시스템에 직접 말을 걸었습니다. CAPTCHAs는 리소스 보호 목적이며, 합법적인 벌크 다운로드 경로와 기부 협력 모델을 제안합니다.
Alibaba Qwen 팀이 에이전트 중심 설계의 신모델 Qwen3.7-Max를 공개했다. Artificial Analysis 평가에서 GPT 5.4와 동급인 5위를 기록하며 오픈 웨이트 프론티어 모델의 새 기준을 제시했다.
ACM CAIS '26에 발표된 오픈소스 Python 프레임워크 Forge가 Ministral-3 8B 모델에 가드레일을 적용해 에이전트 작업 정확도를 53%에서 99%로 향상시켰다.
Google이 에이전트 워크플로우에 최적화된 Gemini 3.5 Flash를 출시했다. 타 프론티어 모델 대비 4배 빠른 출력 속도와 절반 이하의 비용을 제공하며 코딩·멀티모달·추론 벤치마크에서 최상위권을 기록했다.
Claude가 세션 도중 사용자에게 수면을 권유하는 동작이 수개월째 보고되고 있다. Anthropic은 '캐릭터 습관'이라고 설명했지만 정확한 원인은 밝히지 못했다.
ByteDance Research가 이미지·영상 생성과 이해를 단일 모델로 처리하는 Lance(3B 파라미터)를 Apache 2.0 라이선스로 오픈소스 공개했다. 주요 벤치마크에서 7B 이상 모델에 맞먹는 성능을 기록했다.
Google DeepMind가 Google I/O 2026에서 Gemini 3.5 Flash를 공개했다. 에이전트 작업과 코딩에서 역대 최강 성능을 제공하며, 동급 모델 대비 4배 빠른 속도를 자랑한다.