본문으로 건너뛰기
Insights

카테고리

LLM

Insights의 LLM 기사

RSS 피드
LLM X/Twitter

카르파티: LLM 메모리·연산 최적화의 핵심 — SRAM vs DRAM 트레이드오프

AI 연구자 안드레이 카르파티가 LLM 시대의 핵심 기술 과제로 메모리와 연산 자원의 최적 조합을 제시했다. 온칩 SRAM과 외부 DRAM의 트레이드오프를 이해하고 추론·훈련 워크플로우에서 최고의 처리량·지연시간·비용 효율을 달성하는 것이 현재 가장 흥미로운 기술적 과제라고 강조했다.

1분 소요 42 조회
#llm#hardware#inference
LLM 레딧

r/MachineLearning: <code>Micro Diffusion</code>, 약 150줄 Python으로 보는 이산 텍스트 diffusion

r/MachineLearning의 프로젝트 공유 글(점수 71, 댓글 12)은 Karpathy의 <code>Microgpt</code>에서 영감을 받은 최소 텍스트 diffusion 구현을 소개했다. 작성자는 143줄 NumPy 버전부터 413줄 PyTorch Transformer 버전까지 같은 diffusion loop를 비교 가능한 형태로 공개했다.

2분 소요 36 조회
#diffusion-models#python#machinelearning
LLM 레딧

r/LocalLLaMA 벤치마크: 단일 RTX 5080에서 80B MoE 프리필 3,324 tok/s를 보고한 <code>Krasis</code>

r/LocalLLaMA의 게시글(점수 180, 댓글 53)은 CPU/GPU 하이브리드 MoE runtime <code>Krasis</code>의 장문 벤치마크를 공유했다. 핵심 주장은 “GPU로 prefill, CPU로 decode” 분리를 통해 VRAM이 부족한 환경에서 긴 컨텍스트 응답 대기 시간을 줄일 수 있다는 점이다.

2분 소요 44 조회
#moe#inference-runtime#llm-serving
LLM 해커뉴스

HN 화제: Karpathy의 <code>microgpt</code>, 약 200줄로 GPT 학습과 추론을 해부

Hacker News에서 점수 732, 댓글 120을 기록한 <code>Microgpt</code> 토론은 GPT의 핵심 알고리즘을 순수 Python 단일 파일로 축약한 교육용 구현에 주목했다. 데이터셋, tokenizer, autograd, Transformer, Adam, inference까지 한 흐름으로 확인할 수 있다는 점이 핵심 평가 포인트였다.

2분 소요 38 조회
#llm-education#python#transformer
LLM

NVIDIA, 오픈 모델·데이터·도구 대규모 공개…산업 전반 AI 구축 가속

NVIDIA는 2026년 1월 5일 Nemotron, Cosmos, Alpamayo, Isaac GR00T, Clara를 포함한 오픈 모델·데이터·도구 확장을 발표했다. 회사는 10 trillion 언어 토큰과 100 terabytes 차량 센서 데이터를 포함한 대규모 오픈 자산을 제시하며 enterprise AI 개발 속도와 배포 효율 개선을 강조했다.

2분 소요 42 조회
#open-models#nemotron#cosmos