태그

#edge-ai

#edge-ai 태그가 달린 기사

AI 해커뉴스

5년 된 스마트폰에서도 밀리초 추론, Desert Ant의 작은 온디바이스 모델 18종

모든 작업을 거대 모델 API로 보내지 말자는 구체적인 대안이 개발자들의 시선을 끌었다. Desert Ant Labs는 음성·영상·텍스트의 좁은 작업을 맡는 모델 18종과 Swift·Kotlin·JavaScript SDK를 공개했다.

9시간 전 2분 소요 1

#desert-ant #on-device-ai #edge-ai

Arm C2-Ultra, 모바일 AI 성능 1.7배…전력 38% 낮춘 CSS for Mobile 2

스마트폰 CPU에서 AI 성능을 전 세대의 최대 1.7배로 높이면서 같은 성능의 전력은 최대 38% 줄인 Arm CSS for Mobile 2가 나왔다. 에이전트 실행과 신경망 그래픽을 CPU·GPU·시스템 IP 하나로 묶은 모바일 설계다.

2일 전 2분 소요

#arm #mobile-ai #edge-ai

AI 레딧

264KB diffusion model, FPGA를 붙이자 3배 느려진 이유

가속기가 계산을 빠르게 해도 data가 도착하지 않으면 전체는 느려진다. r/MachineLearning의 이 작은 실험은 264KB SRAM에서 32×32 이미지를 만들며 memory wall을 숫자로 드러냈다.

2026년 8월 20일 2분 소요 10

#edge-ai #diffusion #fpga

LLM 해커뉴스

ESP32에서 28.9M LLM, 8달러 칩 위의 온디바이스 실험

작은 microcontroller에서 LLM을 돌린다는 말은 과장이 아니다. 핵심은 flash에 25M parameter lookup table을 두고 token마다 필요한 일부만 읽는 메모리 배치다.

2026년 7월 26일 1분 소요 20

#esp32 #edge-ai #llm

Cosmos 3 Edge, 4B world model로 edge physical AI 정조준

로봇과 영상 검증을 클라우드 밖으로 밀어내는 숫자가 나왔다. NVIDIA는 SIGGRAPH에서 4B Cosmos 3 Edge, Synthetic Video Detector NIM, DGX Station용 Nemotron 3 Ultra 스택을 한꺼번에 공개하며 physical AI의 배포 지점을 edge와 로컬 워크스테이션으로 좁혔다.

2026년 7월 21일 2분 소요 25

#nvidia #cosmos #physical-ai

궤도 위 VLM 첫 탐색, 위성 데이터 병목을 우주에서 줄이는 길

AI가 위성 사진을 지상으로 내려보낸 뒤 분석하는 순서를 뒤집기 시작했다. YAM-9 위성에서 Gemma 3 기반 VLM이 자연어 질의에 맞춰 관심 지역을 직접 찾은 첫 보고 사례가 나왔다.

2026년 6월 16일 1분 소요 30

#space-ai #vlm #gemma

LLM X/Twitter

Gemma 4 QAT, 엣지 AI 실행 메모리를 1GB 목표까지 낮춘 새 체크포인트

Google이 Gemma 4 QAT 체크포인트를 공개하며 엣지 장치와 소비자 GPU용 로컬 추론을 겨냥했다. 모바일 포맷 기준 Gemma 4 E2B 메모리 사용량은 1GB까지 낮아진다.

2026년 6월 7일 2분 소요 34

#google #gemma #qat

LLM 해커뉴스

Liquid AI, 38조 토큰 학습 MoE 모델 공개

Liquid AI가 38조 토큰으로 학습한 8B-A1B MoE 모델 LFM2.5를 공개했다. M5 Max에서 초당 253토큰, 모바일에서 30토큰, H100에서 초당 1만 8500토큰의 추론 성능을 자랑하며 동급 밀집 모델을 상회한다.

2026년 5월 30일 1분 소요 36

#liquid-ai #llm #moe

LLM 레딧

Ternary Bonsai, LocalLLaMA는 압축 claim의 공정성을 먼저 따졌다

LocalLLaMA는 1.58-bit model의 가능성에 반응했지만, thread는 곧 어려운 질문으로 향했다. 비교 대상이 quantized Qwen peers가 아니라 full-precision baseline이면 공정한가.

2026년 4월 17일 2분 소요 42

#model-compression #local-llms #bonsai

궤도 위 첫 GPU cluster, Nvidia Orin 40개 싣고 실제 고객을 받기 시작했다

우주 데이터센터는 아직 미래형 구호에 가깝지만, 우주 inference는 벌써 사업 냄새가 난다. Kepler의 cluster는 10개 위성에 Nvidia Orin 40개를 얹고 고객 18곳을 확보해, space compute를 pitch deck 바깥으로 끌어냈다.

2026년 4월 14일 2분 소요 49

#kepler #space-computing #nvidia

DeepX, on-device AI chip 축으로 국내 IPO 채비에 들어갔다

AI silicon 투자 열기가 data center 거인들 밖으로 번질지 시험할 장면이 나왔다. Reuters에 따르면 South Korea의 DeepX는 국내 상장을 준비 중이며, 2026년 상반기 funding round를 마친 뒤 IPO 주관사 선정에 나서고 이후 U.S. listing 가능성도 열어두고 있다.

2026년 4월 14일 1분 소요 42

#deepx #ai-chips #ipo

LLM 레딧

LocalLLaMA가 주목한 Parlor, Gemma 4 E2B로 구현한 실시간 로컬 음성·비전 assistant

LocalLLaMA의 데모 글은 Gemma 4 E2B와 Kokoro TTS를 이용해 음성·비전 대화를 전부 로컬에서 처리하는 Parlor를 소개했다. README 기준 Apple M3 Pro에서 end-to-end latency는 약 2.5~3.0초, decode speed는 약 83 tokens/sec다.

2026년 4월 6일 2분 소요 43

#llm #multimodal #edge-ai