#multimodal

시각 생성 모델 논의가 이미지 품질 비교를 넘어, 영상·소리·행동 예측을 같은 backbone에 넣을 수 있느냐로 옮겨갔다.

멀티모달 추론 모델의 공개 경쟁이 한 단계 더 치열해졌다. Thinking Machines는 Inkling 전체 가중치를 공개하고, 64K와 256K 컨텍스트 옵션 및 Tinker fine-tuning 경로를 함께 열었다.

HN의 관심은 benchmark 1등보다 조합에 모였다. Thinking Machines Lab의 Inkling은 multimodal MoE, 조절 가능한 reasoning effort, Tinker fine-tuning을 한 묶음으로 내세우며 open-weight 모델의 쓰임새를 다시 묻는다.

장문·멀티모달·코딩 성능을 앞세운 MiniMax M3가 오픈 웨이트 배포 단계에 들어갔다. 모델 카드는 약 428B 파라미터와 23B 활성 파라미터, 1M 컨텍스트를 명시한다.

댓글의 관심은 “encoder-free”라는 표현이 실제 아키텍처에서 무엇을 뜻하는지에 모였다.

로컬 멀티모달 모델 경쟁이 12B급으로 좁혀졌다. Google Gemma는 Gemma 4 12B를 Apache 2.0으로 공개하며 이미지·오디오 입력을 별도 인코더 없이 처리한다고 밝혔다.

Google I/O 2026의 핵심은 Gemini를 앱 안의 챗봇보다 넓은 실행 계층으로 밀어 올리는 흐름이다. Gemini 3.5 Flash는 API와 Antigravity, Search, Gemini app에 풀렸고, Gemini Omni는 video 생성과 편집을 전면에 세웠다.

구글 딥마인드가 Google I/O 2026에서 텍스트·이미지·오디오·영상 등 모든 입력으로 영상을 생성하는 Gemini Omni를 공개했다. Gemini의 지능과 구글 생성형 미디어 기술의 결합으로, Gemini 앱과 YouTube Shorts를 통해 즉시 이용 가능하다.

ByteDance Research가 이미지·영상 생성과 이해를 단일 모델로 처리하는 Lance(3B 파라미터)를 Apache 2.0 라이선스로 오픈소스 공개했다. 주요 벤치마크에서 7B 이상 모델에 맞먹는 성능을 기록했다.

Google이 Gemini API 파일 검색 도구를 멀티모달로 확장했다. 이미지, 오디오, 동영상을 포함한 다양한 파일 유형에 대한 효율적인 RAG 시스템을 구축할 수 있게 됐다.

IBM Research가 단백질·분자·유전자 데이터를 통합하는 멀티모달 모델 MAMMAL을 발표했다. 11개 생물학 벤치마크 중 9개에서 최고 성능을 달성하며 일부 항목에서 AlphaFold 3을 앞질렀다.

r/singularity 커뮤니티가 Claude Mythos 모델이 이미지 출력을 지원함을 발견했다. Anthropic의 첫 이미지 생성 모델이라는 점에서 주목받고 있다.