Google Cloud, BigQuery autonomous embedding generation preview로 vector 관리 자동화

Google Cloud가 강조한 내용

2026년 4월 10일, Google Cloud Tech는 X를 통해 BigQuery의 autonomous embedding generation preview를 다시 강조했다. 핵심 아이디어는 단순하지만 실용적이다. 별도 pipeline을 만들어 vector를 생성하고 다시 갱신하는 대신, BigQuery가 source text column과 embedding column을 자동으로 동기화하도록 하는 방식이다.

문서가 설명하는 구조는 generated column 패턴에 가깝다. source column에 데이터가 들어오거나 수정되면 BigQuery가 background에서 embedding column을 생성하거나 갱신한다. retrieval system에서 자주 생기는 운영 문제, 즉 application data는 바뀌었는데 embedding job이 돌지 않아 vector가 stale해지는 문제를 줄이려는 접근이다.

어떻게 동작하나

가이드는 CREATE TABLE 또는 ALTER TABLE 안에서 AI.EMBED 함수를 사용하는 예시를 보여 준다. BigQuery는 generated embedding을 asynchronous하게 저장하고, 이후 그 값을 search와 indexing workflow에 활용할 수 있다.

• 테이블은 source STRING column과 자동 생성되는 embedding column을 함께 정의할 수 있다.
• BigQuery는 text-embedding-005 같은 Vertex AI embedding model을 호출해 column을 유지할 수 있다.
• embedding이 만들어진 뒤에는 vector index를 생성하고 AI.SEARCH로 조회할 수 있다.

preview의 의미

가장 흥미로운 부분은 external model 경로와 built-in model 경로를 함께 제시한다는 점이다. 문서에 따르면 BigQuery는 Vertex AI hosted embedding model을 사용할 수 있고, 동시에 built-in embeddinggemma-300m model에 대한 preview 경로도 제공한다. 이 built-in 경로를 쓰면 데이터가 BigQuery 안에 머물고 Vertex AI 요금이 발생하지 않는다고 Google은 설명한다. embedding freshness를 별도 ML ops task가 아니라 data platform 기능에 더 가깝게 만드는 설계다.

문서는 governance 측면도 분명히 적어 둔다. Vertex AI endpoint를 호출할 때는 적절한 BigQuery permission, connection resource, 그리고 그 connection service account에 필요한 Vertex AI user role이 필요하다. 즉, 이 기능은 glue code를 줄여 주지만 운영 discipline 자체를 없애 주는 것은 아니다.

왜 고신호인가

Vector search는 production AI 시스템에서 가장 자주 지저분해지는 부분 중 하나였다. 대부분의 팀이 “source data 변경 감지, embedding 재생성, 저장, re-index”라는 파이프라인을 별도로 운영해야 했기 때문이다. Autonomous embedding generation은 이 패턴을 database layer 안으로 압축한다. 이미 BigQuery를 중심으로 일하는 enterprise 팀이라면, RAG, semantic search, similarity workflow를 더 신선하게 유지하고 pipeline drift로 망가질 가능성을 낮추는 방향으로 이어질 수 있다.

출처: Google Cloud Tech X 게시물 · BigQuery 문서