수어가 스마트폰의 직접 입력 방식으로

Pixel 11에서 미국 수어(ASL)를 영어 텍스트로 바꾸는 입력 기능이 시작된다. Google DeepMind의 SL2T(sign language-to-text) 모델을 이용해 사용자가 카메라 앞에서 수어를 하면 Gboard와 Live Transcribe가 이를 문장으로 받는다. 청각장애인과 난청 사용자가 먼저 음성이나 키보드로 표현 방식을 바꿔야 했던 단계를 줄인다는 점이 핵심이다. 번역 결과를 복사하는 별도 앱이 아니라 Android의 일상적인 입력·자막 도구 안으로 들어간다.

“Starting with American Sign Language-to-English on Pixel 11, people can sign directly into Gboard and Live Transcribe instead of typing.”

Google DeepMind는 원문 게시물에서 Pixel 11의 ASL-영어 변환을 첫 적용 사례로 제시했다. 후속 설명에 따르면 SL2T는 학술 벤치마크에서 최고 수준의 성능을 냈으며, 휴대전화를 한 손에 든 상태에서 다른 손으로 수어를 하는 실제 사용 조건도 고려했다. 수어 인식이 정면을 향한 두 손과 통제된 배경만을 전제로 하면 모바일 기능으로 이어지기 어렵다는 문제를 제품 설계 단계에서 다룬 셈이다.

자세 정보는 기기에서, 번역은 서버에서

처리 경로도 중요하다. 카메라 영상에서 신체 자세를 추적하는 단계는 Pixel 기기 안에서 수행하고, 서버에는 번역에 필요한 표현이 전달된다. 영상 전체를 그대로 원격 처리하는 방식과는 다르지만, 완전한 기기 내 번역은 아니다. 실제 배포 이후에는 어떤 자세 데이터가 전송되고 얼마나 오래 보관되는지, 네트워크가 불안정할 때 기능이 어떻게 동작하는지가 개인정보 보호 수준을 판단하는 기준이 된다.

공식 기술 소개는 이 모델이 청각장애 Google 직원과 AI 수어 자문위원회의 조언을 받아 개발됐다고 설명한다. Google DeepMind 계정은 보통 Gemini 연구, 과학 모델, Android에 이전되는 응용 연구를 다루며, 이번 글은 연구 데모가 운영체제 기능으로 넘어가는 지점을 보여준다. 특히 Gboard 입력은 메시지, 검색, 문서 등 기존 Android 앱 전반으로 접근 범위를 넓힐 수 있다.

다음 관전 지점

첫 버전은 ASL에서 영어로 가는 한 방향에 집중한다. 다음 단계에서는 더 많은 수어와 음성언어 조합, 지역별 표현 차이, 연속 수어의 문맥 처리, 지연시간이 검증돼야 한다. Pixel 11 출시 뒤 실제 사용자 오류율과 한 손 수어 지원 범위, 서버 장애 시 대체 입력 방식도 확인할 항목이다. Google은 다른 수어와 응용 분야로 확대하겠다고 밝혔지만 일정은 제시하지 않았다. 제품의 성패는 벤치마크 순위보다 다양한 조명·각도·신체 조건에서 대화 흐름을 끊지 않는지에 달려 있다.

#pixel-11

Pixel 11, 수어를 영어로 바꾸는 Google DeepMind SL2T로 입력 장벽 축소