ByteDance, 얼굴 사진으로 목소리 복제하는 Seedance 2.0 기능 긴급 중단

기능 개요

Seedance 2.0은 얼굴 이미지만을 사용하여 놀라울 정도로 정확한 개인 목소리 특성을 생성할 수 있는 AI 비디오 생성 기능입니다. 테스트 과정에서 한 사용자가 개인 사진을 업로드했을 때, 어떠한 음성 샘플도 제공하지 않았음에도 불구하고 모델이 '실제 목소리와 거의 동일한' 오디오를 생성했습니다.

이 기술은 ByteDance의 AI 크리에이티브 플랫폼 Jimeng(即梦)의 일부로, AI 기반 단편 드라마와 애니메이션 시리즈 제작을 목표로 개발되었습니다.

중단 사유

ByteDance의 Jimeng 플랫폼은 대중의 우려가 제기된 후 '건강하고 지속 가능한 창작 환경을 유지'하기 위해 해당 기능을 긴급 중단한다고 발표했습니다. 회사는 즉시 '실제 사람과 유사한 사진이나 비디오를 참조 대상으로 사용하는 것을 금지'하는 등의 긴급 조치를 시행했습니다.

주요 변경 사항

• 실사 인물 사진/비디오 사용 전면 금지
• 음성 복제 기능 비활성화
• 콘텐츠 검증 프로세스 강화

프라이버시 및 보안 우려

이 기능은 심각한 신원 위조 위험을 제기했습니다. 기사에 따르면, 악용될 경우 '딥페이크 뉴스, 사기, 명예 훼손 공격'을 가능하게 할 수 있습니다. 특히 동의 없이 목소리를 합성할 수 있는 능력은 무단 개인 음성 복제의 잠재적 위험을 부각시켰습니다.

딥페이크 악용 시나리오

• 사기 및 금융 범죄: 유명인이나 친인척의 목소리를 사칭하여 금전 요구
• 허위 정보 유포: 정치인이나 공인의 가짜 발언 영상 제작
• 명예 훼손: 특정 인물이 문제 발언을 한 것처럼 조작
• 개인 프라이버시 침해: 무단으로 개인의 목소리와 얼굴을 사용한 콘텐츠 제작

AI 비디오 생성 산업에 대한 시사점

업계 관계자들은 Seedance 2.0이 'AI 기반 단편 드라마와 애니메이션 시리즈' 분야에서 여전히 큰 잠재력을 가지고 있다고 낙관하지만, 배포는 '안전성, 통제, 책임성에 기반해야 한다'고 강조합니다.

이 사건은 고급 AI 시스템에서 혁신과 윤리적 보호 장치 사이의 균형을 맞추는 것이 더욱 중요한 과제임을 보여줍니다. 특히 생성형 AI가 점점 더 사실적인 콘텐츠를 만들 수 있게 되면서, 기술 개발과 동시에 악용 방지 메커니즘을 마련하는 것이 필수적입니다.

향후 전망

ByteDance는 안전 장치를 강화한 후 서비스를 재개할 계획으로 보입니다. 이번 사례는 AI 기업들이 강력한 기능을 출시하기 전에 충분한 안전성 테스트와 윤리적 검토를 수행해야 한다는 교훈을 제공합니다.

앞으로 생성형 AI 기술은 워터마크, 콘텐츠 출처 추적, 합성 미디어 표시 의무화 등의 기술적·법적 안전 장치와 함께 발전해야 할 것입니다.