(씨넷코리아=윤현종 기자) 일레븐랩스가 영상 및 오디오 콘텐츠를 위한 신규 AI 더빙 모델 ‘더빙 v2(Dubbing v2)’를 출시했다고 16일 밝혔다.
더빙 v2는 기존 AI 더빙 기술 한계로 지적돼 온 감정 표현과 전달력 손실 문제를 개선했다. 단순히 텍스트를 번역해 음성을 생성하는 방식에서 벗어나 원본 화자 감정과 톤, 억양, 말 간격, 전달 방식 등 실제 발화 특성을 분석해 다국어 음성에 반영한다. 덕분에 원본 콘텐츠 몰입감과 감정선을 보다 자연스럽게 전달할 수 있게 됐다.
일레븐랩스는 특히 K-콘텐츠의 글로벌 확장 과정에서 발생하는 번역과 성우 녹음, 오디오 편집, 타이밍 조정 등의 제작 부담을 줄일 수 있을 것으로 기대하고 있다. 드라마와 영화, 웹툰·웹소설 기반 IP, 게임, 애니메이션, VTuber 및 크리에이터 콘텐츠 등을 영어를 포함한 90개 이상의 언어로 효율적으로 확장할 수 있다는 설명이다.
더빙 v2는 원본 음성의 감정과 연기 표현을 유지하는 기능 외에도 자연스러운 현지화(Localisation) 기능을 지원한다. 직역 대신 각 언어권 사용자에게 자연스럽게 들리는 표현으로 번역을 수행하며, 생성된 음성을 원본 발화 시점에 맞춰 자동 정렬하는 기능도 제공한다. 또 별도 작업 없이 화자의 음색과 톤을 반영하는 자동 보이스 클로닝(Voice Cloning) 기능도 탑재했다.
국내 주요 방송사 협업 사례도 공개했다. 일레븐랩스는 SBS 다큐멘터리 ‘괴물의 시간’ 제작 과정에서 일레븐랩스의 오디오 AI 기술을 활용해 실존 인물 목소리를 재생성했다.
박재현 SBS AI파트너십팀 부장은 “일레븐랩스 기술을 바탕으로 K-콘텐츠의 글로벌 더빙 및 로컬라이제이션 분야 협력을 확대할 계획”이라며 “K-콘텐츠 해외 유통 확대를 지원하는 기술 파트너가 될 것으로 기대한다”고 말했다.
홍상원 일레븐랩스 한국 총괄은 “더빙 v2는 정교한 감정 재현력과 높은 싱크 정확도를 바탕으로 국내 콘텐츠 기업과 크리에이터들이 언어 장벽을 넘어 글로벌 시장과 소통할 수 있도록 지원할 것”이라고 밝혔다.
