CNET Korea뉴스엔터프라이즈
일레븐랩스, 감정 살리는 AI 더빙 모델 ‘더빙 v2’ API 공개
한국어·일본어 등 92개 언어로 콘텐츠 현지화 지원…크리에이터 영상·게임 컷신·마케팅·장편 콘텐츠 제작 활용
(씨넷코리아=윤현종 기자) 일레븐랩스가 원본 음성 감정과 퍼포먼스를 재현하는 AI 더빙 모델 ‘더빙 v2’를 일레븐API로 제공한다고 10일 밝혔다.
더빙 v2는 입력 음성을 다른 언어의 음성으로 직접 바꾸는 오디오 투 오디오 구조를 채택했다. 음성을 문자로 인식한 뒤 번역하고 합성하는 기존 파이프라인과 달리 원본 음성을 기반으로 결과물을 생성해 화자의 감정과 목소리, 발화 특성을 유지하는 데 초점을 맞췄다.
지원 언어는 한국어와 일본어를 포함한 92개다. 화자의 목소리를 복제해 다국어 결과물을 만들며 번역된 음성의 발화 타이밍이 영상 흐름과 맞도록 조정한다. 다만 입 모양을 바꾸는 AI 립싱크 처리는 제공하지 않는다.
일레븐랩스는 영상 크리에이터와 게임 스튜디오의 캐릭터 대사·컷신 현지화, 소비재와 여행·숙박업계의 다국어 마케팅 영상, 스트리밍·미디어 기업의 장편 콘텐츠 제작 등을 주요 활용 분야로 제시했다.
API 제공으로 개발자와 기업은 더빙 기능을 자체 제품이나 제작 워크플로에 직접 연결할 수 있다. 라이브 스트리밍 등 실시간 다국어 더빙 기능은 이번 출시 범위에서 제외됐다.
한편, 일레븐랩스는 2022년 설립됐으며 올해 2월 시리즈 D 투자에서 5억 달러를 유치했다. 당시 기업가치는 110억 달러로 평가됐다.
윤현종 기자mandu@cnet.co.kr
국내외 최신 IT 소식, 쉽고 재미있게 풀어내겠습니다. :)
