(씨넷코리아=윤현종 기자) AI 오디오 기업 일레븐랩스가 음성 에이전트용 음성 대 음성 모델 ‘일레븐 리얼타임’을 공개했다.
새 모델은 빠르고 자연스러운 대화에 초점을 맞춘 ‘일레븐 리얼타임 v1 미니’와 복잡한 작업을 처리하는 ‘v1 맥스’ 두 종류다. 한국어와 일본어를 포함한 90개 이상의 언어를 지원하며, 1만7천개 이상의 음성 라이브러리에서 목소리를 선택할 수 있다.
일레븐 리얼타임은 음성 인식과 발화 구간 감지, 대화 차례 전환, 대규모언어모델, 음성 합성 등 개별 구성 요소를 하나의 시스템으로 조정했다. 개발자는 각 요소를 따로 조합하지 않고 모델을 선택하는 방식으로 음성 에이전트를 구축할 수 있다.
v1 미니는 AI 비서와 교육용 튜터, 게임 캐릭터 등 즉각적인 대화가 필요한 서비스에 적합하다. v1 맥스는 고객 지원, 잠재 고객 선별, 외부 도구를 호출하는 다단계 업무 등 복잡한 작업을 겨냥했다. 두 모델 모두 자연스러운 차례 전환과 끼어들기, 도구 호출을 지원한다.
아티피셜 애널리시스가 지난 10월 실시한 평가에서 v1 맥스는 음성 추론 벤치마크 ‘빅 벤치 오디오’ 정답률 98.8%, 질문 종료 후 첫 음성 응답까지 0.57초를 기록했다. 대화 중 침묵과 끼어들기 대응을 평가하는 ‘풀 듀플렉스 벤치’에서는 v1 미니 95.8%, v1 맥스 94.1%를 기록했다.
모델은 ‘일레븐 에이전트’와 웹소켓 기반 ‘리얼타임 API’로 이용할 수 있다. API는 오픈AI 리얼타임 API와 호환돼 기존 코드의 연결 대상과 모델 이름을 바꿔 적용할 수 있다. 다만 출시 시점에는 웹RTC를 지원하지 않는다.
일레븐랩스 관계자는 “한국어를 포함한 90개 이상의 언어를 지원하는 '일레븐 리얼타임‘으로 한국 기업과 개발자가 고객과 자연스럽게 대화하는 음성 에이전트를 구축할 수 있도록 지원해 나갈 계획”이라고 말했다.
