(씨넷코리아=윤현종 기자) 크래프톤이 음성 AI 파운데이션 모델 ‘A.X K2 라온-스피치(Raon-Speech)’를 글로벌 AI 플랫폼 허깅페이스에 공개했다.
29일 공개된 A.X K2 라온-스피치는 과학기술정보통신부가 주관하는 ‘독자 AI 파운데이션 모델’ 프로젝트 2차 성과다. 크래프톤은 SK텔레콤 정예팀에 참여해 차세대 멀티모달 모델을 연구하고 있다.
모델 규모는 210억 매개변수다. 크래프톤이 공개 모델을 대상으로 실시한 평가에서 300억 매개변수 이하 음성 언어모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다.
평가는 음성 인식과 합성, 이해, 음성 질의응답, 텍스트 질의응답, 도구 호출 등 6개 영역에서 진행했다. 한국어 24개와 영어 22개 등 총 46개 벤치마크를 활용했으며 평가 결과를 0부터 1까지 정규화해 언어별 종합 점수와 순위를 산출했다.
A.X K2 라온-스피치는 SK텔레콤의 A.X K2 기반 소형 언어모델에 크래프톤이 자체 학습한 음성 인코더와 음성 코덱을 적용했다. 음성 인코더는 사람의 목소리를 AI가 이해할 수 있는 정보로 바꾸고, 코덱은 AI가 생성한 정보를 자연스러운 음성으로 복원한다.
일반적인 음성 대화 시스템은 사람의 말을 텍스트로 변환해 이해한 다음 텍스트 답변을 음성으로 합성한다. 이 과정에서는 목소리의 감정과 억양 정보가 손실될 수 있다. A.X K2 라온-스피치는 사용자의 음성에 담긴 정보를 활용해 보다 자연스러운 음성 답변을 생성한다.
크래프톤은 지난 4월 AI 모델 브랜드 ‘라온’을 출범하고 음성 언어모델, 실시간 음성 대화 모델, 텍스트 음성 변환 모델, 비전 인코더 등 4종을 오픈소스로 공개했다. 이번 모델에는 당시 공개한 라온-스피치 학습 방법을 활용했다.
회사는 연구 과정에서 확보한 음성 AI 기술을 이용자와 함께 플레이하는 AI 캐릭터 ‘CPC’ 고도화에 활용할 계획이다. CPC가 이용자의 목소리와 의도를 이해하고 게임 상황에 맞는 음성으로 반응하는 상호작용을 구현한다는 목표다.
이강욱 크래프톤 CAIO는 “A.X K2 라온-스피치는 크래프톤이 AI 파운데이션 기술을 꾸준히 연구하고 고도화해 온 결과물”이라며 “앞으로도 게임에 필요한 AI 파운데이션 기술을 지속적으로 고도화해 새로운 게임 경험을 만들어 나갈 것”이라고 말했다.
