유튜브 자동 더빙 끄는 방법 아시는 분?
최근 유튜브가 크리에이터를 대상으로 자동 더빙 기능을 적용하고 있죠. 제가 보는 많은 해외 유튜버들도 점차 이 옵션을 켜는 분들이 많아져서 일단 제목이 한국어로 바뀌고, 또 오디오 트랙을 켜보면 한국말을 하더라구요. 서양인이 한국어를 하는 생경한 느낌도 이제 점차 익숙해 집니다. 그런데 말입니다…
이 자동 더빙 기능, 이론적으로만 보면 전세계인 시청자들의 언어 장벽을 없애주는 그런 파격적인 기술인데 정작 Reddit 등 해외 사이트를 보면 평이 좋지 않아요. 해당 옵션이 디폴트 온이기 때문에 자동으로 적용이 되는데 어떻게 하면 이걸 끌 수 있는지 물어보는 글들이 많이 올라옵니다. 왜 그럴까요?
보시다시피 음성 품질이 별로라는 이야기가 많아요. 사실 유튜브 자동 더빙은 원본 영상의 말하는 사람 목소리가 아닌 일반 TTS 목소리를 쓰기 때문에 어떤 경우에는 남자 유튜버인데 여자 목소리가 나오는 경우도 있구요. 또한 언어 별 말 길이 차이 때문에 립싱크를 맞추느라 속도가 빨라졌다 느려졌다 하면서 듣기에 불편한 부분이 많습니다. 하지만 이런 단점에도 불구하고 실제 조회수가 2배 이상 늘더라. 예상 외 국가에서 구독자가 늘더라. 같은 이점때문에 그냥 놔둔다는 크리에이터 분들도 꽤 있습니다.
그럼 혹시 유튜브보다 고품질로 AI 자동 더빙을 제작할 수는 없을까요? 🤔
고품질 AI 더빙 서비스들
사실 훨씬 좋은 대안들이 이미 시장에 많이 있습니다. 오늘은 대표적인 서비스들을 소개해 드리고 각 서비스들의 품질을 비교해 드리겠습니다. 대한민국을 벗어나서 새로운 미스터 비스트가 되고픈 유튜버 분들, 고품질 자동 더빙으로 구독자 수 팍팍 늘리시는 데 이 글이 도움이 되면 좋게겠네요.
1. 헤이젠
가장 유명한 AI 더빙 서비스는 아마 헤이젠일 겁니다. 보겸 TV가 헤이젠으로 AI 더빙을 만들어서 천만 구독자를 넘겼다는 썰은 예전에 이미 스레드에서 유명했었죠.
https://www.threads.com/@unclejobs.ai/post/DCNpRcKJ9u0?hl=ko
헤이젠은 원래 AI 아바타가 주요 기능인 서비스인데요. 다국어 더빙을 제작하는 기능은 비디오 번역(Translate Video)으로 소개가 되어 있습니다.
잠깐 인터페이스를 살펴 보시면, 요런 식으로 영상을 첨부하게 되어 있고
번역할 언어를 고르고 잠시 기다리면 알아서 자동으로 번역된 영상이 생성이 됩니다. 아래는 침착맨님의 숏츠로 스페인어를 테스트해본 영상입니다.
꽤나 자연스럽죠? 립싱크까지 자동으로 입모양을 생성해서 맞춰주기 때문에 크게 손 볼 필요가 없이 이 정도 길이의 숏츠는 무난하게 사용이 가능합니다.
2. 일레븐 랩스
두 번째 서비스는 일레븐 랩스입니다. 전세계 1위 보이스 기업으로 유명한 회사이구요. 창업자가 폴란드 출신인데, 폴란드에서는 더빙 산업이 발달하지 않아서 보통 1명이 여러 배역을 연기하는 게 일반적이었다고 해요. 그래서 영화를 보거나 할 때 몰입감을 깨는 경우가 많은 데에 분개(?)하여 사람처럼 실제와 같은 AI 보이스 기업을 만들었다고 합니다. 그럼 일레븐 랩스의 더빙 스튜디오 기능을 살펴 보지요.
일레븐 랩스도 역시 영상을 업로드한 뒤 번역할 언어를 고르면 알아서 자동으로 더빙 영상이 생성이 됩니다.
초반엔 꽤나 비슷하죠? 그치만 뒤로 갈수록 아쉽게도 목소리가 좀 빨라지기도 하고 뒷 부분이랑 중첩되는 부분도 생기고 조금 아쉬운 결과물이네요. 그렇지만 일레븐 랩스에서는 더빙 스튜디오를 통한 편집이 가능합니다. 따라서 잘못된 번역 부분은 스튜디오에서 수정하고 각각의 속도를 조절하거나 타임 싱크를 조절하는 등의 수정이 가능해요!
(월 5불 스타터 요금제 이상)
그럼 헤이젠은 수정이 안되냐구요? 됩니다. 돼요!
단! 월 10만원 상당의 팀 요금제를 구독해야 됩니다. (두둥)
그마저도, 헤이젠에서는 텍스트 편집까지만 제공하고 정교한 오디오 타임 싱크 편집 등은 제공하지 않고 있습니다. 결과물이 잘 나오면 다행이겠지만 그렇지 않은 경우에는 좀 아쉬운 부분이지요.
3. 스트라 AI
이번엔 국내 서비스인 스트라 AI 더빙을 써보겠습니다. 스트라 AI 더빙은 영상을 업로드하면 이를 보이스 클로닝하여 자동 번역 영상을 32개 언어로 자동 생성할 수 있는 서비스입니다. 원본 화자의 감정 표현과 억양 등을 학습하기 때문에 매우 유사하게 또 자연스럽게 더빙이 되는 것이 특징입니다.
스트라는 타사에 비해 자유로운 편집 기능을 제공하는데요. 아래와 같이 생성을 할 때도 다양한 분리 모델, TTS 모델 등을 고를 수 있고 번역 프롬프트도 지정할 수 있습니다.
더빙이 생성된 이후에도 스트라에서는 편집 기능을 디폴트로 제공하고 있는데요. 해당 편집기를 통해서 잘못된 번역과 타임 코드 등을 편집할 수 있어서 혹시 자동 생성 결과물이 맘에 들지 않더라도 이를 간단하게 편집해서 활용할 수가 있습니다.
AI 다국어 더빙, 이제 선택이 아닌 필수입니다.
오늘은 유튜브, 헤이젠, 일레븐 랩스, 스트라 AI 등 여러 자동 더빙 서비스들에 대해서 비교해 보았습니다. 요즘 누가 더빙으로 보냐구요? 아시아 권은 자막 문화가 발달해 있지만 미국, 중남미, 유럽, 일본 등 여러 나라들은 더빙을 자막보다 선호하는 문화입니다. 여러분의 컨텐츠를 전세계로 확장하기 위해서는 이제 더빙은 선택이 아닌 필수입니다. 지금 한 번 써보시고 여러분의 채널에 도입해 보시는 건 어떨까요?