답변 · 음성
AI 음성으로 영상을 만들려면 어떻게 해야 할까요?
2026년 11월 15일 업데이트

목소리가 정체를 드러내는 이유
요즘 시청자에게 AI 영상을 어떻게 알아보는지 물어보면, 답이 손가락 모양에서 소리로 옮겨 갔습니다. 2026년에 AI 영상을 구별하는 법을 다룬 r/aivideo 스레드에서 가장 위에 올라온 답글은 한 줄로 이렇게 정리했습니다:
그래도 가장 큰 단서는 언제나 목소리입니다.
AI 드라마를 보는 시청자들은 조금 더 너그러운 말을 하는데, 그것도 그만큼 쓸모가 있습니다. 본 시리즈를 나열하던 한 시청자는 이렇게 인정했습니다:
가끔 대사와 목소리가 어긋나는데, 전체적인 매력과 줄거리 덕분에 쉽게 묻혀요
둘 다 맞습니다. 좋은 이야기는 약한 목소리도 끌고 가고, 강한 목소리는 좋은 이야기를 더 진짜처럼 느끼게 합니다. 목소리는 커뮤니티 자료에서 가장 많이 다뤄지는 주제 중 하나로, 약 12,000개의 글이 있습니다. 입 모양이 대사와 맞지 않는다는 불만만 해도 약 520개입니다.
목소리와 화면을 한 번에
말하는 AI 영상을 만드는 보통의 방법은 도구 세 개를 쓰는 것입니다. 무음 클립을 만들고, 다른 곳에서 음성 트랙을 만든 뒤, 입 모양을 오디오에 맞추느라 애를 씁니다. 반면 SceneMixer에서 쓰는 영상 모델은 오디오와 화면을 한 번에 생성하므로, 세그먼트가 나올 때 이미 소리가 들어 있습니다. 대사, 공간의 울림, 그 말을 하는 입 모양까지요. 그래서 맞춰야 하는 문제가 사라지고 ‘음성 설정’의 의미도 달라집니다. 캐릭터가 어떤 목소리를 가질지 고르면, 말투와 전달 방식은 스토리보드에서 나옵니다.
캐릭터마다 목소리는 한 번만 정하세요
캐릭터의 목소리는 두 가지 중 하나에서 나옵니다. 하나는 맞춤 프리셋입니다. 샘플로 녹음된 시스템 음성 라이브러리에서 고르며, 각 음성마다 들어 볼 수 있는 짧은 샘플이 있습니다. 맞추는 작업은 무료 모델 호출이라 크레딧을 쓰지 않습니다. 다른 하나는 유료 플랜에서 캐릭터용 오디오를 직접 올리는 것입니다. 올린 오디오는 그 캐릭터가 말하는 모든 세그먼트의 기준이 됩니다. 목소리는 더 이상 형용사 목록으로 설계하지 않습니다. 말로 묘사한 목소리는 말로 묘사한 얼굴처럼 테이크마다 흔들리기 때문입니다.
캐릭터에 붙은 음성은 프로젝트 단위로 저장되고, 그 캐릭터가 말하는 모든 세그먼트에 따라가요. 얼굴이 그대로 유지되는 것과 같은 이유로 음성도 에피소드마다 같게 유지돼요. SceneMixer는 사용할 권리가 있는 목소리만 복제해요. 복제 대상은 더빙하는 클립(Redub의 원본 음성)이나, 사용 권리가 있는 본인 녹음을 업로드한 경우예요.

말투는 글로 조정하세요
연기는 스토리보드에서 각 대사 앞에 적힌 메모로 조정합니다. 파형 편집기로 조절하지 않습니다(숨차게, 속삭이듯, 화를 누르고 담담하게 같은 식입니다). 읽는 방식이 어긋나면 메모를 고치고 해당 세그먼트를 다시 생성하세요. 그래서 대사를 바꾸는 것은 오디오 트랙을 다시 자르는 일이 아니라 세그먼트를 다시 생성하는 일입니다. 목소리와 화면이 하나의 테이크이기 때문입니다.
언어도 같은 방식입니다. 대사 언어는 1단계에서 고르고, 나중에 더빙하는 대신 처음부터 그 언어로 대사를 씁니다. 15개 언어를 쓸 수 있고, 사이트의 출연진은 한 달 동안 그중 11개 언어로 말했습니다2026년 11월 6일까지의 30일.
이미 나온 목소리 고치기
화면은 맞는데 목소리가 틀린 완성 클립이라면 다시 생성할 필요가 없습니다. Redub(리더빙)에서는 그 클립 속 캐릭터의 대사에 라이브러리의 다른 목소리를 고를 수 있습니다. 먼저 들어 보고, 대사는 그대로 둔 채 새 버전으로 리더빙하면 됩니다. 립싱크를 쓰면 클립 1초당 2크레딧입니다. 캐릭터 자체의 음성 설정은 바뀌지 않으므로, 모든 장면에서 캐릭터 목소리를 바꾸려면 캐릭터의 음성을 직접 바꾼 뒤 원하는 세그먼트를 다시 생성하거나 리더빙하세요.
비용은 전체적으로 음성에 따로 붙는 요금이 없습니다. 오디오는 영상 생성의 일부이며, 영상 생성은 출력 1초당 10크레딧부터 시작합니다. 자세한 내용은 캐릭터 음성 페이지에 있고, 완성된 클립에서 캐릭터 목소리 바꾸기에서는 Redub 사용법을 단계별로 설명합니다.
여기서 AI 음성의 한계
- 사용할 권리가 있는 목소리만 복제하세요. 본인 목소리나 허락받은 목소리만 업로드하세요.
- Redub는 클립의 목소리(원본 음성, 그 클립에서 복제됨)나 사이트 라이브러리의 음성을 제시해요. 업로드한 캐릭터 음성을 새로 듣고 싶다면 그 세그먼트를 다시 생성하세요.
- 다른 곳에서 업로드한 클립은 교체 리메이크를 통해서만 새 대사를 받을 수 있고, 이때 바뀐 부분을 다시 생성해요.
- 말투는 글로 조정합니다. 아주 구체적인 읽기 방식은 몇 번 시도해야 할 수 있으며, 시도할 때마다 그 세그먼트를 다시 생성합니다.
- 사이트 수치는 SceneMixer 프로젝트 한 달치이며 매달 갱신합니다. 커뮤니티 집계는 키워드 기준의 근사치입니다.
자주 묻는 질문
내 목소리를 올릴 수 있나요?
유료 요금제라면 가능합니다. 캐릭터의 샘플을 업로드하면 그 캐릭터가 말하는 모든 세그먼트에 대한 음성 레퍼런스가 됩니다. SceneMixer에서는 업로드한 샘플이 그 캐릭터의 모든 세그먼트에서 목소리 역할을 합니다.
에피소드가 바뀌어도 목소리는 같나요?
네. 캐릭터의 목소리는 프로젝트 단위로 연결되어, 그 캐릭터가 말하는 모든 세그먼트에 따라갑니다.
유명인이나 친구의 목소리를 복제할 수 있나요?
본인의 허락이 있을 때만 가능합니다. SceneMixer에서 멤버는 사용할 권리가 있는 녹음, 예를 들어 동의한 친구의 녹음을 업로드할 수 있고, 해당 캐릭터는 그 목소리로 말합니다. 유명인의 목소리를 이름으로 가져오는 방법은 없습니다.
대사의 말투는 어떻게 바꾸나요?
스토리보드에서 대사 앞의 괄호 메모를 고치고, 그 세그먼트를 다시 생성하세요.
관련 글: AI 캐릭터에게 진짜 감정과 연기 살리기에서는 연기를 더 깊이 다루고, 에피소드가 바뀌어도 목소리 유지하기에서는 연속성을 설명합니다. 커뮤니티 집계는 수집 방법을 따릅니다.