답변 · 음성
립싱크 AI란?
2026년 11월 18일 업데이트

AI 립싱크 생성기가 실제로 하는 일
립싱크는 말하는 샷에서 틀렸을 때 사람들이 가장 먼저 알아채는 부분입니다. 목소리가 완벽하고 얼굴도 완벽해도, 입술이 모음에서 닫히거나 대사가 끝난 뒤에도 계속 움직이면 샷은 실패합니다. AI 영상에서 이는 가장 꾸준한 불만 원인 중 하나입니다. 커뮤니티 자료에서 말소리와 맞지 않는 입 모양을 가리키는 단어 목록에 걸리는 게시물은 약 520건이고, 대화와 입술 움직임이 주제로 나오는 게시물은 약 2,600건입니다.
이 말은 서로 다른 세 가지 도구를 가리킵니다. 첫 번째는 완성된 클립과 새 오디오 트랙을 받아, 새 대사에 맞도록 프레임마다 입 모양을 다시 그립니다. 나머지 화면은 그대로 둡니다. 두 번째는 보통 얼굴인 이미지 한 장과 오디오 트랙을 받아 말하는 얼굴을 만듭니다. 세 번째는 나중에 싱크를 맞추지 않습니다. 샷을 만들기 전에 대사를 영상 모델에 넘기므로, 목소리와 입술이 같은 한 번의 생성에서 나옵니다.
세 가지는 서로 다른 문제를 풉니다. 다시 그리기는 이미 있고 새 대사가 필요한 영상에 씁니다. 번역이나 수정된 대사가 그런 경우입니다. 말하는 이미지는 카메라를 보고 말하기만 하면 되는 발표자나 캐릭터에 씁니다. 함께 생성하기는 사람들이 연기하면서 동시에 말하는 장면에 씁니다. 드라마의 대부분이 여기에 해당합니다.
완성된 영상의 립싱크 AI, 아니면 화면과 함께 만드는 음성
완성된 클립에서 입 모양을 다시 그리면 원래 연기가 결정한 모든 것과 부딪힙니다. 샷 길이, 멈춤, 머리 움직임은 처음 대사에 속해 있습니다. 더 긴 대사는 서둘러 맞춰야 하고, 더 짧은 대사는 얼굴이 기다리게 합니다. 감정은 더 어렵습니다. 목소리는 다른 것에 반응하던 얼굴 위에 연기되기 때문입니다. 클립이 길수록 이런 작은 어긋남이 쌓이며, 이 점은 r/aifilmmaking의 한 글이 제목에서 짚고 있습니다:
시간에 따른 드리프트 문제: 긴 영상에서 AI 립싱크가 어색하게 보이는 이유.
화면과 함께 음성을 생성하면 대부분의 문제를 피할 수 있습니다. 모델이 대사를 기준으로 샷을 계획하기 때문입니다. 모국어 생성 대 더빙에서 차이를 설명합니다. 타이밍, 호흡, 표정이 말해지는 대사에 맞춰 만들어집니다. 대신 나중에 대사를 바꾸려면 그 부분의 영상을 다시 만들거나 다시 싱크를 맞춰야 한다는 절충점이 있습니다.
립싱크를 잘하는 법: 어디서 어긋나는지
- 옆모습이거나 카메라에서 멀리 있는 얼굴. 작업할 입 모양이 거의 없어서, 결과가 덜 자연스럽게 보이거나 들릴 수 있습니다.
- 한 샷에 말하는 사람이 둘. 모델이 엉뚱한 입을 움직일 수 있습니다. 대사마다 샷을 따로 주세요.
- 빠르거나 겹치는 대사. 입 모양이 뭉개집니다. 말하는 사람 사이에 짧은 간격을 두세요.
- 길고 끊기지 않는 클립. 작은 타이밍 오차가 쌓입니다. 샷을 짧게 나누면 오차가 초기화됩니다.
- 목소리 다시 입히기. 완성된 클립에 새 사운드트랙을 입히면, 원래 테이크의 주변 소리는 예전 사운드와 함께 사라집니다.
SceneMixer가 립싱크를 처리하는 방법
SceneMixer에서는 대사가 속한 샷 아래 스토리보드에 적히며, 말하는 사람을 밝히는 태그가 붙습니다. 세그먼트가 생성되면 대사는 각 캐릭터가 고른 목소리로 클립 안에서 말해지고, 입술이 그에 맞춰 움직입니다. 별도의 음성 작업 단계는 없습니다. 스토리보드는 영상을 만들기 전에 프로젝트 대화 언어의 말하는 속도에 따라 샷 길이를 정하므로, 독일어 대사는 필요한 초만큼 시간을 받습니다.

클립을 만든 뒤 대사를 바꿔야 할 때 Redub에는 두 가지 경로가 있습니다. Lip sync는 화면을 프레임 단위로 유지하면서 모든 대사를 다시 녹음하고 입 모양을 맞춥니다. 길이에 상관없이 클립의 초당 2크레딧이 듭니다. 클립 자체의 주변 소리는 빠지고, 에피소드의 배경음악이 다시 그 아래에 섞입니다. Re-perform은 새 대사로 클립을 다시 만들어 연기가 대사에 맞게 하며, 짧은 클립에만 쓰고 요금은 클립 등급의 초당 가격의 2배입니다. 유료 요금제에서는 캐릭터에 업로드한 목소리를 줄 수도 있으며, 그러면 태그가 붙은 모든 대사가 그 목소리를 씁니다.
시리즈 전체에서는 모든 에피소드에 같은 규칙이 적용되므로 캐릭터의 목소리가 하나로 유지됩니다. 에피소드를 넘어 캐릭터 목소리를 같게 유지하기에서 그 부분을 다룹니다.
립싱크 AI의 한계
- 어떤 방법도 옆얼굴, 작은 얼굴, 겹치는 대사에서는 완벽하지 않습니다. 중요한 샷은 직접 확인하세요.
- 입 모양을 다시 그려도 원래 연기의 타이밍이나 감정은 바꿀 수 없습니다.
- SceneMixer에서 Redub는 에피소드의 클립에 작동합니다. 직접 촬영한 영상의 목소리를 다시 입히는 도구는 아닙니다.
- 사용할 권리가 있는 목소리만 쓰세요. 본인의 목소리도 마찬가지입니다.
- 커뮤니티 수치는 고정된 기간의 공개 게시물을 규칙에 따라 매칭한 결과입니다. 수집 방법을 참고하세요.
자주 묻는 질문
립싱크 AI는 무료인가요?
일부 도구는 한도가 있는 무료 요금제를 둡니다. SceneMixer에서는 생성된 모든 클립에 입 움직임이 포함되며, Redub로 완성된 클립을 다시 싱크하는 것은 초 단위로 과금됩니다.
내 영상에 쓸 무료 AI 립싱크 생성기가 있나요?
업로드한 영상의 입 모양을 다시 그리는 더빙 도구는 체험판을 두는 경우가 많습니다. SceneMixer는 자체 생성한 클립에 립싱크를 적용합니다. 직접 찍은 영상이 아니라 그 안에서 만든 장면을 위해 만들어졌습니다.
엉뚱한 입이 움직이는 이유는 무엇인가요?
보통은 한 샷을 두 사람이 나눠 쓰기 때문입니다. 대사마다 샷을 따로 주세요. SceneMixer에서는 대사 뒤의 목소리 태그를 확인하고 고친 다음 세그먼트를 다시 생성하세요.
립싱크는 다른 언어에서도 작동하나요?
네, 그 언어로 대사가 생성될 때 가능합니다. SceneMixer는 프로젝트 대화 언어로 대사를 말하며, 그 언어는 열다섯 개 중 하나입니다. 샷 길이는 말하는 속도에 따라 정합니다.
AI 없이 하는 립싱크란 무엇인가요?
음성이나 노래에 입 모양을 맞추는 작업이에요. 연기자가 녹음에 맞춰 입만 움직이고, 편집자가 새 오디오를 얼굴에 맞춰 넣고, 애니메이터가 트랙에 맞춰 입 모양을 그려요. SceneMixer는 대신 대사와 입 모양을 한 번에 생성해요.
관련 글: 캐릭터당 목소리 하나, 한 번의 생성으로 만드는 대화와 소리, Redub 고르기, 그리고 수치 뒤의 수집 방법