SceneMixer
Nederlands
Gratis aanmelden

Antwoorden · Stem

Wat is lipsync-AI?

Bijgewerkt 18 november 2026

Kort antwoord: Lipsync-AI laat een mond overeenkomen met gesproken audio. Sommige tools tekenen de mond op een afgewerkte clip opnieuw om bij nieuwe audio te passen; andere genereren de stem en het beeld in één keer. SceneMixer doet het tweede, en Redub synchroniseert een afgewerkte clip opnieuw voor 2 credits per seconde wanneer een regel verandert.
Still uit “Rust City Knockout”, een AI-korte drama end-to-end gegenereerd door SceneMixer (6 personages, 1 aflevering)
VoorbeeldRust City KnockoutSchilderachtige anime1 afleveringEnd-to-end geproduceerd door SceneMixer vanuit het scriptBekijk de afleveringen

Wat een AI-lipsyncgenerator echt doet

Lipsync is het deel van een pratend shot dat mensen als eerste opmerken als het fout is. Een stem kan perfect zijn en een gezicht kan perfect zijn, en het shot faalt toch als de lippen sluiten op een klinker of blijven bewegen nadat de regel is afgelopen. In AI-video is het een van de hardnekkigste bronnen van klachten: ongeveer 520 berichten in het communitycorpus passen bij een woordenlijst voor monden die niet bij de spraak passen, en dialoog en lippenbeweging komen als thema voor in ongeveer 2.600.

De term omvat drie verschillende tools. De eerste neemt een afgewerkte clip en een nieuw audiospoor en tekent de mond opnieuw, frame voor frame, zodat die bij de nieuwe woorden past; de rest van het beeld blijft zoals het was. De tweede neemt één beeld, meestal een gezicht, en een audiospoor en maakt een pratend hoofd. De derde synchroniseert niets achteraf: de regel wordt aan het videomodel gegeven voordat het shot wordt gemaakt, zodat de stem en de lippen uit dezelfde generatie komen.

Drie dingen die Lip sync AI hetenClip hertekenennieuwe audio erin, de mond wordt opnieuw getekend om te passen; de rest van het beeld blijftPraten vanuit één beeldéén gezicht en een audiospoor worden een pratend hoofdSamen genererende regel gaat naar het videomodel, dus stem en lippen komen uit één doorgangBij alle drie werkt de synchronisatie het best wanneer gezichten naar de camera zijn gedraaid.
Opnieuw tekenen repareert beeldmateriaal dat al bestaat; samen genereren plant het shot rond de regel vanaf het begin.

Ze lossen verschillende problemen op. Opnieuw tekenen is voor beeldmateriaal dat al bestaat en nieuwe woorden nodig heeft, zoals een vertaling of een gecorrigeerde regel. Een pratend beeld is voor een presentator of een personage dat alleen naar de camera hoeft te spreken. Samen genereren is voor een scène waarin mensen handelen en tegelijk praten, wat het grootste deel van drama is.

Lipsync-AI op afgewerkt beeldmateriaal, of spraak die met het beeld wordt gemaakt

Een mond opnieuw tekenen op een afgewerkte clip botst met alles wat de oorspronkelijke voorstelling heeft bepaald. De lengte van het shot, de pauzes en de hoofdbeweging horen bij de eerste regel; een langere regel moet worden gehaast om te passen, en een kortere laat het gezicht wachten. Emotie is nog lastiger, omdat de stem wordt uitgevoerd tegenover een gezicht dat op iets anders reageerde. Hoe langer de clip, hoe meer deze kleine afwijkingen zich opstapelen, het punt dat een draad op r/aifilmmaking maakt in de titel:

Het probleem van temporele drift: waarom AI-lipsync op langere video er grillig uitziet.

Spraak genereren samen met het beeld voorkomt het meeste daarvan, omdat het model het shot rond de regel plant. Native-taalgeneratie versus nasynchronisatie legt het verschil uit: de timing, de ademhalingen en de uitdrukking zijn gebouwd voor de woorden die worden uitgesproken. De keerzijde is dat een regel later veranderen betekent dat dat deel van de video opnieuw moet worden gemaakt, of opnieuw gesynchroniseerd.

Hoe je lipsynchronisatie goed doet: waar het misgaat

Hoe SceneMixer lipsync afhandelt

Op SceneMixer worden de regels in het storyboard geschreven onder het shot waartoe ze behoren, met een tag die de spreker noemt. Wanneer een segment wordt gegenereerd, worden de regels in de clip uitgesproken in de gekozen stem van elk personage en bewegen de lippen mee; er is geen aparte stempass. Het storyboard stelt de shotlengtes in op basis van het spreektempo van de dialoogtaal van het project, voordat er video wordt gemaakt, zodat een regel in het Duits de seconden krijgt die hij nodig heeft.

A storyboard segment: a header with location, time, weather and starting frame, then numbered shots with their seconds, character chips, actions and a line with a delivery note
Regels staan in het storyboard onder het shot dat ze uitspreekt, met de spreker genoemd, voordat de video wordt gegenereerd.

Wanneer een regel moet veranderen nadat de clip is gemaakt, biedt Redub twee routes. Lip sync houdt het beeld frame voor frame, spreekt elke regel opnieuw in en beweegt de monden mee, voor 2 credits per seconde clip, op elke lengte; het eigen geluid van de clip valt weg en de muziek van de aflevering wordt er weer onder gemengd. Re-perform maakt de clip opnieuw met de nieuwe regels, zodat de voordracht bij de woorden past, tegen 2 keer de prijs per seconde van de tier van de clip, en alleen bij korte clips. Betaalde abonnementen kunnen een personage ook een geüploade stem geven, die elke getagde regel dan gebruikt.

Voor een hele serie gelden dezelfde regels in elke aflevering, zodat een personage één stem houdt; de stem van een personage gelijk houden over afleveringen heen gaat over die kant.

Beperkingen van lipsync-AI

Veelgestelde vragen

Is lipsync-AI gratis?

Sommige tools hebben gratis abonnementen met limieten. Op SceneMixer komt de lipbeweging bij elke gegenereerde clip mee, en het opnieuw synchroniseren van een afgewerkte clip met Redub wordt per seconde berekend.

Is er een gratis AI-lipsyncgenerator voor mijn eigen video?

Nasynchronisatietools die de mond op geüploade beelden opnieuw tekenen, hebben vaak proefversies. SceneMixer synchroniseert de lippen van de clips die het zelf genereert; het is gebouwd voor scènes die je erin maakt, niet voor beeldmateriaal dat je hebt gefilmd.

Waarom bewegen de verkeerde lippen?

Meestal delen twee sprekers één shot. Geef elke regel een eigen shot; controleer op SceneMixer de stemtag na de regel, corrigeer die en genereer het segment opnieuw.

Werkt lipsync ook in andere talen?

Ja, als de regel in die taal is gegenereerd. SceneMixer spreekt regels uit in de dialoogtaal van het project, een van vijftien, en stelt de shotlengtes in op basis van het spreektempo.

Wat is lipsynchroniseren zonder AI?

Mondbewegingen afstemmen op spraak of zang: performers die meezingen met een opname, redacteuren die nieuw geluid op een gezicht passen, animators die mondvormen op een track tekenen. SceneMixer genereert de regel en de lippen in één keer.

Gerelateerd: één stem per personage, dialoog en geluid in één generatie, een Redub kiezen, en de verzamelmethode achter de aantallen.

Schrijf de regel, en hoor hem uitgesproken

Regels gaan in het storyboard; de cast spreekt ze uit in de video, in de taal van je project.

Gratis aanmelden

De tarieven per videoseconde staan op de prijspagina met dezelfde cijfers.