SceneMixer
العربية
سجّل مجاناً

إجابات · الصوت

ما هو الذكاء الاصطناعي لمزامنة الشفاه؟

تم التحديث في 18 نوفمبر 2026

الإجابة المختصرة: يجعل الذكاء الاصطناعي لمزامنة الشفاه الفم يطابق الكلام المسموع. تعيد بعض الأدوات رسم الفم على مقطع منجز ليناسب الصوت الجديد، وتولّد أخرى الصوت والصورة في مرور واحد. ويفعل SceneMixer الثاني، فـ Redub يعيد مزامنة مقطع منجز بسعر 2 رصيد لكل ثانية عند تغيير سطر.
لقطة من “ضربة قاضية في مدينة الصدأ”، مسلسل قصير بالذكاء الاصطناعي أُنتج بالكامل بواسطة SceneMixer (6 شخصية، 1 حلقة)
عينةضربة قاضية في مدينة الصدأأنمي بأسلوب الرسم الزيتي1 حلقةأُنتج بالكامل بواسطة SceneMixer من السيناريومشاهدة الحلقات

ما الذي يفعله مولّد مزامنة الشفاه بالذكاء الاصطناعي فعلاً

مزامنة الشفاه هي الجزء الذي يلاحظه الناس أولاً حين يكون خاطئاً في لقطة يتكلم فيها شخص. قد يكون الصوت مثالياً والوجه مثالياً، ومع ذلك تفشل اللقطة إذا انطبقت الشفتان على حرف مدّ أو ظلّتا تتحركان بعد انتهاء الجملة. وفي فيديو الذكاء الاصطناعي تُعدّ من أكثر مصادر الشكاوى ثباتاً: نحو 520 منشور في مجموعة النصوص المجتمعية يطابق قائمة كلمات عن أفواه لا تطابق الكلام، وتَرِد مسألة الحوار وحركة الشفاه كموضوع في نحو 2,600.

تغطي العبارة ثلاث أدوات مختلفة. الأولى تأخذ مقطعاً منجزاً ومساراً صوتياً جديداً وتعيد رسم الفم إطاراً بإطار ليناسب الكلمات الجديدة، والباقي من الصورة يبقى كما كان. والثانية تأخذ صورة واحدة، عادةً لوجه، ومساراً صوتياً، فتنتج رأساً يتكلم. والثالثة لا تزامن شيئاً بعد ذلك: يُسلَّم السطر إلى نموذج الفيديو قبل صنع اللقطة، فيخرج الصوت والشفاه من التوليد نفسه.

ثلاثة أشياء تُسمّى الذكاء الاصطناعي لمزامنة الشفاهإعادة رسم مقطع منجزيُدخل صوت جديد، ويُعاد رسم الفم ليناسبه، ويبقى باقي الصورة كما هوالكلام من صورة واحدةوجه واحد ومسار صوتي يتحولان إلى رأس يتكلمالتوليد معاًيُسلَّم السطر إلى نموذج الفيديو، فيخرج الصوت والشفاه من مرور واحدفي الثلاث جميعها تتزامن الوجوه المتجهة نحو الكاميرا بأفضل شكل
إعادة الرسم تُصلح لقطات موجودة أصلاً؛ أما التوليد معاً فيخطط اللقطة حول السطر من البداية.

كل منها يحل مشكلة مختلفة. إعادة الرسم للقطات موجودة تحتاج إلى كلمات جديدة، كترجمة أو سطر مصحَّح. والصورة المتكلمة لمقدّم أو شخصية تحتاج فقط أن تتحدث إلى الكاميرا. والتوليد معاً لمشهد يؤدي فيه الناس الفعل ويتكلمون معاً، وهذا معظم الدراما.

مزامنة شفاه بالذكاء الاصطناعي على لقطات منجزة، أو كلام يُصنع مع الصورة

إعادة رسم فم على مقطع منجز تصطدم بكل ما قرّره الأداء الأصلي. فطول اللقطة والوقفات وحركة الرأس تخص السطر الأول؛ والسطر الأطول يُضغط ليتسع، والأقصر يترك الوجه ينتظر. والانفعال أصعب، لأن الصوت يُؤدّى مقابل وجه كان يتفاعل مع شيء آخر. وكلما طال المقطع تراكمت هذه التفاوتات الصغيرة، وهذه النقطة نفسها تطرحها سلسلة في r/aifilmmaking في عنوانها:

مشكلة الانجراف الزمني: لماذا تبدو مزامنة الشفاه بالذكاء الاصطناعي على الفيديو الطويل غريبة.

توليد الكلام مع الصورة يتجنب معظم ذلك، لأن النموذج يخطط اللقطة حول السطر. ويوضح التوليد باللغة الأصلية مقابل الدبلجة الفرق: التوقيت والأنفاس والتعبير مبنية للكلمات التي تُقال. والمقابل أن تغيير السطر لاحقاً يعني إعادة صنع ذلك الجزء من الفيديو، أو إعادة مزامنته.

كيف تُحسن مزامنة الشفاه: أين تنهار

كيف يتعامل SceneMixer مع مزامنة الشفاه

في SceneMixer تُكتب الجمل في الستوريبورد تحت اللقطة التي تنتمي إليها، مع وسم يحدد المتحدث. وعند توليد المقطع تُنطق الجمل داخله بالصوت المختار لكل شخصية وتتحرك الشفاه معها؛ ولا يوجد مرور صوتي منفصل. ويضبط الستوريبورد أطوال اللقطات من سرعة الكلام في لغة حوار المشروع قبل صنع أي فيديو، فيحصل السطر الألماني على الثواني التي يحتاجها.

A storyboard segment: a header with location, time, weather and starting frame, then numbered shots with their seconds, character chips, actions and a line with a delivery note
تعيش الجمل في الستوريبورد تحت اللقطة التي تنطقها، ويُسمّى المتحدث فيها، قبل توليد الفيديو.

عندما يجب تغيير سطر بعد صنع المقطع، يقدّم Redub مسارين. فـ Lip sync يُبقي الصورة إطاراً بإطار، ويعيد تسجيل كل سطر، ويحرّك الأفواه لتطابقه، بسعر 2 رصيد لكل ثانية من المقطع مهما كان طوله؛ ويُسقَط الصوت المحيط الخاص بالمقطع ويُعاد مزج موسيقى الحلقة تحته. أما Re-perform فيعيد صنع المقطع بالسطور الجديدة، حتى يتوافق الأداء مع الكلمات، بسعر يساوي 2 أضعاف سعر الثانية في فئة المقطع، ولا يكون إلا في المقاطع القصيرة. كما يمكن للباقات المدفوعة منح شخصية صوتاً مرفوعاً، تستخدمه كل الجمل الموسومة بها.

في السلسلة كلها تنطبق القواعد نفسها على كل حلقة، فتحتفظ الشخصية بصوت واحد؛ ويغطي الحفاظ على صوت الشخصية نفسه عبر الحلقات هذا الجانب.

حدود مزامنة الشفاه بالذكاء الاصطناعي

الأسئلة الشائعة

هل مزامنة الشفاه بالذكاء الاصطناعي مجانية؟

بعض الأدوات لها باقات مجانية بحدود. أما في SceneMixer فحركة الشفاه تأتي مع كل مقطع مولّد، وإعادة مزامنة مقطع منجز بـ Redub تُحتسب بالثانية.

هل يوجد مولّد مجاني لمزامنة الشفاه بالذكاء الاصطناعي لفيديو خاص بي؟

أدوات الدبلجة التي تعيد رسم الفم على لقطات مرفوعة تملك غالباً فترات تجريبية. أما SceneMixer فيزامن الشفاه للمقاطع التي يولّدها؛ وهو مصمم للمشاهد التي تصنعها داخله، لا للقطات صوّرتها أنت.

لماذا تتحرك شفاه خاطئة؟

غالباً لأن متحدثين اثنين يشتركان في لقطة واحدة. امنح كل سطر لقطته الخاصة؛ وفي SceneMixer تحقّق من وسم الصوت بعد السطر، وأصلحه، ثم أعد توليد المقطع.

هل تعمل مزامنة الشفاه بلغات أخرى؟

نعم، إذا وُلّد السطر بتلك اللغة. ينطق SceneMixer الجمل بلغة حوار المشروع، وهي واحدة من 15 لغة، ويضبط أطوال اللقطات من سرعة الكلام فيها.

ما هي مزامنة الشفاه بدون ذكاء اصطناعي؟

مطابقة حركة الفم مع الكلام أو الغناء: مؤدون يحاكون تسجيلًا، ومحررون يلائمون صوتًا جديدًا مع وجه، ورسّامو رسوم متحركة يرسمون أشكال الفم على المسار الصوتي. أما SceneMixer فتولّد السطر والشفاه في تمريرة واحدة.

مواضيع ذات صلة: صوت واحد لكل شخصية، والحوار والصوت في توليد واحد، واختيار Redub، وطريقة جمع البيانات التي تقوم عليها الأرقام.

اكتب الجملة، ثم اسمعها منطوقة

تُدرج الجمل في الستوريبورد، ويؤديها الطاقم في الفيديو بلغة مشروعك.

سجّل مجاناً

أسعار الفيديو بالثانية موجودة في صفحة الأسعار بالأرقام نفسها.