Un pipeline vidéo IA multi-outils en vaut-il la peine ?

Ce que doit accomplir un pipeline cinématographique

Sans les noms d’outils, toute vidéo IA cinématographique passe par les mêmes étapes : un scénario, un look, les personnages et les lieux conçus, un plan de tournage, les plans rendus, le son et la musique, puis une finition — montage, étalonnage, résolution. Un « pipeline professionnel » signifie généralement faire chaque étape dans un logiciel différent et déplacer des fichiers de l’un à l’autre. Un créateur de r/generativeAI a décrit une chaîne typique pour une séquence de destruction de ville : un modèle 3D téléchargé, posé et éclairé sur ses propres photos de rue, des images composées, animées par un modèle image-vers-vidéo, les clips upscalés, puis couleur et effets rajoutés dans un logiciel de compositing.

Le résultat, dans ce fil, a suscité une longue discussion, pour l’essentiel bienveillante. Il a aussi montré où la chaîne vous coûte.

Où une chaîne d’outils fuit

Chaque passage de relais est un endroit où quelque chose que l’outil précédent savait se perd. L’outil d’image ne sait pas quelle était la caméra de la scène 3D ; le modèle vidéo ne sait pas sur quoi se terminait le clip précédent ; l’upscaler ne sait pas quels détails comptent. Le créateur a reconnu franchement qu’il rapiécait les raccords à la main :

J’essaie d’utiliser de la saleté sur l’objectif, des reflets d’objectif, etc. pour masquer l’incohérence.

Les spectateurs l’ont remarqué quand même. Une réponse a nommé les détails qui trahissent une séquence :

de petits détails comme la cohérence d’échelle et de lieu peuvent tuer le réalisme de tout le projet.

La cohérence entre les plans est un thème à part entière dans la communauté — 1,500 posts y sont rattachés — et la plupart de ces questions viennent exactement de cette situation : chaque outil a bien fait sa propre étape, et les étapes ne concordent pas.

La cohérence est un problème de mémoire

Le commentaire le plus pertinent du fil ne portait sur aucun outil :

Le problème le plus négligé reste la cohérence.

Suivi d’un cahier des charges concret :

Faites une scène de 30 s parfaite. Sous plusieurs angles.

Plusieurs angles d’une même scène, c’est précisément ce qui met en difficulté une chaîne d’outils à plan unique, car rien ne garde la mémoire de la pièce. SceneMixer construit un modèle 3D IA automatique de chaque scène — l’espace, le mobilier qui compte, la place de chaque personne — et génère chaque plan de cette scène à partir de lui, de sorte que le plan large, les gros plans et le contrechamp concordent. Chaque personnage vient d’une seule fiche ; le segment suivant s’ouvre là où le précédent s’est terminé. Rien de tout cela ne demande de réglage : cela se fait à la génération.

Ce que fait un projet unique, et ce qu’il ne fait pas

Dans un même projet SceneMixer, les étapes sont reliées : le scénario est lu en personnages, lieux et accessoires ; chaque épisode devient des plans numérotés avec leurs secondes ; les segments sont rendus avec dialogues et son dans la même génération ; l’épisode est assemblé avec une partition en dessous. Quand un plan revient raté, vous modifiez son texte — gratuit — et régénérez ce seul segment. Quand l’image doit être plus nette, Enhance fait monter un clip terminé d’un cran de résolution. La vidéo est facturée à la seconde rendue, à partir de 10 crédits la seconde sur l’offre par défaut.

Ce qu’il ne fait pas, c’est l’extrémité spécialisée de la chaîne. Il n’y a pas de compositing : vous ne pouvez pas apporter votre propre modèle 3D ni superposer des effets générés à des images que vous avez filmées. Il n’y a ni suite d’étalonnage ni retouche image par image. Si ces étapes sont l’enjeu de l’œuvre, elles se font toujours dans d’autres logiciels — une fois l’histoire, la distribution et les angles arrêtés.

Quand la longue chaîne en vaut la peine

La chaîne rentabilise son coût quand une étape exige un contrôle qu’aucun outil seul n’offre : un asset 3D précis, des effets sur des images réelles, l’étalonnage exact d’un client, un format de livraison. Elle ne le rentabilise pas quand le problème est l’histoire. Une réponse du même fil l’a dit sans mentionner le moindre logiciel :

Les scènes sont trop courtes, et les gens, eh bien, sont clairement de l’IA.

Des scènes courtes et des personnages peu convaincants sont des problèmes de préparation — combien de temps un plan tient, si le personnage est la même personne d’une coupe à l’autre — et ils se règlent à moindre coût dans une liste de plans que dans un logiciel de compositing. L’ordre honnête est le suivant : faire fonctionner une scène de bout en bout, sous plusieurs angles, avec les mêmes personnes ; puis décider quelle étape, le cas échéant, réclame un outil spécialisé. La réponse sur la possibilité pour l’IA de réaliser un long métrage détaille ce que cela coûte en longueur, et pourquoi un personnage change d’aspect d’un plan à l’autre traite le raccord le plus courant.

Limites de la voie du projet unique

• On échange du contrôle contre de la cohérence : vous ne pouvez pas glisser un autre modèle pour un seul plan, poser vous-même un asset 3D ni retoucher une image.
• La finition — étalonnage, compositing, titres — se fait toujours dans un logiciel de montage si vous voulez plus que l’épisode assemblé.
• Le modèle 3D de chaque scène est automatique et invisible ; vous ne pouvez ni l’ouvrir ni déplacer le mobilier à la main.
• Les plans rendus doivent toujours être vérifiés, et un segment raté est régénéré, ce qui est facturé de nouveau pour ce segment.
• Les chiffres sont produits par des règles de correspondance appliquées à une fenêtre fixe de posts publics ; ils montrent la fréquence de la question, pas un total précis.

FAQ

Voir comment les positions tiennent d’une coupe à l’autre et pourquoi toute une série reste cohérente ; pour une séquence entière construite ainsi, lisez la réponse sur la création d’une scène de catastrophe. L’échantillon de fils derrière chaque chiffre ici est décrit dans la note de méthode.