Vale a pena um pipeline de vídeo de IA com várias ferramentas?

O que um pipeline cinematográfico precisa fazer

Tirando os nomes das ferramentas, todo vídeo de IA cinematográfico passa pelas mesmas etapas: um roteiro, um visual, as pessoas e os lugares desenhados, um plano de cenas, os planos renderizados, som e música, e um acabamento — a edição, a correção de cor, a resolução. Um "pipeline profissional" normalmente significa fazer cada etapa em um programa diferente e mover arquivos entre eles. Um criador no r/generativeAI descreveu uma cadeia típica para uma sequência de destruição de cidade: um modelo 3D baixado, posicionado e iluminado sobre fotos de rua dele mesmo, quadros compostos, os quadros animados por um modelo de imagem para vídeo, os clipes ampliados, e depois cor e efeitos de volta em um compositor.

O resultado, em essa thread, gerou uma discussão longa e, em sua maior parte, generosa. Também mostrou onde a cadeia custa caro.

Onde uma cadeia de ferramentas vaza

Cada passagem é um ponto em que algo que a ferramenta anterior sabia se perde. A ferramenta de imagem não sabe qual era a câmera da cena 3D; o modelo de vídeo não sabe em que o clipe anterior terminou; o upscaler não sabe quais detalhes importam. O criador foi sincero sobre remendar as emendas à mão:

Estou tentando usar sujeira na lente, lens flares etc. para esconder a inconsistência.

Os espectadores notaram mesmo assim. Uma resposta nomeou os detalhes que entregam uma sequência:

pequenas coisas como consistência de escala e de local podem matar o realismo do projeto inteiro.

A consistência entre planos é um tema à parte na comunidade — 1,500 posts levam esse rótulo — e a maioria dessas perguntas vem exatamente desta situação: cada ferramenta fez bem a sua etapa, e as etapas não combinam entre si.

Consistência é um problema de memória

O comentário mais certeiro da thread não era sobre nenhuma ferramenta:

O problema mais ignorado continua sendo a consistência.

Seguido de um pedido concreto:

Faça uma cena de 30 seg que seja perfeita. De vários ângulos.

Vários ângulos de uma mesma cena é justamente o que uma cadeia de ferramentas de plano único tem dificuldade em fazer, porque nada lembra do ambiente. O SceneMixer cria um modelo 3D automático por IA de cada cena — o espaço, a mobília que importa, onde cada pessoa está — e gera todos os planos dessa cena com base nele, de modo que o plano aberto, os closes e o contraplano combinam. Os personagens vêm de uma ficha cada; o segmento seguinte começa onde o anterior terminou. Nada disso exige configuração; acontece quando você gera.

O que um projeto único faz e o que não faz

Dentro de um único projeto do SceneMixer as etapas são ligadas: o roteiro é lido em personagens, lugares e objetos; cada episódio vira planos numerados com seus segundos; os segmentos são renderizados com diálogo e som na mesma geração; o episódio é montado com uma trilha por baixo. Quando um plano volta errado, você edita o texto dele — de graça — e gera de novo só esse segmento. Quando a imagem precisa de mais nitidez, o Enhance sobe um clipe pronto um degrau de resolução. O vídeo é cobrado por segundo renderizado, a partir de 10 créditos por segundo no nível padrão.

O que ele não faz é a ponta especialista da cadeia. Não há compositor: você não pode trazer seu próprio modelo 3D nem colocar efeitos gerados sobre filmagens suas. Não há suíte de correção de cor nem pintura quadro a quadro. Se essas etapas são o ponto da obra, elas continuam acontecendo em outros programas — depois que a história, o elenco e os ângulos estiverem definidos.

Quando a cadeia longa vale a pena

A cadeia compensa o custo quando uma etapa precisa de um controle que nenhuma ferramenta isolada oferece: um modelo 3D específico, efeitos sobre filmagens reais, a correção de cor exata de um cliente, um formato de entrega. Não compensa quando o problema é a história. Uma resposta na mesma thread fez esse ponto sem citar nenhum software:

As cenas são curtas demais, e as pessoas, bem, são claramente IA.

Cenas curtas e pessoas pouco convincentes são problemas de planejamento — quanto tempo um plano dura, se o personagem é a mesma pessoa entre os cortes — e é mais barato resolvê-los numa lista de planos do que num compositor. A ordem honesta é: faça uma cena funcionar de ponta a ponta, de vários ângulos, com as mesmas pessoas; só então decida qual etapa, se houver, precisa de uma ferramenta especialista. A resposta sobre se a IA consegue fazer um longa-metragem mostra quanto isso custa em duração longa, e por que um personagem parece diferente em cada plano trata da emenda mais comum.

Limitações do caminho de projeto único

• Troca controle por consistência: você não pode trocar o modelo em um plano, posicionar um modelo 3D você mesmo nem pintar um quadro.
• O acabamento — correção de cor, composição, títulos — continua sendo feito em um editor se você quiser mais que o episódio montado.
• O modelo 3D de cada cena é automático e invisível; você não pode abri-lo nem mover a mobília à mão.
• Os planos renderizados ainda precisam de revisão, e um segmento que saiu errado é gerado de novo, o que é cobrado novamente por esse segmento.
• As contagens são produzidas aplicando regras a uma janela fixa de posts públicos; mostram o quanto a pergunta é comum, não um total preciso.

Perguntas frequentes

Veja como as posições se mantêm entre os cortes e por que uma série inteira se mantém consistente; para uma sequência inteira feita assim, leia a resposta sobre como fazer uma cena de desastre. A amostra de threads por trás de cada contagem aqui está descrita na nota de método.