複数ツールを組み合わせたAI動画パイプラインは割に合いますか?

シネマティックなパイプラインがやるべきこと

ツール名を取り払えば、シネマティックなAI動画はどれも同じ段階を通ります。台本、ルック、人物と場所のデザイン、ショットの計画、ショットのレンダリング、音とBGM、そして仕上げ、つまり編集、グレーディング、解像度です。「プロのパイプライン」とは、たいてい各段階を別々のプログラムで行い、その間でファイルを移すことを指します。r/generativeAI のあるクリエイターは、都市破壊シーケンスの典型的な流れを説明しました。ダウンロードした3Dモデルを自分で撮った街の写真の上にポーズを付けてライティングし、フレームを合成し、そのフレームを画像から動画へのモデルでアニメーション化し、クリップをアップスケールして、最後にコンポジターで色とエフェクトを戻す、というものです。

そのスレッドでの結果は、長く、おおむね好意的な議論を呼びました。同時に、この連鎖のどこでコストがかかるかも示していました。

ツールの連鎖がどこで漏れるか

受け渡しのたびに、前のツールが知っていたことが失われます。画像ツールは3Dシーンのカメラがどうだったかを知りません。動画モデルは前のクリップがどこで終わったかを知りません。アップスケーラーはどの細部が重要かを知りません。そのクリエイターは、つなぎ目を手作業で補っていることを率直に語っていました。

レンズの汚れやレンズフレアなどを使って、不整合を隠そうとしている。

それでも視聴者は気づきました。ある返信が、シーケンスの種明かしになる細部を指摘していました。

スケールや場所の一貫性のような小さなことが、プロジェクト全体のリアリティを壊してしまう。

ショット間の一貫性はコミュニティで独立したテーマで、そのラベルの付いた投稿が1,500件あります。そうした質問の多くは、まさにこの状況から来ています。各ツールは自分の工程をうまくこなしたのに、工程どうしが噛み合っていないのです。

一貫性は、記憶の問題

このスレッドで最も鋭いコメントは、どのツールについてのものでもありませんでした。

最も見過ごされている問題は、やはり一貫性だ。

続いて具体的な要望がありました。

完璧な30秒のシーンを作ってほしい。複数のアングルで。

1つのシーンを複数のアングルで撮ることは、1ショットずつのツールを連ねたやり方がまさに苦手とすることです。部屋を覚えているものがないからです。SceneMixer は各シーンの3D AIモデルを自動で作ります。空間、重要な家具、各人物の立ち位置を持つもので、そのシーンのすべてのショットをそのモデルに合わせて生成するので、ワイド、アップ、切り返しが整合します。キャラクターはそれぞれ1枚の設定画から作られ、次のセグメントは前のセグメントが終わったところから始まります。設定は何も要らず、生成するときに自動で行われます。

1つのプロジェクトでできること、できないこと

1つの SceneMixer プロジェクトの中では、工程はつながっています。台本はキャラクター、場所、小道具に読み取られ、各エピソードは秒数付きの番号付きショットになり、セグメントは台詞とサウンドを同じ生成処理でレンダリングし、エピソードはスコアを下に敷いてつなぎ合わされます。ショットが期待と違って戻ってきたら、そのテキストを無料で編集し、そのセグメントだけを再生成します。画像をもっと鮮明にしたいときは、Enhance で完成したクリップの解像度を1段階上げられます。動画はレンダリングした秒数ごとの課金で、デフォルトのプランでは1秒あたり10クレジットからです。

できないのは、連鎖の専門的な末端です。コンポジターはなく、自分の3Dモデルを持ち込んだり、自分で撮った映像の上に生成エフェクトを重ねたりすることはできません。グレーディングスイートやフレーム単位のペイントもありません。それらの工程が作品の核心なら、ストーリー、キャスト、アングルが固まったあとに、ほかのプログラムで行うことになります。

長い連鎖に価値があるとき

連鎖がコストに見合うのは、ある工程に、どの単体ツールも提供しないコントロールが必要なときです。特定の3Dアセット、実写映像へのエフェクト、クライアント指定のグレーディング、納品形式などです。問題がストーリーにあるときは、見合いません。同じスレッドの返信が、ソフトウェアには触れずにその点を言い当てていました。

シーンが短すぎるし、人物は、まあ、明らかにAIだ。

シーンが短い、人物に説得力がないというのは計画の問題です。ショットをどれだけ保つか、カットをまたいでも同じ人物かどうかであり、コンポジターより、ショットリストで解くほうが安くすみます。誠実な順序は、まず1つのシーンを最初から最後まで、複数のアングルで、同じ人物たちで成立させること。そのうえで、どの工程に、もしあれば、専門ツールが要るかを決めます。AIで長編映画を作れるかの回答では、長さに応じたコストを検討しています。キャラクターがショットごとに違って見える理由では、最もよくあるつなぎ目の問題を扱っています。

1つのプロジェクトで作る方法の制限

• 一貫性と引き換えにコントロールを手放します。1ショットだけ別のモデルに差し替えたり、3Dアセットを自分でポーズ付けしたり、フレームにペイントしたりはできません。
• つなぎ合わせたエピソード以上のものが欲しいなら、グレーディング、コンポジット、タイトルなどの仕上げは、やはり編集ツールで行います。
• 各シーンの3Dモデルは自動で、見えません。開いたり、家具を手で動かしたりはできません。
• レンダリングされたショットは今でも確認が必要で、見逃したセグメントは再生成され、そのセグメントは再び課金されます。
• 数字は、公開投稿の固定期間に対するルールの照合で出したものです。この疑問がどれだけよくあるかを示すもので、正確な合計ではありません。

よくある質問

カットをまたいで位置が保たれる仕組みとシリーズ全体の一貫性が保たれる理由をご覧ください。この方法で作ったシーケンス全体については、災害シーンの作り方の回答をお読みください。ここにあるすべての数字のもとになったスレッドのサンプルは、方法メモで説明しています。