Wie bekomme ich echte Emotionen und Schauspiel von KI-Figuren?

Was Zuschauer tatsächlich beurteilen

Ein Schauspieltest im Direktvergleich im Korpus zeigt, was Zuschauer beurteilen. Sein Autor listete auf, worauf er achtete:

Ich habe vor allem auf Augenbewegungen, Mikroausdrücke, Timing, emotionale Übergänge geachtet und darauf, ob die Darstellung sich wirklich menschlich anfühlt

Beachte, wie viel an dieser Liste mit Zeit zu tun hat: Übergänge und Timing passieren zwischen Momenten, nicht in einem einzelnen. Eine Antwort im selben Thread ging weiter und beurteilte die Szene nach den Körpern, nicht nach den Gesichtern:

Das passt nicht wirklich zu ihrer Körpersprache.

Beide Punkte führen zum selben Schluss. Schauspiel ist keine Eigenschaft eines Gesichts, die ein besseres Modell freischaltet; es ist die Beziehung zwischen dem, was passiert ist, dem, was die Figur dagegen tut, und der Zeit, die wir ihr dabei zusehen. Das alles steuert eine Einstellungsbeschreibung.

Gib der Figur einen Grund

Emotion beginnt in der Geschichte. Eine Figur, die gerade einen Brief gelesen, einen Streit verloren oder jemanden gesehen hat, den sie für verschwunden hielt, hat etwas, worauf sie reagieren kann; eine Figur, der man sagt, sie solle in einem leeren Raum traurig schauen, nicht. Wenn in SceneMixer das Skript eingelesen wird, bekommt jede Figur außerdem eine kurze Persönlichkeitsnotiz aus der Geschichte, und diese Notiz wandert in jedes für sie geschriebene Storyboard. Was eine Figur in einer Einstellung tut, der Vortragshinweis in Klammern und die Worte der Zeile sind das, was die Kamera tatsächlich filmt – eine Szene, die den Grund in der vorherigen Einstellung legt, gibt der nächsten etwas zum Spielen.

Schreib die Ursache, dann die Reaktion

Wörter, die ein Ergebnis beschreiben – untröstlich, bedrohlich, überglücklich –, werden meist als starres Gesicht aufgemalt. Wörter, die eine Ursache und eine körperliche Reaktion beschreiben, lassen die Darstellung geschehen: Sie liest die letzte Zeile, faltet den Brief entlang seines alten Knicks und blickt nicht auf. Eine gute Schauspiel-Einstellung enthält meist einen Beat:

• Der Auslöser: was die Figur sieht oder hört, idealerweise in der Einstellung davor.
• Die erste Reaktion: etwas Kleines, Körperliches – ein angehaltener Atem, eine Hand, die innehält, Augen, die zur Tür gehen.
• Die Entscheidung: was sie als Nächstes tut – hier wird die Emotion lesbar.

Bleib bei einer Handlung pro Einstellung und gib ihr genug Sekunden. Zwei Sekunden sind eine Reaktion, vier ein Übergang. Eine Einstellung, die Enthüllung, Reaktion und Antwort in drei Sekunden unterbringen muss, spielt alle drei als Verwischtes.

Die Zeile trägt den Vortrag

Dialog wird zusammen mit dem Bild generiert, also formt die Art, wie eine Zeile gesprochen wird, das Gesicht, das sie spricht. Jede Zeile steht in der Einstellung, in der sie gesprochen wird: der Sprecher, ein Vortragshinweis in runden Klammern, die Worte und die Stimme, die sie spricht. „(leise, ohne ihn anzusehen)“ ist eine Anweisung, die ein Schauspieler wiedererkennt, und sie macht aus einer aufgesagten Zeile eine gemeinte. Der Zuhörer zählt genauso viel wie der Sprecher: Schreib, was die andere Figur tut, während die Zeile ankommt – ein Kiefer, der sich anspannt, ein Blick zur Seite – und halte ihre Lippen geschlossen. Dialog und Lippensynchronisation sind für sich genommen ein großer Strang im Korpus, mit 2,600 Beiträgen.

Nah genug, um es zu sehen

Der Bildausschnitt entscheidet, ob eine Darstellung überhaupt sichtbar ist. Kleine Reaktionen leben in Nahaufnahmen und halbnahen Einstellungen; eine Totale zeigt, was passiert ist, aber nicht, was es bedeutete. Schneide in einer Konfrontation zwischen den beiden Gesichtern hin und her und ändere den Ausschnitt bei jedem Schnitt, damit die Szene wie Abdeckung wirkt und nicht wie eine ruckelnde Einzel-Einstellung. Wenn ein fertiger Clip bis auf ein Detail stimmt – ein Ausdruck, der einen Hauch daneben liegt –, ist das Ändern des Ausdrucks eine der festen Änderungen, die direkt am Clip möglich sind, ohne die Einstellung neu zu generieren.

Den Maßstab der Zuschauer benannte direkt eine Antwort unter einem kurzen Trailer in r/aivideo, der Emotion über Effekte stellte:

Es gibt eine Geschichte, ein bisschen Figurenentwicklung, etwas Spannung und richtiges Timing.

Grenzen der Regie per Text

• Du führst Regie bei einem Modell, nicht bei einem Schauspieler: Derselbe Text kann jedes Mal eine stärkere oder schwächere Aufnahme ergeben, also plane ein, die Schlüsseleinstellung neu zu generieren.
• Sehr subtile, lang gehaltene Darstellungen sind am schwersten; kürzere Einstellungen mit klarem Beat sind zuverlässiger.
• Das Gesicht oder die Stimme eines echten Schauspielers nachzuahmen wird abgelehnt; die Darstellung muss zu einer erfundenen Figur gehören.
• Die hier zitierten Vergleiche sind Urteile einzelner Zuschauer, und die Zahlen sind regelbasierte Näherungswerte aus einem Zeitfenster.

FAQ

Zur Schreibseite lies einer Figur eine Persönlichkeit geben, die das Video zeigt und Dialog im Storyboard schreiben; die Antwort zu eine Stimme gleich halten behandelt den Ton. Die Zahlen folgen der Methodennotiz.