Alternative Techniken

Der Transfer von Hoppers Nighthawks auf die Marnie-Sequenz führt bei der in den vorherigen Abschnitten beschriebenen Herangehensweise zu deutlich wahrnehmbaren Artefakten. Darüber hinaus lässt sich der realistische Malstil Hoppers bei der Skalierung nur unzureichend darstellen. Deswegen wird hier eine Bildsequenz mit 24 fps und einer Größe von 1280 x 720 Pixel mit dem NIN-Imagenet-Modell berechnet. Die Bilder werden anschließend auf 1920 x 1080 Pixel skaliert und die Farben mit dem Originalbild überlagert.

Marnie: Original und FarbtransferMarnie: Original und Farbtransfer

In After Effects wird der Clip mit Hilfe des RotoToon-Plugins (Bristle) rotoskopiert. Das Ergebnis wird nachfolgend noch einmal mit dem Ausgangsmaterial multipliziert, um die entstandene Tontrennung etwas abzumildern. Das Ergebnis ist immer noch nicht ganz zufriedenstellend. Für zukünftige Testreihen scheint hier die Berechnung in höherer Auflösung unter Verwendung mehrerer GPUs eine aussichtsreiche Alternative zu sein.

Marnie: RotoToon und KompositbildMarnie: RotoToon und Kompositbild

Als ebenfalls sehr problematisch erweist sich der Transfer des Lichtenstein-Bildes (1) auf die Pulp-Fiction-Sequenz. Die auf wenige Farben reduzierte und gerasterte Vorlage führt bei der herkömmlichen Herangehensweise zu starken Farbverlagerungen. Die Rasterung selbst lässt sich gar nicht übertragen.

Pulp Fiction: ArbeitsschrittePulp Fiction: Arbeitsschritte

Das Ausgangsmaterial wird daher zunächst in Photoshop bearbeitet und mit Hilfe der Gallery-Filter Smudge Stick und Poster Edges sowie dem Surface-Blur-Filter so vorbereitet, dass eine deutliche Tontrennung in Verbindung mit ausgewaschenen Farbflächen entsteht (2). Das Ergebnis wiederum dient als Vorlage für die Berechnung mit dem neural-style-Algorithmus (3). In After Effects werden abschließend die Originalfarben überlagert (4), und die Rasterung wird eingefügt (5). Auch hier fällt das Ergebnis nicht optimal aus. Sinnvoll scheint für weitere Versuche das Trainieren eines eigenen Modells mit entsprechenden Vorlagenbildern zu sein.

Installation von neural-style
Arbeiten mit neural-style
Stiltransfer für Videoclips
Postproduktion
Alternative Techniken