30.11.2023, 13:53
Also, ich wollte hier noch kurz meine Erfahrungen mit Video-Upscaling und Frameinterpolation teilen.
Etwas anders als bei den bisherigen Generierungen in diesem Thread habe ich Bilder aus Bildern und nicht aus Text generiert.
Konkret habe ich das originale Intro-Video von "Schatten über Riva" hochskaliert.
Ich habe RIFE benutzt, um die Bildrate von ursprünglich 10 FPS auf zuerst 160 und dann auf 60 zu erhöhen.
Einfach gesagt, analysiert RIFE die Bewegungen im Bild und fügt die fehlenden Zwischenschritte ein.
Davon bin ich echt begeistert. Im Gegensatz zum Upscaling macht es nur wenige Fehler und schafft es meistens auf Knopfdruck, aus einem ruckeligen Video etwas sehr ansehnlich Flüssiges zu erzeugen.
Probleme gab es eigentlich nur, wenn die Bewegung im Bild komplexer oder zu schnell war:
Einmal beim Hindurchwandern durch das aufschwingende Tor kam es mit RIFE zu stärkeren Artefakten, sodass ich auf DAIN ausgewichen bin, das hier zwar auch scheitert, aber weniger grandios.
Außerdem stolperte es beim schnellen Umschwenken innerhalb des Turmes, beispielsweise vor und nach den Kakerlaken. Dort verändert sich zwischen den Einzelbildern einfach zu viel.
Demjenigen, der es mal mit eigenen Videos ausprobieren möchte, empfehle ich das Programm "Flowframes", da es sehr leicht installierbar und benutzbar ist. Es hat Zugriff auf verschiedenste aktuelle A.I.-Modelle (wie RIFE oder DAIN) und bildet eine grafische Schnittstelle, um diese anzusteuern.
Viele der Modelle, wie das benutzte RIFE, sind mit einer einigermaßen aktuellen GPU auch ziemlich flott.
Als zweiten Schritt habe ich alle originalen und dazwischen generierten Bilder dann mittels ESRGAN um den Faktor 4 in Höhe und Breite hochskaliert.
Mir gefällt das Ergebnis deutlich besser als mit Lanczos oder dem Stable Diffusion Upscale, aber es wird in Zukunft bestimmt noch deutlich bessere Modelle geben.
Cool finde ich, wie im hochskalierten (englischen) Video plötzlich "Programmierung" im Hintergrund lesbar wurde. Damit wurde wohl nicht gerechnet. ;D
ESRGAN kann man mit "Cupscale" relativ leicht selbst bedienen.
Hier das Ergebnis: https://www.youtube.com/watch?v=rLooyyN2iic
So, genug zum Technischen. Etwas Offtopic, aber weiß jemand, was dort im Introvideo, neben den Credits, eigentlich gezeigt wird?
Die Wüste um die Festung schließt ja eigentlich alle Schauplätze im Spiel aus. Es ist nicht der Magierturm im Sumpf und erst recht nicht die Feste in Riva.
Könnte es sein, dass es sich vielleicht um die Schwarze Festung in der Wüste Gor handelt?
Und bei dem Magier um niemand Geringeren als den Dämonenmeister Borbarad, der da mal eben aus Augen, Würmern und "Stimmen" diejenigen Chimären erzeugt, die uns dann später im Spiel noch heimsuchen werden?
Dafür sieht die Festung halt von weitem etwas unspektakulär aus. Nur - was sollte es sonst darstellen? Zum Schluss macht er sogar noch den Deckel auf die Urne.
Da rendere ich Tage an diesem bizarren Intro, und verstehe es erst jetzt.
Etwas anders als bei den bisherigen Generierungen in diesem Thread habe ich Bilder aus Bildern und nicht aus Text generiert.
Konkret habe ich das originale Intro-Video von "Schatten über Riva" hochskaliert.
Ich habe RIFE benutzt, um die Bildrate von ursprünglich 10 FPS auf zuerst 160 und dann auf 60 zu erhöhen.
Einfach gesagt, analysiert RIFE die Bewegungen im Bild und fügt die fehlenden Zwischenschritte ein.
Davon bin ich echt begeistert. Im Gegensatz zum Upscaling macht es nur wenige Fehler und schafft es meistens auf Knopfdruck, aus einem ruckeligen Video etwas sehr ansehnlich Flüssiges zu erzeugen.
Probleme gab es eigentlich nur, wenn die Bewegung im Bild komplexer oder zu schnell war:
Einmal beim Hindurchwandern durch das aufschwingende Tor kam es mit RIFE zu stärkeren Artefakten, sodass ich auf DAIN ausgewichen bin, das hier zwar auch scheitert, aber weniger grandios.
Außerdem stolperte es beim schnellen Umschwenken innerhalb des Turmes, beispielsweise vor und nach den Kakerlaken. Dort verändert sich zwischen den Einzelbildern einfach zu viel.
Demjenigen, der es mal mit eigenen Videos ausprobieren möchte, empfehle ich das Programm "Flowframes", da es sehr leicht installierbar und benutzbar ist. Es hat Zugriff auf verschiedenste aktuelle A.I.-Modelle (wie RIFE oder DAIN) und bildet eine grafische Schnittstelle, um diese anzusteuern.
Viele der Modelle, wie das benutzte RIFE, sind mit einer einigermaßen aktuellen GPU auch ziemlich flott.
Als zweiten Schritt habe ich alle originalen und dazwischen generierten Bilder dann mittels ESRGAN um den Faktor 4 in Höhe und Breite hochskaliert.
Mir gefällt das Ergebnis deutlich besser als mit Lanczos oder dem Stable Diffusion Upscale, aber es wird in Zukunft bestimmt noch deutlich bessere Modelle geben.
Cool finde ich, wie im hochskalierten (englischen) Video plötzlich "Programmierung" im Hintergrund lesbar wurde. Damit wurde wohl nicht gerechnet. ;D
ESRGAN kann man mit "Cupscale" relativ leicht selbst bedienen.
Hier das Ergebnis: https://www.youtube.com/watch?v=rLooyyN2iic
So, genug zum Technischen. Etwas Offtopic, aber weiß jemand, was dort im Introvideo, neben den Credits, eigentlich gezeigt wird?
Die Wüste um die Festung schließt ja eigentlich alle Schauplätze im Spiel aus. Es ist nicht der Magierturm im Sumpf und erst recht nicht die Feste in Riva.
Könnte es sein, dass es sich vielleicht um die Schwarze Festung in der Wüste Gor handelt?
Und bei dem Magier um niemand Geringeren als den Dämonenmeister Borbarad, der da mal eben aus Augen, Würmern und "Stimmen" diejenigen Chimären erzeugt, die uns dann später im Spiel noch heimsuchen werden?
Dafür sieht die Festung halt von weitem etwas unspektakulär aus. Nur - was sollte es sonst darstellen? Zum Schluss macht er sogar noch den Deckel auf die Urne.
Da rendere ich Tage an diesem bizarren Intro, und verstehe es erst jetzt.