Wir hatten ja vor rund einem Monat schon über das virtuelle KI-Filmstudio LTX Studio berichtet, nun ist es offiziell vorgestellt. Lightricks hat bei dieser Gelegenheit noch weitere Informationen zu LTX Studio veröffentlicht, sodass man sich jetzt noch besser vorstellen kann, wie das ambitionierte Ziel realisiert werden soll -also eine umfassende Lösung fürs Filmmaking per KI anzubieten.
Ganze KI-Filme sollen sich unter einer Oberfläche im Browser produzieren lassen, angefangen mit der Storyentwicklung über die (Pre-)Produktion bis hin zur Nachbearbeitung. Hierfür integriert LTX Studio KI-Tools fürs Drehbuch, Storyboarding, Casting (d.h. eine konsistente Charaktergeneration), Soundeffekte, Voiceover, Re-Lighting, Titling und automatischem Schnitt sowie natürlich für die Generierung von Videomaterial. LTX Studio verspricht dabei zwei wichtige Features, welche für KI-Filme unverzichtbar sind: Konsistenz und Kontrolle über die dargestellten Objekte.
Der Workflow: KI total
Der folgende Democlip soll zeigen, wie schnell mit der Hilfe von LTX Studio beliebige Videoclips erzeugt werden können. Möglich soll so eine ganz neue Art von intuitiver Generierung von Filmen sein, welche es erlaubt, Ideen sehr schnell nur per Textprompt in bewegte Bilder inklusive Ton umzusetzen und dann interaktiv zu verändern, um die resultierenden Clips den eigenen Vorstellungen anzupassen.
The future of digital storytelling is officially here.
— LTX Studio (@LTXStudio) March 28, 2024
Last night at our launch event, our VP Product presented this video, showcasing just how easy the creation process is with LTX Studio. If you have an idea, you can implement it into your story in just a few clicks. pic.twitter.com/kyyzsHNahq
Das "Filmemachen" per LTX Studio ist hochautomatisiert per KI - am Anfang des Workflows steht eine kurze, vom User gegebene Beschreibung der Geschichte, welche erzählt werden soll, sowie die Vorgabe des visuellen Stils. Aufgrund dieses Inputs generiert LTX Studio das Drehbuch samt Storyboard. LTX Studio schlägt auch gleich die Charaktere d.h. virtuellen Schauspieler vor (samt Aussehen und Stimme), welche per Textprompt vom User verändert werden können. Mehr visuelle Kontrolle erlaubt die Möglichkeit, Gesichter auch mittels eines eigenen Photos zu definieren.
Im nächsten Schritt erscheint das vollständig von der Software erstellte Storyboard mit den einzelnen Szenen des Films, welche weiter unterteilt sind in die einzelnen Kameraeinstellungen. Der User kann dann quasi als virtueller Regisseur bzw. Kameramann die einzelnen Kameraeinstellungen und deren Reihenfolge ändern.
Auch einzelne Aspekte jeder Einstellung lassen sich manipulieren - die Art der Einstellung (wie z.B. Close-up, Medium Shots, Wide Shot, Establishing Shot, From Below, From Above, Vogelperspektive) ebenso wie die Szenerie, die Beleuchtung, das Wetter, die Kamerabewegung bzw. Bewegung der Objekte und eventuelle Soundeffekte zur Untermalung der Szene (alles per Textprompt). Zur Veränderung einzelner Shots stehen auch Inpainting- und Magic Erase-Funktionen für eine exaktere Kontrolle der Bildinhalte zur Verfügung. Da LTX Studio (noch) keine Lippensynchronisation beherrscht, stehen die generierten Stimmen der Darsteller allerdings nur für ein Voice-Over zur Verfügung. Bei Nichtgefallen eines Shots bzw. zu auffälliger Fehler "würfelt" man einfach noch einmal und es wird eine neue Version der Einstellung erzeugt. Das Ausspielen eines Film im Standardmodus dauert aktuell rund 20 Minuten - zukünftig soll auch Modus mit höherer Auflösung verfügbar sein.
Hier ein ausführlicherer Clip von Theoretically Media, der Schritt für Schritt durch den Prozess der Erstellung eines KI-Films mit der Hilfe von LTX Studio führt:
Noch nicht reif für echte KI-Filme
Lightricks vereint in LTX Studio ein beeindruckendes Arsenal verschiedener KI-Tools unter einem Dach. Lightricks nutzt für die verschiedenen Funktionen eine Mischung aus Open Source Modellen, lizenzierten Diensten dritter Anbieter sowie eigene Technologie. Allerdings ähneln die erzeugten KI-Videos mit ihren maximal 4 Sekunden langen bewegten Bildern eher einer animierten Diashow als echtem Video und weisen auch noch arge Morphingartefakte auf. Hier zeigt sich der deutliche qualitative Unterschied zur aktuell State-of-the-art Video-KI, also OpenAI Sora, sowohl bezüglich der Länge als auch Konsistenz der Objekte und ihrer Bewegungen.
Wofür also kann man LTX Studio verwenden? Aufgrund der Qualität empfehlt sich das Tool aktuell eher für Storyboards, visuelle Konzepte oder kurze, surreale KI-Kurzfilmchen als fotorealistischen Content. Die bisherigen Democlips von LTX Studio haben eher den Charakter von seltsamen Filmtrailern als echten Filmen. Aber - das zeigt die rasende Entwicklung im Feld KI - diese Einschätzung kann sich schon in den nächsten Monaten und erst recht Jahren ändern. Auf jeden Fall demonstriert Lightricks mit LTX Studio, wie KI Filmmaking der Zukunft aussehen könnte, wenn alle Kinderkrankheiten ausgemerzt sind.
Der folgende Democlip - eine Mischung aus realer und per KI generierter Footage - des Filmemachers Ari Folman demonstriert, wie LTX Studio eingesetzt werden kann: für assoziative surreale Traumsequenzen:
LTX Studio ist zwar jetzt "offiziell" gestartet, am Status hat sich aber noch nichts geändert - nach wir vor können Interessierte nur per Waitlist Zugang bekommen. Für die zukünftige Nutzung entscheidend sein wird der Preis, der sich im Rahmen von Runways Preismodell bewegen müsste, um konkurrenzfähig zu sein, dort kosten 450 Sekunden Gen-2 KI-Video 28 Dollar pro Monat.
