Der Kurzfilm »Sunspring« aus dem Jahr 2016 zeichnet sich durch einen besonders surrealen Stil aus. Die scheinbar sinnlosen Dialoge und die Aneinanderreihung von Science-Fiction-Klischees verdanken wir dem Einsatz einer Künstlichen Intelligenz. So unterhaltsam das Ergebnis ist, zeigt es deutlich die Grenzen der derzeitigen KI-Anwendungen auf: Den Sprung in die kreative Arbeit hat die Künstliche Intelligenz – auch sieben Jahre später – noch nicht geschafft. Doch aus dem Alltag der Filmwirtschaft ist sie nicht mehr wegzudenken.
Bei der zur Erstellung des »Sunspring«-Drehbuchs eingesetzten Technologie handelt es sich um ein rekurrentes neuronales Netzwerk (RNN). Sie ist die Grundlage von heute alltäglichen Anwendungen in Mobiltelefonen und Smart-Home-Assistenten und wird auch für Anwendungen in der Filmproduktion längst genutzt. Wie auch das maschinelle Lernen ermöglicht die Technologie, Muster in großen Datenmengen zu erkennen und Vorhersagen zu treffen. Das sorgt schon heute für enorme Effizienzgewinne im Arbeitsalltag. Die Anwendungsbereiche in der Filmbranche sind daher vielfältig und reichen von der Produktion bis zur Herausbringung.
In der VFX- und Animationsbranche gehört Innovation zum Selbstverständnis. Das ist ein Grund, warum KI-Anwendungen hier besonders früh eingesetzt wurden. Ein weiterer Treiber dieser Entwicklung: Die Erstellung von visuellen Effekten und Animationen ist arbeits- und rechenintensiv. Ein Beispiel: Beim sogenannten Rotoscoping wird Filmmaterial digital nachbearbeitet, beispielsweise indem aus dem gedrehten Bildmaterial Gegenstände isoliert werden, um eine Figur oder ein Objekt vom Hintergrund zu trennen und in eine andere Szene einzufügen oder spezielle Effekte hinzuzufügen. Dieser Prozess findet in mühsamer Handarbeit Bild für Bild statt. KI-Modelle automatisieren diese repetitive Tätigkeit und machen den Arbeitsprozess damit wesentlich effizienter und schneller.
Doch der Einsatz von KI geht weit über die VFX-Branche hinaus. Auch Redaktionen arbeiten heute bereits mit KI-Technologie. Hier unterstützen die KI-Anwendungen bei der Recherche und bei der Erstellung von audiovisuellen Beiträgen. KI-Modelle können in Redaktionssystemen eingesetzt werden, um Inhalte zu organisieren, zu kategorisieren und zu verschlagworten. Daneben können automatisierte Systeme genutzt werden, um Bilder und Videos zu identifizieren und mit passenden Texten und Beschreibungen zu versehen. Gerade im crossmedialen Bereich ergeben sich daraus deutliche Effizienzsteigerungen. Natural Language Processing (NLP) und Machine Learning machen zudem weitgehend automatisierte Text- oder Sprachgenerierung möglich. So können Inhalte vom Nachrichtenartikel über den Audiobeitrag bis zum Videoclip in Teilen automatisiert erstellt werden.
Bei der Herausbringung von Filmen spielt das Thema inzwischen eine zentrale Rolle. In einer Welt unübersichtlicher Angebote setzen Sender und Plattformen auf zielgenaues Marketing und einen datengestützten Vertrieb. KI-Modelle sind die Grundlage für personalisierte Empfehlungssysteme, um die Marketing- und Vertriebsstrategien von Filmen zu verbessern, indem sie Vorhersagen darüber treffen, wer den Film sehr wahrscheinlich sehen wird und wie man ihn am besten vermarkten kann.
Diesen Effizienzsteigerungen sind aber auch Grenzen gesetzt, beispielsweise im Falle des sogenannten »Aging«- oder »De-aging«-Deepfakes. Ein mit Deepfake generiertes Bild z. B. zur Alterung eines Schauspielers ist in der Regel ein zweidimensionales Bild, das mittels eines künstlichen neuronalen Netzwerks erzeugt wurde, um das Aussehen einer bestimmten Person oder eines bestimmten Objekts zu imitieren und dann abzuwandeln. Für einen Film muss das neue Bild des Schauspielers passgenau umgesetzt werden, um es glaubhaft wirken zu lassen. Deepfake-Bilder können oft nicht die gleiche Detailgenauigkeit und Tiefe aufweisen wie 3-D-Modelle. Auch die nachträgliche Bearbeitung ist durch 2-D sehr begenzt. Das liegt daran, dass Deepfake-Algorithmen nur begrenzte Informationen über das ursprüngliche Objekt oder die Person besitzen und somit Schwierigkeiten haben, feine Details und subtile Merkmale zu reproduzieren. Da es wesentlich aufwendiger ist, aus einem 2-D-Bild ein 3-D-Modell zu machen als dieses direkt in 3-D zu erstellen, wird die Deepfake-Technologie im Film meistens nur im Mix mit der klassischen und aufwendigen 3-D-Animation verwendet.
Es ist abzusehen, dass KI-basierte Technologien in weiteren Gebieten zum Einsatz kommen werden. Die rasante Entwicklung der letzten Jahre zeigt aber, dass es einen differenzierten Blick auf die einzelnen Anwendungen braucht. Manche Technologien, wie Computer Vision, das Computern ermöglicht, aussagefähige Informationen aus digitalen Bildern oder Videos zu verarbeiten, werden zu weiteren Effizienzsteigerungen führen. Noch sehen wir aber eine Lücke zwischen den kreativen Tätigkeiten und den Arbeitsprozessen, die durch KI-Anwendungen vereinfacht werden können. Technologien, die heute in den Kinderschuhen stecken, wie Deep Learning, könnten diese schließen, sodass z. B. ein durch automatische Skriptgenerierung erstelltes Drehbuch tatsächlich nicht mehr von einem von Menschen geschriebenem Buch zu unterscheiden ist – auch wenn es ethisch und rechtlich sehr fraglich ist, ob dies tatsächlich so umgesetzt werden kann und sollte.
Dieser Sprung in tatsächlich kreative Arbeitsprozesse steht uns noch bevor. Gerade die Erfahrungen im VFX-Sektor lassen erwarten, dass es darauf ankommt, die technologischen Fortschritte in den jeweiligen Anwendungsbereichen einzupassen. Das bedeutet auch, dass KI die traditionellen Techniken nicht einfach ablöst, sondern gerade in Kombination mit diesen zu den besten Ergebnissen führt. Deutschland hat mit dem Animation Media Cluster Region Stuttgart (AMCRS) einen auch international herausragenden Standort, der ideale Voraussetzungen bietet, um die Potenziale dieser Entwicklung für die Filmbranche zu nutzen. Die Herausforderung wird darin liegen, die notwendigen hoch qualifizierten Fachkräfte zu gewinnen und stetig weiterzubilden. Diese Investitionen werden sich auszahlen – in Form von zukunftsfähigen Arbeitsplätzen und einer innovativen Produktionswirtschaft am Filmstandort Deutschland.