Lumiere od Google - wideo generowane przez AI coraz bliżej doskonałości

Zespół pod kierunkiem Omera Bar-Tal z Google Research zaprezentował nowy superskuteczny i wydajny model AI zamiany tekstu na plik wideo. Jak czytamy we wstępie udostępnionej pracy naukowej: “Lumiere to model dyfuzji tekstu na wideo zaprojektowany do tworzenia filmów, które przedstawiają realistyczny, zróżnicowany i spójny ruch - kluczowe wyzwanie w syntezie wideo. W tym celu wprowadzamy architekturę Space-Time U-Net, która generuje od razu pełny plik wideo, poprzez pojedyncze przejścia w modelu”.

Jak podkreślają twórcy, Lumiere to przeciwieństwo istniejących modeli, które mają problemy z osiągnięciem spójności czasowej. “Wdrażając zarówno przestrzenne, jak i (co ważne) czasowe próbkowanie w dół i w górę oraz wykorzystując wstępnie wytrenowany model dyfuzji tekstu na obraz, nasz model uczy się bezpośrednio generować pełnoklatkowe wideo o niskiej rozdzielczości, przetwarzając je w wielu skalach czasoprzestrzennych” - czytamy w ich pracy.

Fujifilm GFX100RF - Raty 20x0%

22 999 zł

Nikon Z6 III - raty 20x0%

9 159 zł

Canon EOS R6 Mark II - raty 20x0%

8 999 zł

PANASONIC LUMIX S1R II - raty 20x0%

15 299 zł

Sony FX30 - raty 20x0%

9 449 zł

A jak Lumiere działa w praktyce? Rewelacyjnie!

Na stronie Google Research zaprezentowano szereg przykładów, które ilustrują funkcje i skuteczność nowego modelu.

Klipy mogą być tworzone “od podstaw” na bazie wskazanego opisu. “Ożywić” można także zdjęcie lub jego fragment po zaznaczeniu. Imponująco wygląda też generowanie filmów stylizowanych na bazie kolorystyki i tonalności wskazanego zdjęcia czy pliku graficznego. Na bazie opisu można także w dowolny sposób edytować gotowy materiał wideo, by osiągnąć spójną formę.

Lumiere pozwala też zmieniać fragmenty obrazu. Po zaznaczeniu maski algorytm uzupełni ją wskazanym w opisie elementem. Może to być jakiś nowy ruchomy obiekt lub zamiana istniejącego, np. sukienki na modelce.

Sprawdź najlepsze promocje >

Obiektyw Nikon Nikkor Z 35 mm f/1.4

2489 PLN 2749 PLN

Sprawdź

Aparat cyfrowy Sony A7S III body...

17499 PLN

Sprawdź

Aparat cyfrowy OM System OM-1 II...

12999 PLN

Sprawdź

Aparat cyfrowy Sony A7 IV body...

10266 PLN

Sprawdź

Aparat cyfrowy Panasonic Lumix S5IIX...

8198 PLN 10095 PLN

Sprawdź

Aparat cyfrowy Nikon Aparat cyfrowy...

9158 PLN 9999 PLN

Sprawdź

Ze wszystkimi funkcjami Lumiere warto zapoznać się na stronie projektu: lumiere-video.github.io

Lumiere i co dalej?

Nazwa Lumiere to oczywiście nawiązanie do nazwiska słynnych braci, pionierów filmu, którzy w 1895 skonstruowali i opatentowali kinematograf. Czy model Lumiere od Google’a będzie równie przełomowy? Z pewnością to duży krok w rozwoju ruchomego obrazu generowanego przez AI. Nie ma co owijać w bawełnę, podane przykłady i funkcjonalność algorytmu wbijają w fotel. Na razie to jedynie prezentacja nowego modelu, ale patrząc na tempo rozwoju tej branży, za chwilę albo stanie się samodzielnym oprogramowaniem, albo ulepszy istniejące generatory wideo.