Lumiere od Google - wideo generowane przez AI coraz bliżej doskonałości

Zespół pod kierunkiem Omera Bar-Tal z Google Research zaprezentował nowy superskuteczny i wydajny model AI zamiany tekstu na plik wideo. Jak czytamy we wstępie udostępnionej pracy naukowej: “Lumiere to model dyfuzji tekstu na wideo zaprojektowany do tworzenia filmów, które przedstawiają realistyczny, zróżnicowany i spójny ruch - kluczowe wyzwanie w syntezie wideo. W tym celu wprowadzamy architekturę Space-Time U-Net, która generuje od razu pełny plik wideo, poprzez pojedyncze przejścia w modelu”.

Jak podkreślają twórcy, Lumiere to przeciwieństwo istniejących modeli, które mają problemy z osiągnięciem spójności czasowej. “Wdrażając zarówno przestrzenne, jak i (co ważne) czasowe próbkowanie w dół i w górę oraz wykorzystując wstępnie wytrenowany model dyfuzji tekstu na obraz, nasz model uczy się bezpośrednio generować pełnoklatkowe wideo o niskiej rozdzielczości, przetwarzając je w wielu skalach czasoprzestrzennych” - czytamy w ich pracy.

Sony A7 III - raty 20x0% (cena po cashbacku)

5 679 zł

Canon EOS R5 II - raty 20x0% + złoty pakiet 12 miesięcy Fotoforma Care

21 999 zł

Nikon Z6 III - raty 20x0% + 1500 zł voucher Fotoforma Care

12 989 zł

Sony A7 IV - raty 20x0% (cena po cashbacku)

9 099 zł

Canon EOS R6 Mark II - raty 20x0% (cena po cashbacku)

9 999 zł

A jak Lumiere działa w praktyce? Rewelacyjnie!

Na stronie Google Research zaprezentowano szereg przykładów, które ilustrują funkcje i skuteczność nowego modelu.

Klipy mogą być tworzone “od podstaw” na bazie wskazanego opisu. “Ożywić” można także zdjęcie lub jego fragment po zaznaczeniu. Imponująco wygląda też generowanie filmów stylizowanych na bazie kolorystyki i tonalności wskazanego zdjęcia czy pliku graficznego. Na bazie opisu można także w dowolny sposób edytować gotowy materiał wideo, by osiągnąć spójną formę.

Lumiere pozwala też zmieniać fragmenty obrazu. Po zaznaczeniu maski algorytm uzupełni ją wskazanym w opisie elementem. Może to być jakiś nowy ruchomy obiekt lub zamiana istniejącego, np. sukienki na modelce.

Sprawdź najlepsze promocje >

Statyw Manfrotto MT190CXPRO4, 4...

2203 PLN

Sprawdź

Statyw Manfrotto MT190XPRO3, 3 sekcje,...

846 PLN

Sprawdź

Calumet Filtr CPL SMC 67 mm Ultra Slim...

224 PLN

Sprawdź

Calumet Filtr CPL SMC 72 mm Ultra Slim...

244 PLN

Sprawdź

Calumet Filtr ND4x SMC 77 mm Ultra...

184 PLN

Sprawdź

Parasol GlareOne typu softbox 90 cm

55 PLN 69 PLN

Sprawdź

Ze wszystkimi funkcjami Lumiere warto zapoznać się na stronie projektu: lumiere-video.github.io

Lumiere i co dalej?

Nazwa Lumiere to oczywiście nawiązanie do nazwiska słynnych braci, pionierów filmu, którzy w 1895 skonstruowali i opatentowali kinematograf. Czy model Lumiere od Google’a będzie równie przełomowy? Z pewnością to duży krok w rozwoju ruchomego obrazu generowanego przez AI. Nie ma co owijać w bawełnę, podane przykłady i funkcjonalność algorytmu wbijają w fotel. Na razie to jedynie prezentacja nowego modelu, ale patrząc na tempo rozwoju tej branży, za chwilę albo stanie się samodzielnym oprogramowaniem, albo ulepszy istniejące generatory wideo.