Lumiere od Google - wideo generowane przez AI coraz bliżej doskonałości

Autor: Redakcja Fotopolis

26 Styczeń 2024
Artykuł na: 4-5 minut

Google Research zaprezentowało nowy generator wideo o nazwie Lumiere. Zamiana tekstu w materiał filmowy będzie jeszcze prostsza i bardziej funkcjonalna, a stworzony klip bardziej realistyczny i płynny.

Zespół pod kierunkiem Omera Bar-Tal z Google Research zaprezentował nowy superskuteczny i wydajny model AI zamiany tekstu na plik wideo. Jak czytamy we wstępie udostępnionej pracy naukowej: “Lumiere to model dyfuzji tekstu na wideo zaprojektowany do tworzenia filmów, które przedstawiają realistyczny, zróżnicowany i spójny ruch - kluczowe wyzwanie w syntezie wideo. W tym celu wprowadzamy architekturę Space-Time U-Net, która generuje od razu pełny plik wideo, poprzez pojedyncze przejścia w modelu”.

Jak podkreślają twórcy, Lumiere to przeciwieństwo istniejących modeli, które mają problemy z osiągnięciem spójności czasowej. “Wdrażając zarówno przestrzenne, jak i (co ważne) czasowe próbkowanie w dół i w górę oraz wykorzystując wstępnie wytrenowany model dyfuzji tekstu na obraz, nasz model uczy się bezpośrednio generować pełnoklatkowe wideo o niskiej rozdzielczości, przetwarzając je w wielu skalach czasoprzestrzennych” - czytamy w ich pracy.

A jak Lumiere działa w praktyce? Rewelacyjnie!

Na stronie Google Research zaprezentowano szereg przykładów, które ilustrują funkcje i skuteczność nowego modelu.

Klipy mogą być tworzone “od podstaw” na bazie wskazanego opisu. “Ożywić” można także zdjęcie lub jego fragment po zaznaczeniu. Imponująco wygląda też generowanie filmów stylizowanych na bazie kolorystyki i tonalności wskazanego zdjęcia czy pliku graficznego. Na bazie opisu można także w dowolny sposób edytować gotowy materiał wideo, by osiągnąć spójną formę.

Lumiere pozwala też zmieniać fragmenty obrazu. Po zaznaczeniu maski algorytm uzupełni ją wskazanym w opisie elementem. Może to być jakiś nowy ruchomy obiekt lub zamiana istniejącego, np. sukienki na modelce.

Ze wszystkimi funkcjami Lumiere warto zapoznać się na stronie projektu: lumiere-video.github.io

Lumiere i co dalej?

Nazwa Lumiere to oczywiście nawiązanie do nazwiska słynnych braci, pionierów filmu, którzy w 1895 skonstruowali i opatentowali kinematograf. Czy model Lumiere od Google’a będzie równie przełomowy? Z pewnością to duży krok w rozwoju ruchomego obrazu generowanego przez AI. Nie ma co owijać w bawełnę, podane przykłady i funkcjonalność algorytmu wbijają w fotel. Na razie to jedynie prezentacja nowego modelu, ale patrząc na tempo rozwoju tej branży, za chwilę albo stanie się samodzielnym oprogramowaniem, albo ulepszy istniejące generatory wideo.

Skopiuj link
Słowa kluczowe:
Komentarze
Więcej w kategorii: Branża
Photographer - National Geographic rusza z serialem dokumentalnym poświęconym pracy fotografów
Photographer - National Geographic rusza z serialem dokumentalnym poświęconym pracy fotografów
Zastanawiacie się jak powstają zapierające dech w piersiach zdjęcia, które możemy oglądać na łamach National Geographic? W marcu na platformie Disney+ zadebiutuje nowy serial...
16
Apple tworzy AI do edycji obrazu przy pomocy komend. Czy nadchodzi koniec klikania?
Apple tworzy AI do edycji obrazu przy pomocy komend. Czy nadchodzi koniec klikania?
Mogłoby się wydawać, że aktualny sposób pracy z obrazem jest optymalny i nie zmieni się nigdy. Nowy projekt Apple i Uniwersytetu Kalifornijskiego to pomysł na interfejs nowego typu,...
27
Rynek aparatów w 2023 roku - uspokojenie trendów, stały wzrost i nowe przeszkody
Rynek aparatów w 2023 roku - uspokojenie trendów, stały wzrost i nowe przeszkody
Po mocnym odbiciu w 2022 roku, rynek aparatów fotograficznych kontynuuje pozytywny trend i się stabilizuje. To dobra prognoza na najbliższe lata, choć te mogą przynieść też masę...
17
Powiązane artykuły