Lumiere od Google - wideo generowane przez AI coraz bliżej doskonałości

Autor: Redakcja Fotopolis

26 Styczeń 2024
Artykuł na: 4-5 minut

Google Research zaprezentowało nowy generator wideo o nazwie Lumiere. Zamiana tekstu w materiał filmowy będzie jeszcze prostsza i bardziej funkcjonalna, a stworzony klip bardziej realistyczny i płynny.

Zespół pod kierunkiem Omera Bar-Tal z Google Research zaprezentował nowy superskuteczny i wydajny model AI zamiany tekstu na plik wideo. Jak czytamy we wstępie udostępnionej pracy naukowej: “Lumiere to model dyfuzji tekstu na wideo zaprojektowany do tworzenia filmów, które przedstawiają realistyczny, zróżnicowany i spójny ruch - kluczowe wyzwanie w syntezie wideo. W tym celu wprowadzamy architekturę Space-Time U-Net, która generuje od razu pełny plik wideo, poprzez pojedyncze przejścia w modelu”.

Jak podkreślają twórcy, Lumiere to przeciwieństwo istniejących modeli, które mają problemy z osiągnięciem spójności czasowej. “Wdrażając zarówno przestrzenne, jak i (co ważne) czasowe próbkowanie w dół i w górę oraz wykorzystując wstępnie wytrenowany model dyfuzji tekstu na obraz, nasz model uczy się bezpośrednio generować pełnoklatkowe wideo o niskiej rozdzielczości, przetwarzając je w wielu skalach czasoprzestrzennych” - czytamy w ich pracy.

A jak Lumiere działa w praktyce? Rewelacyjnie!

Na stronie Google Research zaprezentowano szereg przykładów, które ilustrują funkcje i skuteczność nowego modelu.

Klipy mogą być tworzone “od podstaw” na bazie wskazanego opisu. “Ożywić” można także zdjęcie lub jego fragment po zaznaczeniu. Imponująco wygląda też generowanie filmów stylizowanych na bazie kolorystyki i tonalności wskazanego zdjęcia czy pliku graficznego. Na bazie opisu można także w dowolny sposób edytować gotowy materiał wideo, by osiągnąć spójną formę.

Lumiere pozwala też zmieniać fragmenty obrazu. Po zaznaczeniu maski algorytm uzupełni ją wskazanym w opisie elementem. Może to być jakiś nowy ruchomy obiekt lub zamiana istniejącego, np. sukienki na modelce.

Ze wszystkimi funkcjami Lumiere warto zapoznać się na stronie projektu: lumiere-video.github.io

Lumiere i co dalej?

Nazwa Lumiere to oczywiście nawiązanie do nazwiska słynnych braci, pionierów filmu, którzy w 1895 skonstruowali i opatentowali kinematograf. Czy model Lumiere od Google’a będzie równie przełomowy? Z pewnością to duży krok w rozwoju ruchomego obrazu generowanego przez AI. Nie ma co owijać w bawełnę, podane przykłady i funkcjonalność algorytmu wbijają w fotel. Na razie to jedynie prezentacja nowego modelu, ale patrząc na tempo rozwoju tej branży, za chwilę albo stanie się samodzielnym oprogramowaniem, albo ulepszy istniejące generatory wideo.

Skopiuj link
Słowa kluczowe:
Komentarze
Więcej w kategorii: Branża
Nowe AI może zrewolucjonizować zoomy w smartfonach (i nie tylko) - powiększenie 256x bez utraty szczegółów?
Nowe AI może zrewolucjonizować zoomy w smartfonach (i nie tylko) - powiększenie 256x bez utraty...
Producenci smartfonów coraz chętniej sięgają po AI w celu poprawy szczegółowości zdjęć z teleobiektywów. System Chain of Zoom, opracowany przez naukowców z Korei Południowej, może...
8
Ta technologia ma zrewolucjonizować aparaty w smartfonach i dronach. Glass pozyskało 20 mln dolarów na dalszy rozwój
Ta technologia ma zrewolucjonizować aparaty w smartfonach i dronach. Glass pozyskało 20 mln...
Czy możliwe, by zdjęcia ze smartfonów miały jakość jak z profesjonalnego aparatu? Tego chce dokonać Glass Imaging, które właśnie pozyskało kolejne 20 mln na wdrożenie technologii AI...
5
Google pozamiatało - nowe modele AI rzucają strach na branżę wideo
Google pozamiatało - nowe modele AI rzucają strach na branżę wideo
Google zaprezentowało nowe wersje generatorów grafiki i wideo Imagen 4 i Veo 3 oraz platformę Flow, które pokazują, że przyszłość treści rozrywkowych może prawie w całości obyć się bez...
38
Powiązane artykuły