Czy kiedykolwiek zdarzyło Wam się żałować, że oświetliliście sesję w taki, a nie inny sposób? A może wybraliście się w długo wyczekiwaną fotograficzną podróż tylko po to, by zderzyć się z brzydką pogoda, prze która wszystkie zdjęcia wyszły nijako? Każdy z nas miał sytuacje, gdy zastane warunki nie okazały się łaskawe. Być może jednak wyczekiwanie na perfekcyjne światło czy precyzyjnie ustawianie oświetlenia już niedługo przestaną mieć jakiekolwiek znaczenie.
Relighting nowej generacji
Podczas tegorocznej konferencji SIGGRAPH naukowcy z Computational Photography Lab w kanadyjskim Simon Fraser University zaprezentowali technologię, która potencjalnie może okazać się rewolucją porównywalną z pojawieniem się zaawansowanych programów do edycji RAW-ów. Chodzi o narzędzie pozwalające swobodnie manipulować oświetleniem danej sceny już po wykonaniu zdjęcia.
Nie jest to pierwszy pomysł tego typu. Podstawowe funkcje relightingu oferuje m.in. tryb portretowy w iPhone’ach, a podobne możliwości oferuje dziś większość generatorów AI. Raptem pod koniec lipca widzieliśmy demo projektu Runway Aleph, który pozwolić ma na niczym nieskrępowaną edycję materiałów wideo w niemal dowolnym zakresie. Problemem ciągle pozostają jednak możliwości kontroli i realizm wyjściowym efektów, oferowanych przez obecne rozwiązania. I tu właśnie pojawia się miejsce dla metody opracowanej przez Chrisa Careaga i Yagiza Aksoya z SFU.
Od zdjęcia do 3D i z powrotem - nowa metoda relightingu to wieloetapowy proces
W ramach projektu nazwanego po prostu Physically Controllable Relighting of Photographs, badacze połączyli klasyczne techniki grafiki komputerowej z mocą sztucznej inteligencji, dzięki czemu fotografowie i twórcy mają móc w przyszłości manipulować światłem w sposób porównywalny do pracy w profesjonalnym studio lub w programach 3D takich jak Blender. Co istotne, całość odbywa się w oparciu o fizycznie poprawne modele oświetlenia, przekładające się na wyjątkowy realizm końcowego efektu.
Proces zaczyna się od przekształcenia zwykłego zdjęcia w trójwymiarową reprezentację sceny. Algorytmy AI analizują obraz, aby oszacować geometrię, kolory powierzchni oraz ich właściwości odbiciowe. W efekcie powstaje siatka pozbawiona oryginalnego oświetlenia, gotowa do ponownego wyrenderowania.
Użytkownik może samodzielnie definiować źródła światła - wybiera ich typ, położenie i intensywność, podobnie jak przy klasycznym oświetlaniu planu zdjęciowego czy właśnie wspomnianej pracy z grafiką3D. Na bazie tych ustawień, przy wsparciu technologii ray tracingu powstaje wstępny render sceny. Ostatni krok należy do sieci neuronowej, która przekształca „szkic” w fotorealistyczne zdjęcie, wiernie oddając charakter wybranego oświetlenia.
Według naukowców ich rozwiązanie oferuje najbardziej realistyczne efekty ze wszystkich dostępnych obecnie metod relightingu, co miało zostać potwierdzone przez opinie użytkowników. Według opisu projektu, 75% badanych uznało nową technologię za najlepszą.
Co dalej?
Póki co, twórcy udostępnili jedynie krótkie demówki i trudno tak naprawdę ocenić na ile nowe rozwiązanie może być skuteczne przy precyzyjnej pracy, gdzie ważny jest detal. Czyli w zasadzie wszędzie tam gdzie podobna technologia mogłaby znaleźć największe zastosowanie. To jednak dopiero początek, a naukowcy zapowiadają rozszerzenie możliwości m.in. o pracę z wideo. Sama technologia jest zaś w trakcie procesu patentowego.
Jeśli rezultaty okażą się tak dobre, jak zapowiadają twórcy, z pewnością licencjonowaniem technologii będą zainteresowani producenci oprogramowania do postprodukcji, w tym głównie stale utrzymujące się na pozycji lidera Adobe. Istnieje więc spore prawdopodobieństwo, że bazujące na tym rozwiązaniu funkcje w niedalekiej przyszłości zobaczymy w pakiecie Creative Cloud.
Czy okażą się rewolucją? Wszystko zależy od tego na ile dopracowana będzie to technologia. Tak czy inaczej, nowa technologia w parze ze stale doskonalonymi rozwiązaniami AI pozwala nam zerknąć w przyszłość, gdzie to co rejestrujemy aparatami bądź kamerami jest tylko punktem wyjścia do kreowania dalszych wizji.
Więcej informacji znajdziecie na stronie https://yaksoy.github.io/PhysicalRelighting/.
_1475239688.jpg)
_1877607562.jpg)
_443908423.jpg)
_1094526942.jpg)
