Algorytm wytnie Twojego "eks-"

James Hays i Aleksiej A. Efros z Carnegie Mellon University stworzyli algorytm, który wykorzystuje obszerną bazę zdjęć do eliminacji z fotografii niepożądanych elementów i zastępowania ich fragmentami innych obrazków. Rezultaty są obiecujące - tylko czy to wciąż jest fotografia?
Naukowcy opisali efekty swojej pracy w artykule zgłoszonym na doroczną konferencję Computer Graphics Proceedings. Przekonują, że ich rozwiązanie będzie zbawienne dla osób niezadowolonych ze swoich wakacyjnych fotek, na których efektowny krajobraz psują niepożądane elementy, takie jak samochody, dachy domów, rusztowania. Opracowany przez Haysa i Efrosa algorytm pomoże też tym, którym w cieszeniu się ze zdjęć z "wakacji życia" przeszkadza pojawiający się na wszystkich fotkach "eks-".

schemat kolejnych etapów procedury (od lewej do prawej, góra-dół): zdjęcie do edycji, wycięty niepożądany element, wybór odpowiedniego zdjęcia z bazy, ostateczna wersja obrazu

Procedurę zaczynamy od zaznaczenia na zdjęciu interesującego nas obszaru zawierającego niepożądany element, którego chcemy się pozbyć. Następnie algorytm przeszukuje bazę 2,3 mln zdjęć z serwisu Flickr pod kątem zdjęć pasujących do "korygowanej" fotografii, zawierających elementy pasujące w miejsce wycinanego fragmentu. 99,9% materiału jest eliminowana, a najbardziej zbliżone 200 zdjęć jest wybierane do dalszej analizy. Algorytm przeszukuje wybrane dwie setki obrazków pod kątem obiektów, które pasowałyby do danego zdjęcia (wzgórza, budynki itp.), i które są odpowiedniej wielkości, mają właściwy kolor itp. Przydatne fragmenty 20 wybranych w ten sposób fotografii są odpowiednio wycinane i dodawane do edytowanego zdjęcia. Użytkownik decyduje następnie, która wersja najbardziej mu się podoba. Pamiętajmy, że choć wklejone fragmenty będą pasowały i mogą nawet występować w sfotografowanej oryginalnie scenie, wcale nie muszą odpowiadać prawdzie! W miejsce rzeki możemy więc wstawić drogę, drewnianą kładkę zastąpić podwieszanym mostem itd. itp.

Hays i Efros podkreślają, że ich rozwiązanie nie jest nieomylne - potrafi niewłaściwie zidentyfikować budynki i doczepić do nich fragment skał, zdarza mu się też wyciąć kawałek człowieka (bo nie wie, że postać ludzka to nie kilka odrębnych elementów, ale jedna całość). Natomiast w większości przypadków jest ponoć skuteczniejsza od wcześniejszych metod - ledwie ok. 30% obrazków obrobionych przy pomocy ich algorytmu było identyfikowanych przez widzów jako zdjęcia korygowane cyfrowo. Biorąc pod uwagę stopień ingerencji w zawartość obrazu jest to wynik całkiem niezły, a pamiętajmy, że baza zdjęć, z której na razie korzysta algorytm, nie jest zbyt duża (czym jest bowiem 2,3 mln wobec wszystkich zdjęć z Flickr, których jest ok. 500 mln?).

Pozostaje jednak parę pytań - choćby po co tak naprawdę prowadzone są prace nad podobnymi rozwiązaniami (bo mimo że rezultaty mogą być efektowne, przyznajmy, że taka "korekta" jest z gruntu absurdalna - czyż nie lepiej kupić pocztówkę?) i co z prawami autorskimi do zdjęć "kanibalizowanych" na potrzeby poprawki. Piszemy o tym na zasadzie ciekawostki, ponieważ z fotografią niniejsza wiadomość ma niewiele wspólnego i powinna być chyba skierowana nie do nawet najmniej zaawansowanych amatorów, a raczej do początkujących "ilustratorów"...

Obszerny artykuł wyjaśniający całą procedurę działania opisywanej metody można pobrać tutaj (plik PDF).
 
Komentarze
Polecane artykuły
Panasonic Lumix G X Vario 35-100 mm f/2.8 II POWER O.I.S. - zdjęcia przykładowe
19 Wrz 2018
Na warsztat wzięliśmy model Panasonic Lumix G X Vario 35-100 mm f/2.8 II POWER O.I.S. Czy zoom o ekwiwalencie 70-200 mm i stałym świetle f/2.8 to konstrukcja godna wymagającego fotografa? Przekonajcie się sami oglądając zdjęcia przykładowe!
0
Kentmere VC Select - test światłoczułego papieru fotograficznego
13 Wrz 2018
Kentmere VC Select to mniej znany na naszym rynku papier fotograficzny. Jednak czy ma szansę przekonać do siebie wymagających fotografów i dostarczy odbitki o wysokiej jakości? Sprawdźmy to!
1
Canon EOS M50 - test aparatu
11 Wrz 2018
Kompaktowy EOS M50 to tylko z pozoru korpus kierowany do początkujących. Bogata funkcjonalność, obecność złącza mikrofonowego i przystępna cena czynią go obecnie jedną z najciekawszych pozycji na rynku dla świadomych amatorów i vlogerów. Sprawdzamy, jak radzi sobie w praktyce.
0
Panasonic Lumix LX100 II - zdjęcia przykładowe
10 Wrz 2018
Podczas dzisiejszej wizyty w siedzibie firmy, mieliśmy okazję bliżej zaznajomić się w drugą generacją uniwersalnego kompaktu opartego o matrycę 4/3. Zobaczcie, jak Panasonic Lumix LX100 II radzi sobie w praktyce.
0