AVAPAX Matting

Gotowe modele segmentacji radzą sobie z armaturą do momentu, w którym w kadrze pojawia się chrom. Powierzchnia lustrzana nie ma własnego koloru — odbija softboxy i białe tło — więc model widzi w środku produktu obszar identyczny z tłem i wycina w nim dziurę.

Problem dotyczy też innych wykończeń, choć w mniejszym stopniu: złoto szczotkowane ma jasne pasma, a czarny mat traci krawędź na ciemnym tle.

Skoro domena jest wąska i powtarzalna — jedno studio, jedno oświetlenie, jedna kategoria produktów — to zamiast walczyć z modelem uniwersalnym opłaca się wytrenować własny. Zbiór uczący już istnieje: to setki wcześniej wyretuszowanych plików PNG z kanałem alfa.

Zasada, która steruje całym projektem, jest zapisana w README jako reguła nadrzędna: jasny piksel nie jest tłem; tłem jest piksel poza konturem. To rozróżnienie, którego model uniwersalny nie zna.

Repozytorium jest zbudowane wokół procesu, nie wokół modelu. Osobne skrypty odpowiadają za audyt zbioru, budowę realnych par obraz–maska, benchmark modeli bazowych i benchmark sprzętu. Dopiero potem następuje trening.

Audyt zbioru ma własny raport: przy kilku tysiącach par zawsze znajdzie się maska pusta, przesunięta albo należąca do innego zdjęcia — a jedna zła para uczy model błędu skuteczniej niż sto dobrych go koryguje.

Benchmark modeli bazowych pełni funkcję punktu odniesienia. Bez niego nie da się odpowiedzieć na pytanie, czy własny model jest lepszy od gotowego, a to jedyne pytanie, które w tym projekcie ma znaczenie.

Zbiór dzieli się na trzy części — treningową, walidacyjną i testową — a podział jest wykonywany raz i zapisywany. Losowanie go przy każdym uruchomieniu byłoby wygodne i całkowicie unieważniałoby porównania między kolejnymi wersjami modelu.

Wielkość paczki i wycinka dobierana jest automatycznie do dostępnej pamięci karty, a ciężkie artefakty (checkpointy, raporty) można przenieść na inny dysk zmienną środowiskową.

Instalacja pobiera wagi wstępne jednorazowo, po czym cały katalog można skopiować na inną maszynę i uruchomić offline — konfiguracje i katalog produktów są w środku. To wymóg praktyczny: trening odbywa się na maszynie z kartą, a nie tam, gdzie stoi studio.

Dokumentacja obejmuje architekturę treningu, plan wdrożenia i raport z audytu zbioru danych — trzy dokumenty, które razem opisują nie tylko co robi kod, ale i dlaczego zbiór wygląda tak, a nie inaczej.

Metryki są liczone osobno dla każdego wykończenia. Model radzący sobie świetnie z czernią matową i słabo z chromem ma dobrą średnią i jest bezużyteczny — bo to właśnie chrom stanowi większość katalogu i to on generuje ręczny retusz.

Projekt jest w fazie treningowej: infrastruktura, audyt danych i benchmarki działają, model jest dostrajany. Efektem docelowym ma być zastąpienie gotowego modelu w linii produkcyjnej zdjęć — tej samej, którą obsługuje PhotoProcessor 3000.