Własny model AI do usuwania tła ze zdjęć produktowych
Kiedy gotowe modele przestają wystarczać i opłaca się wytrenować własny na kilku tysiącach zdjęć jednej grupy produktów. Dane, augmentacja, metryki i realne wyniki.
Gotowe modele do usuwania tła są zaskakująco dobre — do momentu, w którym trafiają na produkt o cienkich krawędziach, przezroczystych elementach albo powierzchni odbijającej otoczenie. Wtedy zaczyna się ręczny retusz, a przy kilku tysiącach zdjęć przestaje to mieć sens ekonomiczny.
Problem
Uniwersalny model jest trenowany na wszystkim: ludziach, zwierzętach, samochodach, przedmiotach. Nasz przypadek jest wąski — jedna grupa produktów, jedno studio, powtarzalne oświetlenie. To sytuacja idealna do wytrenowania modelu wyspecjalizowanego, bo zmienność danych jest niewielka.
Dane są całą robotą
Trening to kilka godzin. Przygotowanie zbioru to tygodnie. Kluczowy jest format: dla każdego zdjęcia potrzebna jest maska binarna, w której obiekt i tło są jednoznacznie rozdzielone.
- Źródło masek — najszybciej idzie od gotowych plików PNG z kanałem alfa z wcześniejszych, ręcznie retuszowanych sesji. To darmowy zbiór uczący, który już istnieje.
- Walidacja par — automatyczna kontrola, czy maska pasuje do zdjęcia rozmiarem i czy nie jest pusta lub całkowicie wypełniona. Kilka procent par okazało się uszkodzonych.
- Augmentacja — obroty, zmiany jasności, lekkie rozmycia i szum. Nie stosujemy odbicia lustrzanego tam, gdzie produkt ma asymetryczne oznaczenia.
Metryka, która ma sens
Dokładność pikselowa jest myląca: przy produkcie zajmującym część kadru model, który uzna wszystko za tło, i tak osiąga wysoki wynik. Używamy IoU, czyli stosunku części wspólnej do sumy obszarów, a dodatkowo osobno liczymy błąd na pasie kilku pikseli wokół krawędzi.
Ta druga metryka jest ważniejsza w praktyce. Środek obiektu każdy model trafia; o jakości decyduje kilka pikseli na obrysie, bo to one są widoczne po podłożeniu białego tła w sklepie.
Refinement i kanał alfa
Surowa maska z modelu ma twarde, schodkowe krawędzie. Refinement wygładza je subpikselowo i przywraca półprzezroczystość tam, gdzie jest naturalna — przy cienkich elementach i rozmyciu obiektywu.
Ostatni krok to złożenie kanału alfa z oryginałem i eksport PNG. Tu warto sprawdzić jedną rzecz, o której łatwo zapomnieć: piksele całkowicie przezroczyste powinny zachować kolor obiektu, a nie czerń. Inaczej przy skalowaniu na krawędziach pojawia się ciemna obwódka.
Wynik
Model wyspecjalizowany osiąga na naszym zbiorze testowym wyraźnie lepszy wynik krawędziowy niż rozwiązania uniwersalne, przy czasie inferencji rzędu ćwierć sekundy na zdjęcie. Ręczny retusz zszedł do pojedynczych procent kadrów — i są to prawie wyłącznie przypadki opisane w kolejnym artykule serii.
