Dlaczego chrom jest trudny dla AI
Powierzchnia chromowana nie ma własnego koloru — pokazuje otoczenie. Model widzi w niej odbicie białego tła i wycina dziurę w środku produktu. Jak to naprawić.
To jest artykuł o jednym, bardzo konkretnym błędzie, który psuje kilka procent zdjęć armatury i który nie da się rozwiązać dokładaniem danych treningowych bez zrozumienia przyczyny.
Fizyka problemu
Chrom jest niemal doskonałym lustrem. Nie ma barwy własnej — jego jasność w każdym punkcie to jasność tego, co się w nim odbija. W studio odbija się w nim przede wszystkim to, co jest największe i najjaśniejsze: softboxy i białe tło.
Efekt jest taki, że pionowy pas na korpusie baterii ma dokładnie tę samą wartość piksela co tło za produktem. Dla modelu operującego na kolorze i lokalnym kontraście to jest tło — i tak zostaje sklasyfikowane.
Dlaczego więcej danych nie wystarcza
Naturalny odruch to dorzucić zdjęć chromu do zbioru. Pomaga, ale nie rozwiązuje, bo problem nie jest statystyczny, tylko informacyjny: w samym pikselu nie ma informacji pozwalającej odróżnić odbicie tła od tła. Ta informacja jest w kształcie i kontekście.
Co działa
- Analiza kształtu — dziura w środku spójnego obiektu jest podejrzana. Jeśli obszar sklasyfikowany jako tło jest całkowicie otoczony obiektem i nie dotyka krawędzi kadru, w większości przypadków jest to odbicie, nie prześwit.
- Wypełnianie otworów z wyjątkami — reguła powyżej nie może być ślepa, bo bateria z otworem na wylew ma prawdziwy prześwit. Rozróżniamy je po proporcji i położeniu względem obrysu.
- Oświetlenie na etapie zdjęcia — najskuteczniejsza poprawka nie jest programowa. Tło o jasności innej niż softboxy sprawia, że odbicie i tło przestają mieć tę samą wartość, a model radzi sobie bez żadnych sztuczek.
Krawędź
Drugim problemem chromu jest przejście na krawędzi. Polerowana powierzchnia daje ostry, jasny kontur, który po nieudanej segmentacji zostawia jasną obwódkę na ciemnym tle w sklepie. Refinement subpikselowy z korektą koloru krawędzi rozwiązuje to lepiej niż samo rozmycie maski.
Wynik
Po połączeniu trzech rzeczy — zmiany jasności tła w studio, analizy kształtu i refinementu krawędzi — udział kadrów wymagających ręcznej poprawki spadł kilkukrotnie. Największy pojedynczy zysk dała zmiana w studio, czyli element, którego w ogóle nie ma w schemacie przetwarzania.
