Minotauri

Wyszukiwarki ogólne nie rozumieją branży: zapytanie o deszczownicę zwraca sklepy, blogi i przypadkowe obrazki, a nie porównywalne produkty z kartami katalogowymi. Zawężenie wyników wymaga wiedzy, której wyszukiwarka nie ma, bo jej model świata jest poziomy, nie branżowy.

Zbudować wyszukiwarkę pionową: własny crawler, własna klasyfikacja przynależności do branży, własna ekstrakcja encji i własny indeks. Rozdzielony na dwa niezależne produkty — indekser i wyszukiwarkę desktopową.

Ten podział jest sednem: zatrzymanie crawlera na tydzień nie zatrzymuje wyszukiwania, bo desktop odpowiada na zapytania z tego, co już zindeksowano, i startuje w milisekundach.

Indeks jest wspólnym kontraktem między dwoma produktami. Dopóki jego format się nie zmienia, crawler i wyszukiwarka rozwijają się niezależnie — można przebudować cały indekser, nie dotykając aplikacji, z której korzysta użytkownik.

Sześć wertykali: WWW, produkty, grafika, aranżacje, firmy i dokumentacja. Jedenaście języków wykrywanych per strona, ze wspólnym słownikiem branżowym — dzięki niemu deszczownica, rain shower, soffione, Regendusche i тропический душ odnajdują się nawzajem.

Ciekawostka implementacyjna: czeski i słowacki dzielą niemal wszystkie słowa funkcyjne, więc rozstrzygnięcie tej pary opiera się na literach wyłącznych dla każdego z nich (ř ě kontra ľ ĺ ŕ), a nie na słownictwie, które mają wspólne.

Ekstrakcja wyciąga ze strony encje branżowe, nie sam tekst: produkty z parametrami, zdjęcia z rolą (produktowe kontra aranżacyjne), firmy i dokumentację techniczną. Każdy wertykal ma własny zestaw pól, bo karta produktu i zdjęcie aranżacyjne wymagają zupełnie innych metadanych.

Indekser to Python z FastAPI i PostgreSQL, wyszukiwarka to aplikacja Tauri 2 ze Svelte i Rustem — w repozytorium leży zbudowany TauriDesktop.exe. Do rozpoznawania tekstu z dokumentacji dołączone są dane Tesseract dla języków branżowych (polski, rosyjski, hiszpański, włoski, francuski).

Wybór stosu wynika z podziału ról. Indekser jest procesem długo działającym, korzystającym z bazy i sieci — Python nadaje się do tego dobrze. Wyszukiwarka ma startować natychmiast i pracować na lokalnym indeksie, więc dostała Rusta i Tauri: kilkanaście megabajtów zamiast setek i uruchomienie liczone w milisekundach.

Klasyfikacja branżowa działa dwustopniowo — najpierw tania heurystyka na słownictwie i strukturze strony, potem model dla przypadków niepewnych. Puszczanie wszystkiego przez model byłoby kilkukrotnie wolniejsze przy marginalnym zysku na trafności.

Rozdzielenie ról okazało się słuszne także wydajnościowo: indekser potrzebuje bazy, sieci i czasem AI, a wyszukiwarka potrzebuje wyłącznie gotowego indeksu. Uruchamia się natychmiast i działa bez połączenia.