Internet jako narzędzie lokalnego agenta
Rozdzielenie myślenia od pozyskiwania danych. Model decyduje, czego potrzebuje; sieć dostarcza wyłącznie fakty. Do chmury nie wychodzi kontekst, tylko zapytanie.
Lokalny model ma jedną fundamentalną słabość: wie tyle, ile było w danych treningowych. Rozwiązaniem nie jest oddanie całej pracy do chmury, tylko wąskie okno — model formułuje zapytanie, sieć zwraca dane, analiza wraca na miejsce.
Problem
Pytanie „jaki jest aktualny cennik przewozu palety do Niemiec” wymaga danych świeższych niż jakikolwiek zbiór treningowy. Ale wysłanie do zewnętrznego API całego kontekstu rozmowy — z nazwami klientów i cenami — jest niepotrzebnym wyciekiem.
Decyzja: czy w ogóle iść do sieci
Drugi krok schematu jest najważniejszy i najczęściej pomijany w podobnych systemach. Zanim cokolwiek poleci na zewnątrz, model odpowiada na pytanie: czy odpowiedź zależy od danych aktualnych. Pytania o zasady, definicje i własne procedury zostają w całości lokalnie.
U nas zdecydowana większość zapytań nie wymaga sieci — a zaczynaliśmy od systemu, który odpytywał wyszukiwarkę przy każdym pytaniu.
Wybór źródła
- Dane lokalne — pierwszy wybór zawsze. Własna dokumentacja, cenniki, notatki.
- API — dane ustrukturyzowane, gdy istnieje oficjalny punkt dostępu. Najtańsze w przetwarzaniu, bo nie wymagają czyszczenia.
- Wyszukiwarka — gdy nie wiadomo, gdzie szukać.
- Strona WWW przez Playwright — ostateczność, dla treści renderowanych JavaScriptem. Najwolniejsze i najbardziej zawodne.
Czyszczenie i normalizacja
Surowy HTML strony to w przeważającej części nawigacja, banery i skrypty. Podanie go modelowi bez czyszczenia to marnowanie kontekstu i prosta droga do halucynacji — model zaczyna cytować teksty z menu.
Po ekstrakcji treści głównej normalizujemy jednostki i daty. „w zeszły wtorek” zamieniamy na konkretną datę już na etapie przetwarzania, a nie zostawiamy modelowi do interpretacji.
Ocena wiarygodności
Każde źródło dostaje ocenę na podstawie typu, obecności daty publikacji i zgodności z pozostałymi wynikami. Źródła poniżej progu nie są używane w odpowiedzi — wracają do kroku wyboru źródła, żeby agent poszukał gdzie indziej.
Odpowiedź zawsze zawiera linki. Nie dlatego, że tak wypada, tylko dlatego, że przy danych z sieci użytkownik musi mieć możliwość sprawdzenia, skąd wzięła się liczba.
Wynik
Największą zmianę przyniosło nie lepsze wyszukiwanie, tylko konsekwentne odpowiadanie „nie wiem, źródła są sprzeczne”. System, który przyznaje się do niepewności, jest użyteczny; system, który zawsze udziela pewnej odpowiedzi, wymaga sprawdzania wszystkiego i przestaje mieć sens.
