Lokalne modele LLM w warsztacie — co naprawdę działa

Model uruchomiony lokalnie ma trzy zalety: dane zostają u nas, koszt zapytania wynosi zero, a warsztat działa też wtedy, gdy pada internet.

Gdzie pomaga

• Wyszukiwanie we własnych notatkach i opisach projektów.
• Generowanie szkieletu kodu do sterowników i skryptów.
• Opisywanie zdjęć z warsztatu i wstępne tagowanie.

Gdzie przeszkadza

Wszędzie tam, gdzie liczy się precyzja liczbowa. Do przeliczeń posuwu i obrotów lepszy jest arkusz — model potrafi podać wartość, która brzmi rozsądnie i jest nieprawdziwa.

Model to narzędzie do tekstu, nie do liczb. Traktowany jako kalkulator zawsze zawiedzie.

Wnioski

Najwięcej zyskaliśmy na uporządkowaniu danych wejściowych, nie na zmianie modelu.