Lokalny model AI na RTX 3060 zamiast Jeva. Sprawdziłem, co da się zrobić w domu

AI i Automatyzacje • Łukasz Ślusarski Łukasz Ślusarski • • 11 min czytania
Lokalny model AI na RTX 3060 zamiast Jeva. Sprawdziłem, co da się zrobić w domu

We wrześniu napisałem, że surowa Laya na polskiej poczcie się nie broni. Na trudnym mailu Jev dał ryzyku odejścia 0,81, a Laya 0,01. Dodałem wtedy jedno zdanie: sens zaczyna się po dotrenowaniu. To zdanie było obietnicą bez pomiaru.

W listopadzie sprawdziłem je na domowym PC z kartą RTX 3060 12 GB. Dotrenowałem Layę na odpowiedziach Jeva, puściłem obok niej kilka lokalnych modeli językowych (Bielik, Qwen, Gemma) i dołożyłem trzecie zadanie: wybieranie, w co kliknąć na stronie. Krótko: na poczcie i w routingu dotrenowana Laya doszła do wyniku Jeva i odpowiada kilka razy szybciej. Na klikaniu nadal wygrywa Jev.

Co sprawdzałem

Trzy rodzaje decyzji, które często wracają w automatyzacjach.

Poczta. 60 polskich maili, do każdego kilka pytań: do którego działu, czy jest pilny, czy klient może odejść, czy autor jest zirytowany, czy mail wymaga odpowiedzi szefa. Razem 300 pytań.

Routing. 40 zadań, 160 pytań. Model decyduje, czy zadanie dotyka produkcji, czy jest nieodwracalne, czy wymaga dodatkowego kontekstu i jak mocny model AI do niego wziąć (tani, średni, mocny).

Klikanie. 50 stron, 62 pytania. Model dostaje listę elementów strony i cel („dodaj do koszyka”, „przejdź do logowania”) i ma wskazać właściwy element.

Wszystko po polsku: maile, zadania i prompty.

Pogadajmy

Zrobić to razem?

Wdrażam takie rzeczy w firmach na co dzień. Umów 30 minut, pogadamy konkretnie o Twoim przypadku. Bez prezentacji sprzedażowej.

Umów bezpłatną rozmowę →
Łukasz Ślusarski
Łukasz ŚlusarskiTwórca important.is

Metodologia

Sprzęt: PC z Windows i WSL, karta RTX 3060 12 GB. Modele lokalne przeszły każdy zestaw trzy razy, czas to mediana z trzech powtórzeń, trafność z pierwszego przebiegu. Jev szedł raz, z MacBooka, więc jego czas zawiera sieć.

Modele językowe nie generowały tekstu. Liczyłem prawdopodobieństwo każdej odpowiedzi z logitów i brałem najwyższe. To szybsze niż generowanie i nie wymaga parsowania odpowiedzi.

Maile i zadania są fikcyjne, firmy i osoby zmyślone. Poprawne odpowiedzi zapisaliśmy przy budowie zestawu, niezależnie od Jeva. Na stronach poprawny element wyznacza reguła (rola i nazwa elementu), która musi trafiać dokładnie w jeden element. Zbiór testowy jest rozłączny z treningowym.

Jedna rzecz, o której trzeba pamiętać przy czytaniu tabeli: zbiory są małe. Na poczcie jeden mail to 1,7 punktu procentowego. Różnice poniżej 3-4 pp traktuję jako szum.

Wyniki

ModelPocztaRoutingKlikanieCzas na decyzjęKoszt
Jev (API)88,7%88,1%95,2%ok. 250 ms (z siecią)ok. 0,02 USD / 1000 maili
Laya dotrenowana88,7%88,1%nie trenowana26-35 ms0 zł
gpt-5.4-mini (Stagehand)nie mierzonenie mierzone91,9%ok. 900 ms0,91 USD / 1000
Qwen3.5-4B81,3%78,1%87,1%302 ms (poczta, vLLM fp8)prąd
Gemma4-E4B (nf4)79,0%77,5%88,7%530-860 msprąd
Qwen3.5-9B (nf4)79,7%80,0%83,9%0,8-1,5 sprąd
Bielik-11B (nf4)79,7%86,9%71,0%2,3-3 sprąd
Kev-0.8B80,0%75,0%75,8%31-96 msprąd
Laya bez treningu56,3%45,0%9,7%36-63 ms0 zł

Laya na poczcie to wersja na polskim ModernBERT (600 przykładów), w routingu wersja wielojęzyczna (300 przykładów). Wynik Jeva i Layi wyszedł identyczny co do dziesiątej części procenta. To zbieg okoliczności na małym zbiorze, nie dowód, że modele są równe. Uczciwie mogę napisać tyle: na tych danych nie widać między nimi różnicy.

Wykres słupkowy: trafność na polskiej poczcie. Jev 88,7%, Laya dotrenowana 88,7%, Qwen3.5-4B 81,3%, Bielik-11B 79,7%, Gemma4-E4B 79,0%, Laya bez treningu 56,3%
Trafność na 60 polskich mailach (300 pytań). Dotrenowana Laya (pl-ModernBERT, 600 przykładów opisanych przez Jeva) dochodzi do wyniku Jeva. Pomiar własny, 17-18.11.2026, RTX 3060 12 GB.
Wolisz to zlecić? 30 minut, bez zobowiązań. Sprawdzimy czy to ma sens.
Zarezerwuj termin →

Dotrenowanie (fine-tuning) Layi: Jev jako nauczyciel

Laya to otwarty model od Convai na licencji Apache 2.0. Ma ten sam format decyzji co Jev (wybór z listy, tak/nie, ocena), a jej serwer odpowiada w protokole Jeva. Autor sam pisze w repozytorium, że gotowe checkpointy na zadaniach z konkretnej dziedziny są blisko losowania i trzeba je dotrenować. To zgadza się z moim wrześniowym pomiarem.

Zrobiłem to tak:

  1. Zebrałem przykłady maili i zadań, osobne od testowych.
  2. Puściłem je przez Jeva. 905 wywołań, jeden błąd. Zapisywałem pełny rozkład odpowiedzi, a nie samą wygraną opcję, żeby uczeń widział też, kiedy nauczyciel się waha.
  3. Dotrenowałem dwie bazy: wielojęzyczną Layę i polski pl-ModernBERT od OPI PIB z nową głowicą decyzyjną.

Jeden trening trwał od 8 do 17 minut na RTX 3060. W czasie pracy model zajmuje 0,9-1,5 GB pamięci karty, więc obok zostaje miejsce na inne rzeczy.

Krzywa danych dla wersji wielojęzycznej na poczcie:

Przykłady treningoweTrafność
0 (surowa)56,3%
15081,7%
30084,3%
60085,7%

Największy skok daje pierwsze 150 przykładów. Każde kolejne podwojenie to mniej więcej 2 pp. Polska baza na 600 przykładach dała 88,7%.

Najlepiej widać to na pytaniu o zirytowanie autora maila, czyli tym, na którym Laya poległa we wrześniu. Surowa: 20%. Po dotrenowaniu na polskiej bazie: 81,7%. Jev na tym samym pytaniu: 90%.

Są też pytania, na których uczeń wypadł lepiej od nauczyciela, na przykład „czy mail wymaga odpowiedzi szefa”: Jev 81,7%, Laya 91,7%. Przy 60 mailach nie wyciągam z tego wniosku, że Laya jest lepsza. Wyciągam taki, że nie jest gorsza.

Gdzie Laya dalej przegrywa

Wyodrębniłem trudne przypadki: niejednoznaczne maile, zadania na granicy dwóch kategorii. Tam Jev wygrywa:

Trudne przypadkiJevLaya dotrenowana
Poczta77,0%75,0%
Routing82,9%76,3%

W routingu jest jedno wyraźne miejsce: wybór, jak mocny model wziąć do zadania. Jev 90%, Laya 80-85%.

Dobra wiadomość jest inna. Po dotrenowaniu pewność Layi coś znaczy. Błąd kalibracji (ECE) spadł do 0,05-0,16, Jev ma 0,055-0,117. W praktyce: kiedy Laya mówi „jestem pewna na 95%”, zwykle ma rację, a kiedy waha się, warto zapytać kogoś mądrzejszego. Na tym opiera się kaskada, o której niżej.

Bielik, Qwen i Gemma lokalnie: sufit ok. 300 ms

Sprawdziłem też, czy zamiast małego modelu decyzyjnego nie wystarczy zwykły model językowy uruchomiony w domu. Bielik-11B, Qwen3.5 w dwóch rozmiarach, Gemma4-E4B, mały Kev i strands-decider.

Trafność wyszła w przedziale 77-81% na poczcie i routingu, czyli kilka punktów poniżej Jeva i dotrenowanej Layi. Bielik-11B dobrze poradził sobie z routingiem (86,9%), ale na klikaniu spadł do 71% i odpowiadał 2,3-3 sekundy.

Czas jest większym problemem niż trafność. RTX 3060 przy długim prompcie liczy głównie wczytanie tekstu, a nie odpowiedź. 2000 tokenów dla Qwen3.5-4B to ok. 800 ms samego wczytania. Po przejściu na vLLM z wagami fp8 czas Qwena na poczcie spadł z 658 do 302 ms. Niżej na tej karcie nie zszedłem. To 10-30 razy wolniej niż Laya.

Wykres słupkowy w skali logarytmicznej: czas jednej decyzji. Laya 26-35 ms, Jev ok. 250 ms, Qwen3.5-4B 302 ms, Gemma4-E4B 530-860 ms, Qwen3.5-9B 0,8-1,5 s, Bielik-11B 2,3-3 s
Mediana czasu jednej decyzji, długość słupków w skali logarytmicznej (Laya jest ok. 90 razy szybsza od Bielika). Jev mierzony z MacBooka, razem z siecią. Pomiar własny, 17-18.11.2026.

Wyjątek to Kev-0.8B: 31-96 ms i ok. 80% na poczcie. Najlepszy stosunek jakości do czasu wśród lokalnych modeli językowych, ale dotrenowana Laya i tak jest szybsza i dokładniejsza.

Wniosek: do decyzji z listy opcji lokalny model językowy na RTX 3060 przegrywa z małym, dotrenowanym klasyfikatorem. Ma sens, gdy decyzja wymaga dłuższego rozumowania albo tekstu w odpowiedzi.

Klikanie po stronach w Stagehand

Tu zestawiłem dwie rzeczy: test wyboru elementu (50 stron) i osobny test na żywych stronach z Playwright.

W teście wyboru elementu Jev trafił 95,2%, gpt-5.4-mini 91,9%. Najlepsze lokalne modele, Gemma i Qwen, zrobiły ok. 87-89%.

Gotowe checkpointy Layi do przeglądarki, dostępne na Hugging Face, wskazały właściwy element w 46-54% przypadków. Właściwy element był co prawda w ich pierwszej piątce w 80% przypadków, więc model „wie, gdzie szukać”, ale nie umie wybrać. Te checkpointy trenowano głównie na angielskich stronach. Podejrzewam, że to główna przyczyna, ale tego nie sprawdziłem.

Drugi test: 28 zadań na stronach (17 po polsku, 11 po angielsku, Wikipedia, sklep demonstracyjny, formularze testowe), każde dwa razy. Jev wybierał element z listy elementów strony, którą zwraca snapshot() w Stagehand, a kliknięcie wykonywał Playwright. Porównanie z gpt-5.4-mini, który w Stagehand robi to samo przez act():

Jev (z zapasowym modelem)gpt-5.4-mini (Stagehand act)
Udane zadania55 z 5656 z 56
Mediana czasu461 ms2462 ms
Koszt na 1000 akcji0,394 USD10,846 USD
Dwa wykresy słupkowe: mediana czasu akcji Jev 0,46 s, gpt-5.4-mini 2,46 s; koszt 1000 akcji Jev 0,39 USD, gpt-5.4-mini 10,85 USD
Klikanie przez Stagehand na żywych stronach: 28 zadań, po 2 przebiegi. Udane: Jev 55 z 56, gpt-5.4-mini 56 z 56. Pomiar własny, 18.11.2026.

Jedyna porażka Jeva to logowanie na Wikipedii, które przekierowuje przez osobną domenę weryfikacji. Zapasowy model włączył się w 1,8% akcji.

Najwięcej dał zapisany przepis. Na publicznym formularzu testowym z dwoma polami pierwsze przejście z Jevem trwało 0,65 s. Dla porównania: we wcześniejszym pomiarze z gpt podobny formularz z dwoma polami (logowanie na innej stronie) zajmował 5,4 s. Kolejne przejście z zapisanego przepisu trwało 0,035 s, bez żadnego modelu. Model jest potrzebny tylko wtedy, gdy strona się zmieni.

Podobny wzorzec (Jev wybiera, Playwright klika) pokazują playjev i jev-ultrafast od zespołu browser-use. To ich projekty i ich wyniki, ja ich nie mierzyłem.

Kaskada: co bym dziś wdrożył

Poczta. Laya na polskiej bazie lokalnie. Gdy jej pewność spada poniżej progu, pytanie idzie do Jeva. Większość maili kosztuje wtedy zero i trwa kilkadziesiąt milisekund, a trudne przypadki dostają lepszy model.

Routing. To samo: Laya zamiast Jeva, Jev jako drugi głos. Zmiana w kodzie jest mała, bo serwer Layi (laya-serve) mówi protokołem Jeva i klient zmienia tylko baseUrl.

Klikanie. Jev wybiera element z listy elementów strony, Playwright klika, powtarzalne czynności lądują w przepisie. Lokalnie na razie nic tu nie zastąpi Jeva.

Przy gpt-5.4-mini kaskada nie działa: jego pewność nie odróżnia dobrych odpowiedzi od złych, więc nie ma sensownego progu.

Czego to nie rozwiąże

  • Uczeń dziedziczy błędy nauczyciela. Etykiety treningowe pochodzą z Jeva. Jeśli Jev systematycznie myli jakiś typ maila, Laya nauczy się tego samego błędu. Zbiór testowy ma własny wzorzec, treningowy już nie.
  • Małe zbiory. 60 maili, 40 zadań, 50 stron. Przedział niepewności to ok. ±4 pp. Na innych danych, z innej branży, wynik może wyjść inny.
  • Trudne przypadki. Na nich Laya przegrywa 2-7 pp. Bez kaskady to realne pomyłki.
  • Klikanie lokalnie. Laya do przeglądarki nie jest dotrenowana na polskich stronach. Plan jest gotowy (300-400 polskich stron, ok. 3000 celów, kilka godzin pracy karty), ale go nie wykonałem.
  • Sprzęt. RTX 3060 wystarcza do Layi z zapasem. Do modeli językowych 9-11B jest na granicy, Kev-4B zajął całe 12 GB pamięci.
  • Utrzymanie. Lokalny model to serwer, który trzeba pilnować. Jev to jedno wywołanie API.

Jak zacząć

Jeśli masz kartę z 12 GB i chcesz to powtórzyć:

  1. Zbierz 150-600 przykładów z własnych danych (maile, zgłoszenia, zadania) i zapisz pytania w formacie decyzji Jeva.
  2. Opisz je Jevem albo ręcznie. Moje 905 wywołań kosztowało ok. 0,02 USD.
  3. Dotrenuj Layę według instrukcji z repozytorium:
pip install laya
laya-train --data train.jsonl --base multilingual --out ./ckpt \
  --loss soft-ce --shuffle-options --epochs 8 --micro-batch 8 --grad-accum 4
  1. Sprawdź wynik na osobnym zbiorze, którego model nie widział.
  2. Uruchom laya-serve i w kliencie Jeva podmień baseUrl. Dotrenowany checkpoint podpinasz zmienną LAYA_EXTRA_MODELS (opis API).

Jeśli dopiero wybierasz, którego modelu użyć do jakiej pracy, pomocne może być nasze zestawienie modeli AI. Jeśli decyzje mają trafić do automatyzacji, przeczytaj też jak budujemy automatyzacje w n8n.

FAQ

Czy dotrenowana Laya jest lepsza od Jeva?
Na moich danych z poczty i routingu wyszła tak samo dobra i ok. 8 razy szybsza. Na trudnych przypadkach przegrywa o 2-7 pp. Na klikaniu nie była trenowana.

Ile kosztuje dotrenowanie?
Na domowym PC: prąd i kilkanaście minut pracy karty na jeden trening. Etykiety z Jeva to 905 wywołań, ok. 0,02 USD.

Czy Bielik nadaje się do takich decyzji?
W routingu zrobił 86,9%, blisko Jeva. Na poczcie 79,7%, na klikaniu 71%. Odpowiada 2,3-3 s na RTX 3060, więc do szybkich decyzji jest za wolny.

Czy mogę użyć gotowej Layi bez treningu?
Na polskich danych nie polecam. Bez treningu: 56,3% na poczcie, 45% w routingu, 9,7% na klikaniu.

Jaka karta graficzna do AI wystarczy? Czy RTX 3060 da radę?
Do Layi tak, zajmuje 0,9-1,5 GB. Do lokalnych modeli językowych wystarczy, ale nie zejdziesz poniżej ok. 300 ms na decyzję.

Czy wystarczy sam Jev, bez lokalnego modelu?
Tak, jeśli wolumen jest mały, a opóźnienie sieci nie przeszkadza. Lokalna Laya ma sens przy dużej liczbie decyzji, danych, których nie chcesz wysyłać na zewnątrz, albo gdy liczą się milisekundy.

Źródła

Nota o pomiarach

  • Poczta i routing, Laya dotrenowana: 17.11.2026. Klikanie i porównanie z gpt-5.4-mini: 18.11.2026. Pomiary lokalnych modeli językowych: 17-18.11.2026.
  • Sprzęt lokalny: PC z Windows i WSL, NVIDIA RTX 3060 12 GB. Część pomiarów Qwen szła przy obciążonym procesorze przez inne testy, więc ich czasy mogą być zawyżone.
  • Modele lokalne: 3 przebiegi, czas jako mediana, trafność z pierwszego przebiegu. Jev: 1 przebieg z MacBooka, czas zawiera sieć. Nauczyciel: Jev w wersji jev-1.14.0.
  • Laya w wersji 0.4.35. Gotowe checkpointy do przeglądarki pochodzą z Hugging Face, nie od Convai.
  • Zbiory: poczta 60 maili i 300 pytań, routing 40 zadań i 160 pytań, klikanie 50 stron i 62 pytania. Test na żywych stronach: 28 zadań po 2 razy.
  • Koszt Jeva na poczcie i przy etykietach to szacunek z wielkości zapytań (ok. 500 tokenów na mail, 0,042 USD za milion tokenów wejściowych). Wychodzi tyle samo co w pomiarze z września. Koszt na żywych stronach (0,394 USD na 1000 akcji) jest wyższy, bo lista elementów strony bywa długa.
raz na jakiś czas

Zostań w pętli

Nowe artykuły, narzędzia i case study prosto na maila. Bez spamu, bez sprzedaży.

To pole jest używane do walidacji i powinno pozostać niezmienione.