
AI i Automatyzacje

We wrześniu napisałem, że surowa Laya na polskiej poczcie się nie broni. Na trudnym mailu Jev dał ryzyku odejścia 0,81, a Laya 0,01. Dodałem wtedy jedno zdanie: sens zaczyna się po dotrenowaniu. To zdanie było obietnicą bez pomiaru.
W listopadzie sprawdziłem je na domowym PC z kartą RTX 3060 12 GB. Dotrenowałem Layę na odpowiedziach Jeva, puściłem obok niej kilka lokalnych modeli językowych (Bielik, Qwen, Gemma) i dołożyłem trzecie zadanie: wybieranie, w co kliknąć na stronie. Krótko: na poczcie i w routingu dotrenowana Laya doszła do wyniku Jeva i odpowiada kilka razy szybciej. Na klikaniu nadal wygrywa Jev.
Trzy rodzaje decyzji, które często wracają w automatyzacjach.
Poczta. 60 polskich maili, do każdego kilka pytań: do którego działu, czy jest pilny, czy klient może odejść, czy autor jest zirytowany, czy mail wymaga odpowiedzi szefa. Razem 300 pytań.
Routing. 40 zadań, 160 pytań. Model decyduje, czy zadanie dotyka produkcji, czy jest nieodwracalne, czy wymaga dodatkowego kontekstu i jak mocny model AI do niego wziąć (tani, średni, mocny).
Klikanie. 50 stron, 62 pytania. Model dostaje listę elementów strony i cel („dodaj do koszyka”, „przejdź do logowania”) i ma wskazać właściwy element.
Wszystko po polsku: maile, zadania i prompty.
Zrobić to razem?
Wdrażam takie rzeczy w firmach na co dzień. Umów 30 minut, pogadamy konkretnie o Twoim przypadku. Bez prezentacji sprzedażowej.
Umów bezpłatną rozmowę →
Sprzęt: PC z Windows i WSL, karta RTX 3060 12 GB. Modele lokalne przeszły każdy zestaw trzy razy, czas to mediana z trzech powtórzeń, trafność z pierwszego przebiegu. Jev szedł raz, z MacBooka, więc jego czas zawiera sieć.
Modele językowe nie generowały tekstu. Liczyłem prawdopodobieństwo każdej odpowiedzi z logitów i brałem najwyższe. To szybsze niż generowanie i nie wymaga parsowania odpowiedzi.
Maile i zadania są fikcyjne, firmy i osoby zmyślone. Poprawne odpowiedzi zapisaliśmy przy budowie zestawu, niezależnie od Jeva. Na stronach poprawny element wyznacza reguła (rola i nazwa elementu), która musi trafiać dokładnie w jeden element. Zbiór testowy jest rozłączny z treningowym.
Jedna rzecz, o której trzeba pamiętać przy czytaniu tabeli: zbiory są małe. Na poczcie jeden mail to 1,7 punktu procentowego. Różnice poniżej 3-4 pp traktuję jako szum.
| Model | Poczta | Routing | Klikanie | Czas na decyzję | Koszt |
|---|---|---|---|---|---|
| Jev (API) | 88,7% | 88,1% | 95,2% | ok. 250 ms (z siecią) | ok. 0,02 USD / 1000 maili |
| Laya dotrenowana | 88,7% | 88,1% | nie trenowana | 26-35 ms | 0 zł |
| gpt-5.4-mini (Stagehand) | nie mierzone | nie mierzone | 91,9% | ok. 900 ms | 0,91 USD / 1000 |
| Qwen3.5-4B | 81,3% | 78,1% | 87,1% | 302 ms (poczta, vLLM fp8) | prąd |
| Gemma4-E4B (nf4) | 79,0% | 77,5% | 88,7% | 530-860 ms | prąd |
| Qwen3.5-9B (nf4) | 79,7% | 80,0% | 83,9% | 0,8-1,5 s | prąd |
| Bielik-11B (nf4) | 79,7% | 86,9% | 71,0% | 2,3-3 s | prąd |
| Kev-0.8B | 80,0% | 75,0% | 75,8% | 31-96 ms | prąd |
| Laya bez treningu | 56,3% | 45,0% | 9,7% | 36-63 ms | 0 zł |
Laya na poczcie to wersja na polskim ModernBERT (600 przykładów), w routingu wersja wielojęzyczna (300 przykładów). Wynik Jeva i Layi wyszedł identyczny co do dziesiątej części procenta. To zbieg okoliczności na małym zbiorze, nie dowód, że modele są równe. Uczciwie mogę napisać tyle: na tych danych nie widać między nimi różnicy.

Laya to otwarty model od Convai na licencji Apache 2.0. Ma ten sam format decyzji co Jev (wybór z listy, tak/nie, ocena), a jej serwer odpowiada w protokole Jeva. Autor sam pisze w repozytorium, że gotowe checkpointy na zadaniach z konkretnej dziedziny są blisko losowania i trzeba je dotrenować. To zgadza się z moim wrześniowym pomiarem.
Zrobiłem to tak:
Jeden trening trwał od 8 do 17 minut na RTX 3060. W czasie pracy model zajmuje 0,9-1,5 GB pamięci karty, więc obok zostaje miejsce na inne rzeczy.
Krzywa danych dla wersji wielojęzycznej na poczcie:
| Przykłady treningowe | Trafność |
|---|---|
| 0 (surowa) | 56,3% |
| 150 | 81,7% |
| 300 | 84,3% |
| 600 | 85,7% |
Największy skok daje pierwsze 150 przykładów. Każde kolejne podwojenie to mniej więcej 2 pp. Polska baza na 600 przykładach dała 88,7%.
Najlepiej widać to na pytaniu o zirytowanie autora maila, czyli tym, na którym Laya poległa we wrześniu. Surowa: 20%. Po dotrenowaniu na polskiej bazie: 81,7%. Jev na tym samym pytaniu: 90%.
Są też pytania, na których uczeń wypadł lepiej od nauczyciela, na przykład „czy mail wymaga odpowiedzi szefa”: Jev 81,7%, Laya 91,7%. Przy 60 mailach nie wyciągam z tego wniosku, że Laya jest lepsza. Wyciągam taki, że nie jest gorsza.
Wyodrębniłem trudne przypadki: niejednoznaczne maile, zadania na granicy dwóch kategorii. Tam Jev wygrywa:
| Trudne przypadki | Jev | Laya dotrenowana |
|---|---|---|
| Poczta | 77,0% | 75,0% |
| Routing | 82,9% | 76,3% |
W routingu jest jedno wyraźne miejsce: wybór, jak mocny model wziąć do zadania. Jev 90%, Laya 80-85%.
Dobra wiadomość jest inna. Po dotrenowaniu pewność Layi coś znaczy. Błąd kalibracji (ECE) spadł do 0,05-0,16, Jev ma 0,055-0,117. W praktyce: kiedy Laya mówi „jestem pewna na 95%”, zwykle ma rację, a kiedy waha się, warto zapytać kogoś mądrzejszego. Na tym opiera się kaskada, o której niżej.
Sprawdziłem też, czy zamiast małego modelu decyzyjnego nie wystarczy zwykły model językowy uruchomiony w domu. Bielik-11B, Qwen3.5 w dwóch rozmiarach, Gemma4-E4B, mały Kev i strands-decider.
Trafność wyszła w przedziale 77-81% na poczcie i routingu, czyli kilka punktów poniżej Jeva i dotrenowanej Layi. Bielik-11B dobrze poradził sobie z routingiem (86,9%), ale na klikaniu spadł do 71% i odpowiadał 2,3-3 sekundy.
Czas jest większym problemem niż trafność. RTX 3060 przy długim prompcie liczy głównie wczytanie tekstu, a nie odpowiedź. 2000 tokenów dla Qwen3.5-4B to ok. 800 ms samego wczytania. Po przejściu na vLLM z wagami fp8 czas Qwena na poczcie spadł z 658 do 302 ms. Niżej na tej karcie nie zszedłem. To 10-30 razy wolniej niż Laya.

Wyjątek to Kev-0.8B: 31-96 ms i ok. 80% na poczcie. Najlepszy stosunek jakości do czasu wśród lokalnych modeli językowych, ale dotrenowana Laya i tak jest szybsza i dokładniejsza.
Wniosek: do decyzji z listy opcji lokalny model językowy na RTX 3060 przegrywa z małym, dotrenowanym klasyfikatorem. Ma sens, gdy decyzja wymaga dłuższego rozumowania albo tekstu w odpowiedzi.
Tu zestawiłem dwie rzeczy: test wyboru elementu (50 stron) i osobny test na żywych stronach z Playwright.
W teście wyboru elementu Jev trafił 95,2%, gpt-5.4-mini 91,9%. Najlepsze lokalne modele, Gemma i Qwen, zrobiły ok. 87-89%.
Gotowe checkpointy Layi do przeglądarki, dostępne na Hugging Face, wskazały właściwy element w 46-54% przypadków. Właściwy element był co prawda w ich pierwszej piątce w 80% przypadków, więc model „wie, gdzie szukać”, ale nie umie wybrać. Te checkpointy trenowano głównie na angielskich stronach. Podejrzewam, że to główna przyczyna, ale tego nie sprawdziłem.
Drugi test: 28 zadań na stronach (17 po polsku, 11 po angielsku, Wikipedia, sklep demonstracyjny, formularze testowe), każde dwa razy. Jev wybierał element z listy elementów strony, którą zwraca snapshot() w Stagehand, a kliknięcie wykonywał Playwright. Porównanie z gpt-5.4-mini, który w Stagehand robi to samo przez act():
| Jev (z zapasowym modelem) | gpt-5.4-mini (Stagehand act) | |
|---|---|---|
| Udane zadania | 55 z 56 | 56 z 56 |
| Mediana czasu | 461 ms | 2462 ms |
| Koszt na 1000 akcji | 0,394 USD | 10,846 USD |

Jedyna porażka Jeva to logowanie na Wikipedii, które przekierowuje przez osobną domenę weryfikacji. Zapasowy model włączył się w 1,8% akcji.
Najwięcej dał zapisany przepis. Na publicznym formularzu testowym z dwoma polami pierwsze przejście z Jevem trwało 0,65 s. Dla porównania: we wcześniejszym pomiarze z gpt podobny formularz z dwoma polami (logowanie na innej stronie) zajmował 5,4 s. Kolejne przejście z zapisanego przepisu trwało 0,035 s, bez żadnego modelu. Model jest potrzebny tylko wtedy, gdy strona się zmieni.
Podobny wzorzec (Jev wybiera, Playwright klika) pokazują playjev i jev-ultrafast od zespołu browser-use. To ich projekty i ich wyniki, ja ich nie mierzyłem.
Poczta. Laya na polskiej bazie lokalnie. Gdy jej pewność spada poniżej progu, pytanie idzie do Jeva. Większość maili kosztuje wtedy zero i trwa kilkadziesiąt milisekund, a trudne przypadki dostają lepszy model.
Routing. To samo: Laya zamiast Jeva, Jev jako drugi głos. Zmiana w kodzie jest mała, bo serwer Layi (laya-serve) mówi protokołem Jeva i klient zmienia tylko baseUrl.
Klikanie. Jev wybiera element z listy elementów strony, Playwright klika, powtarzalne czynności lądują w przepisie. Lokalnie na razie nic tu nie zastąpi Jeva.
Przy gpt-5.4-mini kaskada nie działa: jego pewność nie odróżnia dobrych odpowiedzi od złych, więc nie ma sensownego progu.
Jeśli masz kartę z 12 GB i chcesz to powtórzyć:
pip install laya
laya-train --data train.jsonl --base multilingual --out ./ckpt \
--loss soft-ce --shuffle-options --epochs 8 --micro-batch 8 --grad-accum 4 laya-serve i w kliencie Jeva podmień baseUrl. Dotrenowany checkpoint podpinasz zmienną LAYA_EXTRA_MODELS (opis API).Jeśli dopiero wybierasz, którego modelu użyć do jakiej pracy, pomocne może być nasze zestawienie modeli AI. Jeśli decyzje mają trafić do automatyzacji, przeczytaj też jak budujemy automatyzacje w n8n.
Czy dotrenowana Laya jest lepsza od Jeva?
Na moich danych z poczty i routingu wyszła tak samo dobra i ok. 8 razy szybsza. Na trudnych przypadkach przegrywa o 2-7 pp. Na klikaniu nie była trenowana.
Ile kosztuje dotrenowanie?
Na domowym PC: prąd i kilkanaście minut pracy karty na jeden trening. Etykiety z Jeva to 905 wywołań, ok. 0,02 USD.
Czy Bielik nadaje się do takich decyzji?
W routingu zrobił 86,9%, blisko Jeva. Na poczcie 79,7%, na klikaniu 71%. Odpowiada 2,3-3 s na RTX 3060, więc do szybkich decyzji jest za wolny.
Czy mogę użyć gotowej Layi bez treningu?
Na polskich danych nie polecam. Bez treningu: 56,3% na poczcie, 45% w routingu, 9,7% na klikaniu.
Jaka karta graficzna do AI wystarczy? Czy RTX 3060 da radę?
Do Layi tak, zajmuje 0,9-1,5 GB. Do lokalnych modeli językowych wystarczy, ale nie zejdziesz poniżej ok. 300 ms na decyzję.
Czy wystarczy sam Jev, bez lokalnego modelu?
Tak, jeśli wolumen jest mały, a opóźnienie sieci nie przeszkadza. Lokalna Laya ma sens przy dużej liczbie decyzji, danych, których nie chcesz wysyłać na zewnątrz, albo gdy liczą się milisekundy.
Zostań w pętli
Nowe artykuły, narzędzia i case study prosto na maila. Bez spamu, bez sprzedaży.