AI i Automatyzacje
Ten sam model AI, połowa tokenów. Jak program wokół modelu zjada limit planu AI do kodu
Płacę za kilka planów AI do programowania naraz: GLM, Kimi, ChatGPT z Codexem i Claude. Każdy ma swój limit, okno pięciogodzinne, limit tygodniowy albo licznik zapytań. I każdy w pewnym momencie mówi to samo: wróć za trzy godziny.
Długo myślałem, że zużycie zależy od modelu. Wybierasz tańszy albo mocniejszy (pisałem o tym, który model AI do czego) i tyle. Okazuje się, że nie do końca. Ten sam model w innym programie potrafi zjeść o połowę mniej tokenów na tym samym zadaniu.
Empryo, nowe narzędzie do pracy z agentami AI w terminalu, wygrzebał Artem, nasz specjalista od programowania. W important.is cały zespół stara się używać AI z głową i sprawdzać, co z tego wychodzi, więc zamiast wierzyć na słowo, zmierzyłem to. Poniżej co zrobiłem, jakie wyszły liczby i gdzie się to nie opłaca.
Wyniki w skrócie
| Model | Porównanie | Tokeny wejścia | Trafność | Czas |
|---|---|---|---|---|
| GLM 5.3 | Empryo vs Claude Code | −51% | 19/19 vs 17/19 | 24 min vs 38 min |
| Kimi (myślenie max) | Empryo vs kimi CLI | −47% | 9/9 w obu | podobny |
| Kimi (myślenie high) | Empryo vs kimi CLI | −28% | 9/9 w obu | 26 min vs 15 min |
| GPT-6.1 | Empryo vs Codex CLI | −17% | 10/10 w obu | ok. 3 razy dłużej |
Pomiar z 2 listopada 2026 r., Empryo w wersji 3.12.2 beta, 113 przebiegów na jednym repozytorium.
Pogadajmy
Zrobić to razem?
Wdrażam takie rzeczy w firmach na co dzień. Umów 30 minut, pogadamy konkretnie o Twoim przypadku. Bez prezentacji sprzedażowej.
Umów bezpłatną rozmowę →
Łukasz ŚlusarskiTwórca important.is
Co to jest harness i dlaczego zjada tokeny?
Harness to program, który rozmawia z modelem AI w Twoim imieniu: Claude Code, Codex CLI, kimi CLI albo Empryo (wcześniej testowaliśmy też agenta Pi obok Claude Code). Model jest silnikiem, a harness decyduje, co mu wysłać przy każdym kroku: ile plików, ile historii rozmowy, jakie narzędzia opisać.
Agent przy jednym zadaniu robi kilkadziesiąt kroków. Przy każdym kroku harness wysyła wszystko jeszcze raz. Jeśli za każdym razem dorzuca pół repozytorium „na wszelki wypadek”, limit znika szybko, nawet gdy samo zadanie jest proste. Dlatego dwa programy z tym samym modelem i tym samym zadaniem mogą zużyć zupełnie inną liczbę tokenów.
Empryo trzyma indeks repozytorium (katalog .empryo/ w projekcie) i z niego dobiera kontekst. Stąd moja hipoteza: mniej wysyłanego tekstu przy tej samej jakości.
Jak wyglądał test?
Ten sam zestaw zadań na kopii jednego repozytorium: poprawki błędów i pytania o kod. Każde zadanie kilka razy, bo agent za każdym razem idzie trochę inną drogą i pojedynczy przebieg nic nie mówi. Trafność sprawdzał skrypt, nie ja na oko.
Tokeny liczyło lokalne proxy, przez które szedł ruch do API (GLM i Kimi). Przy Codexie proxy się nie da wpiąć, więc tam liczby pochodzą z raportu samego narzędzia.
Przed testem ustaliłem próg: jeśli oszczędność wyjdzie poniżej 25%, nie zmieniam sposobu pracy. Zmiana przyzwyczajeń też kosztuje.
Testy puszczał zresztą mój agent w Claude Code (agentów trzymam w terminalu, podobnie jak opisywałem przy Herdr). Ja ustalałem zasady i czytałem wyniki.
Wolisz to zlecić? 30 minut, bez zobowiązań. Sprawdzimy czy to ma sens.
Zarezerwuj termin →Czy Empryo oszczędza tokeny z GLM 5.3?
Tak, i to najwięcej ze wszystkich testów. 57 przebiegów, trzy warianty na tym samym modelu: zwykły Claude Code, Claude Code z Graphify (narzędzie, które buduje graf wiedzy o kodzie) i Empryo.
- Claude Code: 17 z 19 zadań dobrze, 8,2 mln tokenów wejścia, 38 minut.
- Claude Code z Graphify: 19 z 19, 5,3 mln tokenów wejścia.
- Empryo: 19 z 19, 4,0 mln tokenów wejścia, 24 minuty.
Empryo zużył o 51% mniej tokenów wejścia i o 52% mniej wyjścia niż Claude Code. Był też szybszy i rozwiązał dwa zadania, na których Claude Code się wyłożył.
Graphify wyglądał na papierze dobrze (minus 35%), ale prawie cała różnica brała się z jednego zadania, na którym zwykły Claude Code poległ. Bez niego zostawało minus 9%. Poniżej progu, więc Graphify odinstalowałem.
Czy Empryo oszczędza tokeny z Kimi?
Tak, ale wynik zależy od tego, jak mocno model ma myśleć. Po 9 przebiegów na wariant, wszystkie zadania rozwiązane dobrze w obu programach.
Na najwyższym poziomie myślenia (max) Empryo zużył o 47% mniej tokenów wejścia i o 22% mniej wyjścia niż kimi CLI, w podobnym czasie. Na poziomie high, który ustawiłem jako domyślny, różnica zmalała do 28% na wejściu, za to wyjście wzrosło o 12%, a cała seria trwała 26 minut zamiast 15. Nadal powyżej progu, ale już nie połowa.
Przy okazji wyszła rzecz, której nie wiedziałem. Kimi ma licznik „zapytań” w oknie pięciogodzinnym. Myślałem, że liczy wywołania modelu. Nie liczy: około 250 wywołań podniosło go o mniej więcej 50. Czyli licznik mierzy zużycie, a mniej tokenów przekłada się wprost na więcej pracy w tym samym limicie.
Kiedy Empryo się nie opłaca? Codex
GPT-6.1 z planu ChatGPT, po 10 przebiegów, wszystko dobrze w obu programach.
Empryo zużył o 17% mniej tokenów wejścia. Tylko że był około trzy razy wolniejszy: 14 minut na cały zestaw zamiast 5. Jedno zadanie trwało ponad trzy minuty zamiast 25 sekund.
17% nie przechodzi progu, a trzy razy dłuższe czekanie zjada więcej, niż oszczędza. Codex zostaje u mnie w swoim własnym narzędziu.
Czego ten test nie mówi
- Zestaw zadań był mały i z jednego repozytorium. Na innym projekcie liczby mogą wyjść inne.
- Przy Codexie liczby są z raportu narzędzia, nie z mojego pomiaru.
- Empryo to wersja beta (3.12.2). Czasem dubluje tekst odpowiedzi, raz w trybie planowania próbował uruchamiać polecenia (niczego nie zapisał).
- Kimi i Empryo ustawiają „wysiłek myślenia” modelu trochę inaczej, więc to porównanie nie jest idealnie jeden do jednego.
- Antigravity nie testowałem. Za automatyzację tego narzędzia Google potrafi zablokować konto, a nie chciałem ryzykować.
Jak sprawdzić, czy Twoje narzędzie AI nie marnuje tokenów?
Jeśli płacisz za plan AI do kodu i regularnie dobijasz do limitu, sprawdź najpierw program, a dopiero potem dokupuj wyższy plan.
- Weź 3 do 5 zadań, które robisz na co dzień (poprawka błędu, pytanie o kod, mała funkcja).
- Puść każde kilka razy w dwóch programach z tym samym modelem.
- Porównaj licznik limitu przed i po albo zużycie tokenów z raportu narzędzia.
- Sprawdź, czy wynik jest tak samo dobry. Oszczędność przy gorszej trafności nic nie daje.
- Ustal próg przed testem, np. 25%, żeby nie zmieniać nawyków dla kilku procent.
Co z tego zrobiłem
Zadania, które oddaję GLM i Kimi, idą teraz przez Empryo. Mam własne skrypty do delegowania pracy tym modelom i dodałem w nich przełącznik silnika, więc stary sposób zostaje pod ręką, gdyby coś się zepsuło. Gdy liczy się czas, a nie limit, Kimi puszczam po staremu.
Najczęstsze pytania
Czym jest Empryo?
Empryo to program do pracy z agentami AI w terminalu, który prowadzi wybrany model (np. GLM, Kimi, GPT) przy zadaniach programistycznych. Indeksuje repozytorium i dobiera modelowi tylko potrzebny kontekst. W moim teście był w wersji 3.12.2 beta.
Czy ten sam model w innym programie daje inne wyniki?
Trafność w moim teście była taka sama albo lepsza, ale zużycie tokenów różniło się nawet o połowę. GLM 5.3 w Empryo rozwiązał 19 z 19 zadań, w Claude Code 17 z 19, zużywając o 51% mniej tokenów wejścia.
Czy warto przejść na Empryo z Codexa?
Na moich zadaniach nie. Oszczędność wyszła 17%, a praca trwała około trzy razy dłużej. Codex CLI jest dobrze dopasowany do swoich modeli.
W important.is używamy agentów AI przy stronach i integracjach na co dzień, więc każdy taki test przekłada się u nas na więcej pracy w tych samych abonamentach. Jeśli robił_ś podobny pomiar, chętnie porównam liczby.
raz na jakiś czas
Zostań w pętli
Nowe artykuły, narzędzia i case study prosto na maila. Bez spamu, bez sprzedaży.
