Twoja strona może być niewidoczna dla ChatGPT i nikt u Ciebie tego nie wybrał

Wczoraj sprawdziliśmy stronę nowego partnera. ChatGPT dostawał od niej odmowę.

Nie „nie znalazł”. Odmowę. Kod 403, ten sam, który dostaje ktoś próbujący wejść tam, gdzie nie wolno. Od ośmiu miesięcy.

Da się to sprawdzić jedną linijką. Pyta ona Twoją stronę, czy wpuści bota, którym ChatGPT czyta internet:

curl -sIL -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot/1.0" https://twojadomena.pl/

Jeśli wyszło 200, jest dobrze. Jeśli 403, ChatGPT nie może pobrać Twojej strony i nie poda jej jako źródła.

Nie wiesz, gdzie to wkleić? Wyślij tę linijkę osobie, która opiekuje się Waszą stroną, i poproś o wynik. Na Windowsie trzeba to uruchomić w wierszu poleceń, nie w PowerShellu, bo tam curl znaczy co innego.

Nikt tego nie wybrał

Plik robots.txt mówił coś przeciwnego niż konfiguracja. Stało w nim search=yes, czyli zgoda na czytanie strony przez wyszukiwarki, w tym te oparte na AI. Blokowane tylko pięć botów zbierających dane do trenowania modeli.

Intencja była jasna. Konfiguracja robiła co innego.

Blokada nie siedziała na serwerze. Serwer oddawał tym botom normalną stronę. Blokował Cloudflare, warstwę wyżej, zanim żądanie w ogóle doszło do WordPressa. I nikt tego nie włączył. Cloudflare od lipca 2025 blokuje boty AI domyślnie na nowo dodanych domenach, a nasza trafiła tam w grudniu.

To tak, jakby ochroniarz w Twoim sklepie zawracał część ludzi od drzwi. Nie dlatego, że mu kazał_ś. Dlatego, że tak był ustawiony w dniu, w którym zaczął pracę, a Ty nigdy nie stał_ś przy wejściu i tego nie widział_ś.

Pogadajmy

Zrobić to razem?

Wdrażam takie rzeczy w firmach na co dzień. Umów 30 minut, pogadamy konkretnie o Twoim przypadku. Bez prezentacji sprzedażowej.

Umów bezpłatną rozmowę →

Łukasz ŚlusarskiTwórca important.is

Crawler crawlerowi nierówny

Crawler to program, którym firma stojąca za modelem czyta strony. Dzielą się na dwie grupy i każda robi co innego.

Zbierające dane do trenowania. GPTBot od OpenAI, CCBot od Common Crawl, Bytespider od ByteDance. Twoja treść wchodzi do modelu i tyle. Nie dostajesz linku ani wzmianki.

Obsługujące wyszukiwanie. OAI-SearchBot i ChatGPT-User po stronie ChatGPT, Claude-SearchBot i Claude-User po stronie Claude, PerplexityBot po stronie Perplexity. Jedne budują indeks, drugie pobierają stronę w chwili, gdy ktoś zadaje pytanie. To przez nie ktokolwiek może kliknąć w Twoją stronę z poziomu czatu.

Przełącznik „zablokuj boty AI” nie robi tego rozróżnienia. Blokuje jedne i drugie. Chcesz chronić treść przed trenowaniem, a przy okazji znikasz z wyszukiwarek.

Ile ta widoczność jest warta

Tu trzeba uważać, bo krąży dużo liczb bez pokrycia, a większość publikują firmy sprzedające narzędzia do widoczności w AI.

Co wiadomo w miarę pewnie: ruch przychodzący z czatów to dziś około procenta całego ruchu w sieci. Jednak warto pamiętać, że ta liczba ciągle rośnie z dnia na dzień. Do tego zdecydowana większość rozmów z modelem kończy się bez kliknięcia w cokolwiek, bo człowiek dostaje odpowiedź na miejscu i idzie dalej.

Brzmi jak argument, żeby machnąć ręką.

Tylko że ten ruch zachowuje się inaczej niż reszta. Dane, które krążą, pokazują wyraźnie wyższą konwersję z czatów niż z wyników organicznych Google, czasem kilkukrotnie. Traktuj to jako kierunek, nie jako pomiar, bo pochodzi od firm zainteresowanych taką tezą. Mechanizm jest jednak sensowny. Osoba, która trafia do Ciebie z czatu, przeszła już etap porównywania. Nie szuka, tylko sprawdza konkretną rekomendację.

Trochę jak polecenia od znajomych. Mało ich, a domykają się najlepiej.

Jeszcze jedno, o czym łatwo zapomnieć. To nie jest tylko kwestia ruchu z linku. Jeśli model w ogóle nie może przeczytać Twojej strony, nie wymieni Cię też w odpowiedzi, w której nikt nigdzie nie kliknie. A ktoś, kto pyta model o wykonawcę i dostaje trzy nazwy, zapamiętuje te trzy nazwy.

Kiedy blokowanie ma sens

Blokowanie crawlerów AI to strategia sensowna dla wąskiej grupy. Problem w tym, że stosuje ją domyślnie prawie każdy, bo tak przyszło z pudełka.

Poniżej nasza ocena, nie dane.

Usługi dla firm. Widoczność wygrywa i nie ma nad czym myśleć. Ktoś pytający model o wybór wykonawcy jest na etapie krótkiej listy. Nieobecność w tej rozmowie kosztuje więcej niż cokolwiek, co zyskasz na blokowaniu.

Sklep. Podobnie, z jednym zastrzeżeniem. Zadbaj, żeby to, co model przeczyta, było aktualne, bo ceny i dostępność zmieniają się szybciej niż pamięć modelu. Tu liczą się głównie te crawlery, które pobierają stronę w momencie pytania.

Firma lokalna. Udział ruchu z AI może być u Ciebie wyższy niż przeciętny, bo pytania w rodzaju „dobry dentysta w Gdańsku” coraz częściej trafiają do modelu zamiast do wyszukiwarki. Model czyta przy tym Twoją wizytówkę Google i katalogi równolegle ze stroną.

Kursy, raporty, treść jako produkt. Tu kalkulacja się odwraca, bo oddajesz towar. Blokuj trenowanie, wpuszczaj wyszukiwarkowe, a najcenniejsze rzeczy trzymaj za logowaniem. Model nie zacytuje tego, do czego nie ma dostępu, ale zacytuje stronę mówiącą, że to masz.

Media i wydawnictwa. Najtrudniejszy przypadek i jedyny, w którym szerokie blokowanie bywa uzasadnione. Wasz produkt to dokładnie ta treść, którą modele chcą przeczytać. Trzeba tylko wiedzieć, że licencjonowanie treści do AI realnie dotyczy garstki największych. Dla reszty blokowanie oznacza utratę widoczności bez niczego w zamian.

Niezależnie od branży rozdziel dwa pytania, które łatwo się zlewają. Czy chcesz, żeby Twoja treść trenowała modele, to jedno. Czy chcesz, żeby AI wskazywało Cię jako źródło odpowiedzi, to drugie. Na pierwsze możesz odpowiedzieć nie, na drugie tak, i da się to zrobić.

Nie masz Cloudflare? Blokada może siedzieć gdzie indziej

U nas winny był Cloudflare, bo z niego korzystamy. Duża część stron w Polsce go nie ma, a blokada potrafi siedzieć w czterech miejscach.

Robots.txt. Ktoś kiedyś skopiował gotowca z internetu z listą botów AI do zablokowania i tak zostało. Otwórz twojadomena.pl/robots.txt i przeczytaj, co tam stoi. Uwaga: ten plik nie zwraca 403, on tylko prosi bota, żeby nie wchodził. Jeśli w teście masz 403, przyczyna jest gdzie indziej.

Wtyczka bezpieczeństwa. Wordfence, All In One WP Security i podobne mają listy złych botów blokowanych po nazwie. Listy bywają aktualizowane bez pytania i potrafią zawierać crawlery AI.

Hosting. Polscy dostawcy coraz częściej dokładają własny firewall przed Twoją stroną. Bywa włączony domyślnie i nie zawsze widać go w panelu. Najszybciej zapytać wsparcie wprost, czy blokują crawlery AI.

Reguły na serwerze. Wpisy zostawione dawno temu przez kogoś, kto walczył ze spamem albo obciążeniem. To już zadanie dla osoby technicznej, wyślij jej ten fragment.

Jak ustalić, która warstwa to robi? Popatrz, jak wygląda odmowa. Jeśli 403 to prosta strona błędu z nazwą dostawcy CDN albo firewalla, blokada jest przed Twoją stroną. Jeśli wygląda jak strona z Twojego WordPressa, siedzi w nim. U nas serwer oddawał tym botom normalną stronę z kodem 200, więc od razu było wiadomo, że szukanie w WordPressie nie ma sensu.

Co zrobić

Sprawdź, gdzie jesteś. Test z początku tekstu, na kilku botach naraz.

Rozdziel jedne boty od drugich. W Cloudflare to Security, potem Bots. Nowsze panele pozwalają blokować osobno kategorię treningową i osobno wyszukiwarkową. Jeśli masz tylko jeden przełącznik „zablokuj boty AI”, wyłącz go i przenieś blokowanie botów treningowych do robots.txt. Przy innych dostawcach zasada jest ta sama: wyłącz blokowanie hurtem tam, gdzie jest zgrubne, i zablokuj punktowo tam, gdzie panujesz nad nazwami.

Zapisz wprost, na co się zgadzasz. Wzór dla kogoś, kto chce być cytowany, ale nie chce trenować cudzych modeli:

User-agent: *
Content-Signal: search=yes,ai-train=no
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Zwróć uwagę, czego tu nie ma. Nie ma OAI-SearchBot, ChatGPT-User, Claude-SearchBot ani PerplexityBot, bo to przez nie ktoś Cię znajdzie. Są za to GPTBot i ClaudeBot, mimo podobnych nazw, bo one zbierają dane do trenowania, a nie do odpowiadania. Najczęstszy błąd w gotowcach krążących po internecie to dopisanie do takiej listy również botów wyszukiwarkowych, czyli tych z pierwszej grupy.

Content-Signal to nowy zapis, którego większość botów jeszcze nie czyta. Deklaruje Twoją wolę, nie egzekwuje jej. Egzekwują dopiero wpisy Disallow niżej i ustawienia u dostawcy.

Odblokowanie to dopiero dostęp

Po odblokowaniu model może Cię zacytować. Nie znaczy, że to zrobi. To ta sama różnica, co między byciem w indeksie Google a byciem na pierwszej stronie.

Modele cytują to, co da się zacytować. Czyli treść wprost odpowiadającą na konkretne pytanie, napisaną zwięźle, z konkretem zamiast ogólnika. Strona usługowa napisana hasłami przejdzie przez crawlera i nie zostanie użyta, bo nie ma z niej czego wyjąć.

Druga rzecz to bycie wspominanym poza własną stroną. Model buduje obraz firmy z wielu źródeł naraz. Jeśli istniejesz tylko na własnej domenie, to tylko Ty twierdzisz coś o sobie. Jeśli pojawiasz się w porównaniach i zestawieniach w swojej branży, model ma jak to potwierdzić.

Odblokowanie załatwia dostęp. Reszta to zwykła praca z treścią, tylko oceniana przez innego czytelnika.

Jak sprawdzić, czy coś się zmieniło

Pełny test, nie na jednym bocie:

for bot in OAI-SearchBot ChatGPT-User Claude-SearchBot PerplexityBot GPTBot Googlebot; do
  echo -n "$bot: "
  curl -sIL -o /dev/null -w "%{http_code}\n" -A "$bot/1.0" https://twojadomena.pl/
done

Cztery pierwsze powinny dawać 200, bo one decydują o cytowaniu. GPTBot to crawler treningowy, tu odpowiedź zależy od tego, co wybrał_ś. Googlebot jest jako punkt odniesienia i jeśli on też dostaje 403, problem jest większy niż AI, bo tracisz zwykły ruch z wyszukiwarki.

Jedno zastrzeżenie do tego testu. Podszywasz się pod te boty ze swojego komputera, a część zabezpieczeń sprawdza też, z jakich adresów przychodzi ruch. Prawdziwy bot z serwerów OpenAI może dostać inną odpowiedź niż Twoja podróbka. Test wyłapuje blokady po nazwie bota, czyli dokładnie ten przypadek, który opisaliśmy, ale potrafi czasem straszyć na wyrost.

Potem, tydzień po zmianie, zapytaj ChatGPT, Claude i Perplexity o coś, na co Twoja strona jest dobrą odpowiedzią, i zobacz, czy jesteś wśród źródeł. Prymitywne, ale pokazuje stan lepiej niż jakikolwiek panel.

Na koniec sprawdź w analityce ruch z domen tych narzędzi i ustaw je jako osobne źródło. Inaczej ten jeden procent zginie w kategorii „direct” i nie zauważysz, nawet jak zacznie rosnąć.

Na koniec

Blokada to decyzja. Można ją podjąć świadomie i czasem ma sens.

U nas nikt jej nie podjął. Przyszła z domyślnej konfiguracji dostawcy, nadpisała to, co sami napisaliśmy w robots.txt, i przeleżała osiem miesięcy.

Zrób ten test na swojej stronie. Możliwe, że dowiesz się czegoś, czego nikt u Ciebie nie wybrał.

Źródła

• Statystyki wyszukiwania AI: cytowania, ruch, zero-click
• Cloudflare blokuje crawlery AI domyślnie
• Które boty wydawcy powinni przepuszczać
• Licencjonowanie treści dla AI, stan rynku
• Przewodnik po crawlerach AI