2 maja 20262 min czytaniaakt. 3 września 2026

robots.txt - jak działa i najczęstsze błędy

W skrócie

robots.txt to plik w katalogu głównym domeny, który mówi robotom, których ścieżek mają nie odwiedzać. Uwaga: to nie jest narzędzie do ukrywania stron z indeksu - od tego jest meta noindex. Najczęstszy błąd to blokowanie zasobów lub mylenie crawlowania z indeksowaniem.

robots.txt to jeden z najstarszych mechanizmów sterowania robotami w sieci - i jednocześnie jeden z najczęściej źle rozumianych. Dobrze ustawiony pomaga; źle ustawiony potrafi wyciąć całą stronę z Google.

Jak działa robots.txt

To plik tekstowy pod adresem /robots.txt. Zawiera dyrektywy dla robotów (User-agent), wskazujące, czego nie powinny crawlować (Disallow) lub co mogą (Allow). Najczęściej dołącza się też link do mapy strony (Sitemap).

User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/

Sitemap: https://przyklad.pl/sitemap.xml

noindex vs Disallow - kiedy co

Chcę…	Użyj	Nie używaj
Nie marnować budżetu crawla na /api	Disallow w robots.txt	-
Usunąć stronę z wyników wyszukiwania	meta noindex	Disallow (paradoksalnie zostawi ją w indeksie)
Ukryć dane prywatne	Autoryzacja / 401	robots.txt (to tylko sugestia, nie zabezpieczenie)

Crawlery AI - czy je blokować?

Coraz więcej botów to roboty modeli AI. Możesz nimi sterować po User-agent:

GPTBot - crawler OpenAI (trening / wyszukiwanie).
OAI-SearchBot - indeksowanie pod wyszukiwanie ChatGPT.
ClaudeBot - crawler Anthropic.
PerplexityBot - crawler Perplexity.
Google-Extended - zgoda/odmowa na użycie treści w produktach AI Google (osobno od zwykłego Googlebota).

Decyzja jest strategiczna: blokując je, chronisz treść, ale tracisz szansę na ruch i cytowania z AI. Dla większości firm marketingowo opłaca się pozwolić crawlerom AI na dostęp do treści publicznych. W Audyto robimy tak: User-agent: * + osobne reguły Allow dla GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot i Google-Extended, z Disallow tylko na /audit/, /api/ i panele.

User-agent	Kto	Zalecenie dla treści publicznych
GPTBot / OAI-SearchBot	OpenAI (trening i wyszukiwanie ChatGPT)	Allow
ClaudeBot	Anthropic	Allow
PerplexityBot	Perplexity	Allow
Google-Extended	Produkty AI Google (osobno od Googlebota)	Allow, chyba że polityka firmy zabrania

Jak sprawdzić i wdrożyć poprawny plik

1Otwórz https://twojadomena.pl/robots.txt w przeglądarce - musi odpowiadać 200, nie 404 i nie HTML strony błędu.
2Dopisz Sitemap: https://twojadomena.pl/sitemap.xml (pełny URL, nie ścieżka względna).
3Disallow tylko na panele, API i prywatne raporty - nie blokuj CSS/JS ani kanonicznych treści.
4Nie łącz Disallow z noindex na tych samych URL-ach, które chcesz usunąć z indeksu.
5Po zmianie poproś o ponowne przetworzenie w Google Search Console (narzędzie robots.txt).

Mapa treści dla ludzi i AI to też llms.txt i dane strukturalne. Audyto sprawdza robots.txt, sitemap i dyrektywy indeksowania automatycznie. Zrób darmowy audyt i upewnij się, że niczego przypadkiem nie blokujesz.

Najczęstsze błędy

1Disallow: / na produkcji (np. zapomniana blokada z wersji testowej) - znika cała strona.
2Blokowanie plików CSS/JS - Google nie renderuje strony poprawnie.
3Próba „ukrycia” treści, którą i tak trzeba zabezpieczyć logowaniem.
4Brak linku do Sitemap.
5Wielkość liter w ścieżkach - Disallow rozróżnia /Admin i /admin.

Najczęstsze pytania

Czy robots.txt usuwa stronę z Google?

Nie. robots.txt blokuje crawlowanie, ale strona może nadal być w indeksie. Do usunięcia z wyników służy meta tag noindex (i strona nie może być zablokowana w robots.txt, by robot mógł go odczytać).

Czy powinienem blokować crawlery AI w robots.txt?

To zależy od strategii. Blokada chroni treść, ale odcina ruch i cytowania z asystentów AI. Większość firm zyskuje, pozwalając crawlerom AI na dostęp do treści publicznych.

Gdzie umieścić robots.txt?

W katalogu głównym domeny, pod adresem https://twojadomena.pl/robots.txt. Tylko tam jest respektowany.

Sprawdź swoją stronę w 60 sekund

Wydajność, SEO, dostępność i bezpieczeństwo w jednym raporcie. Pierwszy audyt za darmo.

Zrób darmowy audyt