robots.txt je textový soubor v kořeni webu, ve kterém určíte, které části webu smějí roboti vyhledávačů a dalších služeb procházet. Řídí procházení, ne indexaci: zakázaná adresa se může ve výsledcích objevit, jen bez popisu.
Ukázka pro firemní web, který nechce, aby roboti procházeli výsledky interního vyhledávání, a nechce dávat obsah na trénink modelů OpenAI, ale chce být ve vyhledávání ChatGPT:
User-agent: *
Disallow: /hledani/
Disallow: /*?print=1$
User-agent: GPTBot
Disallow: /
Sitemap: https://www.firma-priklad.cz/sitemap.xml
OAI-SearchBot tu žádné omezení nemá, takže se řídí skupinou pro všechny roboty. Soubor ověříte otevřením adresy firma-priklad.cz/robots.txt a v Search Console v přehledu robots.txt v Nastavení.
Formát popisuje standard RFC 9309 ze září 2022, který navazuje na protokol z roku 1994; soubor musí ležet na adrese /robots.txt, v kódování UTF-8, a platí jen pro daný host, protokol a port, takže subdoména potřebuje vlastní. Skupina pravidel začíná řádkem User-agent, následují Allow a Disallow a při konfliktu vyhrává nejdelší shoda; Google podporuje user-agent, allow, disallow a sitemap se zástupnými znaky * a $, crawl-delay ignoruje, čte prvních 500 KiB a soubor drží v mezipaměti obvykle do 24 hodin. SeznamBot pravidla dodržuje, podporuje navíc direktivu Request-rate pro omezení rychlosti a změny se u něj projeví za několik dní, u málo navštěvovaných webů i týdnů. Když stránku nechcete ve výsledcích, nezakazujte ji v robots.txt, ale nechte ji procházet a dejte jí noindex, jinak robot značku vůbec neuvidí. Soubor nic nezabezpečí: je veřejný a vypsané cesty naopak prozradí. AI crawlery řídíte zvlášť – GPTBot sbírá data pro trénink modelů OpenAI, OAI-SearchBot pro vyhledávání v ChatGPT a token Google-Extended řídí trénink Gemini, aniž by ovlivnil Vyhledávání Google. Přehledy od AI a Režim AI se řídí pravidly pro Googlebot.
Časté chyby
- Zákaz stránky v robots.txt ve snaze dostat ji z výsledků místo značky noindex.
- Řádek Disallow: / zapomenutý z vývojové verze webu po spuštění ostré verze.
- Plošný zákaz všech AI botů, který web vyřadí i z vyhledávání v ChatGPT přes OAI-SearchBot.