AI crawleři jsou roboti firem jako OpenAI, Anthropic, Perplexity, Google nebo Apple, kteří stahují obsah webů pro trénink jazykových modelů, pro vyhledávání v AI asistentech nebo pro odpověď na dotaz konkrétního uživatele. Každý z těchto účelů má obvykle vlastního robota, a v souboru robots.txt proto můžete trénink zakázat a vyhledávání povolit.
Penzion chce být vidět ve vyhledávání ChatGPT, Claude a Perplexity, ale nechce, aby se jeho texty a fotky používaly k tréninku modelů. Do robots.txt zapíše:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
Googlebot a Applebot zůstávají povolené, takže penzion je dál ve Vyhledávání Google, v Přehledech od AI i v Siri. Do obchodních podmínek nebo patičky webu doplní větu, že si vyhrazuje vytěžování textů a dat podle § 39c odst. 2 autorského zákona.
Pro trénink modelů sbírají obsah GPTBot (OpenAI) a ClaudeBot (Anthropic), pro vyhledávání v ChatGPT slouží OAI-SearchBot, v Claude Claude-SearchBot a v Perplexity PerplexityBot. Roboti ChatGPT-User, Claude-User a Perplexity-User stránku navštíví, až když se na ni ptá konkrétní uživatel; OpenAI uvádí, že se na ChatGPT-User pravidla robots.txt nemusí vztahovat, a Perplexity, že je Perplexity-User obecně nerespektuje, kdežto Anthropic u všech svých robotů slibuje robots.txt dodržovat. Google-Extended a Applebot-Extended nejsou samostatní roboti, ale tokeny v robots.txt: zákaz Google-Extended vyloučí obsah z tréninku a groundingu modelů Gemini, zobrazení ve Vyhledávání Google ale neovlivní, a zákaz Applebot-Extended vyloučí trénink modelů Apple, přičemž stránky zůstanou ve vyhledávání Spotlight, Siri a Safari. Změnu v robots.txt OpenAI u vyhledávání promítne zhruba do 24 hodin a pravidla platí zvlášť pro každou subdoménu. Právně stojí zákaz na § 39c zákona č. 121/2000 Sb., autorského zákona: rozmnožovat dílo pro automatizovanou analýzu textů nebo dat (vytěžování textů a dat, anglicky TDM) smí kdokoli, pokud si to autor výslovně nevyhradil, u díla zveřejněného na internetu strojově čitelnými prostředky (odst. 2). Za takovou výhradu (TDM opt-out) se obvykle považuje právě zápis v robots.txt, zákon ho ale výslovně nejmenuje. Výjimku pro vědecký výzkum vysokých škol a institucí kulturního dědictví podle § 39d výhrada nevylučuje.
Časté chyby
- Zákaz všech robotů s „AI“ v názvu najednou, čímž web zmizí i z vyhledávání v ChatGPT, Claude a Perplexity, kde by ho mohli citovat.
- Zákaz Google-Extended v domnění, že tím web vyřadíte z Přehledů od AI, které se řídí pravidly pro Googlebot a značkami jako nosnippet.
- Spoléhání na to, že robots.txt zastaví roboty spouštěné uživatelem, jako ChatGPT-User nebo Perplexity-User, na které se podle provozovatelů pravidla nemusí vztahovat.