Meta robots je značka v HTML hlavičce stránky, která vyhledávačům říká, zda stránku smějí zařadit do výsledků a zda mají následovat její odkazy. Hodnota noindex zakáže zobrazení stránky ve výsledcích a stejný pokyn lze pro Google poslat i HTTP hlavičkou X-Robots-Tag.
Škola chce z Googlu skrýt PDF s interními formuláři. Do .htaccess vložím:
<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex"
</Files>
Protože Seznam hlavičku X-Robots-Tag nečte, PDF zároveň nebudou odkazovaná z veřejných stránek. U HTML stránky s poděkováním po odeslání formuláře stačí v hlavičce <meta name="robots" content="noindex">, aby se neobjevila ve výsledcích a návštěvy z vyhledávání nespouštěly měření konverze.
Zápis <meta name="robots" content="noindex"> v sekci head platí pro všechny vyhledávače, které pravidlo podporují; Google zná i hodnoty nofollow, none (noindex i nofollow), nosnippet a max-snippet a při rozporu použije přísnější pravidlo. Pro PDF, obrázky a jiné soubory bez HTML Google doporučuje hlavičku X-Robots-Tag, kterou na serveru Apache nastavíte v .htaccess. Seznam podporuje hodnoty noindex, index, follow, nofollow a all jen v meta značce s name="robots"; zápis name="SeznamBot" ani hlavičku X-Robots-Tag nerespektuje. Aby robot pokyn viděl, nesmí být stránka zakázaná v robots.txt – platí to pro Google i Seznam – a zakázaná stránka se navíc může ve výsledcích objevit, pokud na ni vedou odkazy. Účinek není okamžitý: robot musí stránku znovu projít, u méně důležitých stránek to podle Googlu může trvat i měsíce, a urychlit to lze žádostí v Kontrole adresy URL. Častou příčinou zmizelé stránky je noindex, který zůstal z vývojové verze webu nebo ho šablona přidala celé sekci; Search Console takové adresy vypíše v přehledu Indexování stránek.
Časté chyby
- Zákaz stránky v robots.txt spolu s noindex, takže robot noindex nikdy nepřečte.
- Ponechání noindex z testovací verze po spuštění webu.
- Spoléhání na hlavičku X-Robots-Tag u Seznamu, který ji nerespektuje.