Jak na robots.txt

K čemu slouží robots.txt?

Robots.txt je něco jako křižovatka se semafory pro roboty vyhledávačů. Zde můžete nastavit, co mohou roboti indexovat, jaké adresáře prohledávat a které zase ne. Doporučuji pečlivě zvážit, co zakážete robotům. Název je pevně daný robots.txt všechna písmena malá. CHMOD musí být nastaveno na 777, tedy označeny všechny pravomoci. Umístění je stejné jako u sitemap v kořenovém adresáři stránek tedy adresa bude  vasedomena.cz/robots.txt

Co vše v něm mohu provést?

Díky robots.txt můžete zamezit, či zakázat indexaci určitých stránek a adresářů. Je to velice výhodné pokud nechcete, aby se objevili ve výsledcích hledání vaše soubory, které nemá nikdo vidět.

Zakázat přístup vyhledávačům lze i jinými způsoby nežli jen robots.txt, ale tyto omezení jinými variantami platí pouze u daného souboru. robots.txt platí pro celé stránky.

Například pomocí meta tagu:

noindex- stránka nebude indexována

nofollow- odkazy na stránce nebudou následovány.

Jak vytvořit robots.txt?

Jednoduše si ve Windows spusťte základní textový editor.

Teď si rozepíšeme jednotlivé příkazy.

První příkaz je vždy:

User-agent:  *    – Hvězdička znamená, že příkaz platí pro všechny roboty.

Pokud chcete něco zakázat pouze jednomu konkrétnímu robotovy tak:

(mezi příkazem a názvem musí být vždy mezera)

User-agent: název robota

Například: User-agent: Googlebot

Takto tedy vyberete robota, ale teď jak mu nastavit kam nesmí. Pomocí:

Disallow: smí všude

Disallow:/ nesmí nikam

Disallow:/obrazky/ nesmí do adresáře obrazky

Výsledný soubor může vypadat takto:

User-agent: Googlebot
Disallow:

User-agent: Seznambot
Disallow: /

*Googlebot smí všude, Seznamboot nikam.

Mezi jednotlivými celkovými příkazy pro každého robota musí být prázdný řádek.

Názvy robotů:

Seznambot = Seznam

Googlebot = Google

Jyxobot = Jyxo

msnbot = Bing