Nachádzate sa tu
12. Ako skryť stránku pred vyhľadávačom
Vo všeobecnosti môžeme povedať, že cieľom SEO, a teda každej stránky je dosiahnuť čo najvyššiu pozíciu vo výsledkoch vyhľadávania. Môžeme sa však dostať do situácie, kedy chceme z nejakých dôvodov zakázať internetovému vyhľadávaču, aby zobrazoval našu stránku vo svojich výsledkoch. Slúži na to všeobecný internetový štandard, ktorý predstavuje robots.txt. Jedná sa o textový súbor, ktorý je umiestnený v root adresári stránky, v ktorom si internetový vyhľadávač prečíta, ktoré stránky môže a ktoré nemôže zobraziť vo výsledkoch vyhľadávania.
Príklady nastavenia robots.txt :
User-agent - definuje, na ktoré vyhľadávače sa robots.txt vzťahuje, * znamená všetky vyhľadávače
Disallow - špecifikuje ako pristupovať, ku jednotlivým stránkam
Nasledovný kód umôžňuje vyhľadávaču zaindexovať všetky stránky
User-agent:*
Disallow:
Nasledovný kód zakáže vyhľadávaču zaindexovať akúkoľvek stránku
User-agent:*
Disallow:/
Neindexuj stránky v adresári tmp
User-agent:*
Disallow:/tmp/
Neindexuj stránku "subor.html"
User-agent:*
Disallow:/directory/subor.html
V prípade, že by ste chceli zakázať zobrazovať stránku len pre konkrétne vyhľadávače, robots.txt bude vyzerať nasledovne.
User-agent: "názov vyhľadávača"
Disalow:/
Tu si môžete stiahnuť príklad robots.txt, ktorý zakáže všetkým vyhľadávačom zaindexovať akúkoľvek stránku.