robots.txt: jak ho nastavit a nezablokovat si indexaci

Soubor robots.txt je první věc, kterou robot vyhledávače na webu načte. Říká mu, kam smí a kam ne. Je to mocný nástroj — a právě proto dokáže při chybě napáchat velkou škodu. Jediný špatný řádek může z indexu vyřadit celý web. Pojďme si ho projít tak, abyste si indexaci omylem nezablokovali.

K čemu robots.txt slouží (a k čemu ne)

robots.txt řídí procházení (crawling) — tedy jestli robot smí stránku stáhnout. Neřídí ale přímo indexaci. To je klíčový rozdíl: pokud stránku zakážete v robots.txt, Google ji sice neprojde, ale pokud na ni vede dost odkazů, může se i tak objevit ve výsledcích (bez popisku). Pro spolehlivé vyřazení z indexu slouží metaznačka noindex, ne robots.txt.

Jak vypadá základní robots.txt

Pro většinu webů stačí povolit vše a odkázat na sitemapu:

User-agent: *
Allow: /
Sitemap: https://vasweb.cz/sitemap.xml

Tím říkáte všem robotům, že smějí procházet celý web, a zároveň jim ukazujete, kde najdou seznam URL. Vztah sitemapy a indexace popisuje článek Sitemap.xml: nejčastější chyby a jak je opravit.

Nejnebezpečnější chyba: Disallow: /

Řádek Disallow: / zakáže procházení celého webu. Vzniká nejčastěji při přechodu z testovacího (staging) prostředí na ostrý web — vývojáři tam blokaci nastaví schválně, aby se rozdělaný web nedostal do Googlu, a pak ji zapomenou odstranit. Výsledek: ostrý web postupně vypadne z indexu. Po každém nasazení proto robots.txt zkontrolujte jako první.

Časté dílčí chyby

• Blokace CSS a JS: pokud zakážete složky se styly a skripty, Google nedokáže stránku správně vykreslit a posoudit. Tyto soubory nechte přístupné.
• Blokace obrázků: zablokované obrázky se neobjeví ve vyhledávání obrázků.
• Špatná cesta v Sitemap: adresa sitemapy musí být úplná (včetně https a domény).
• Citlivý obsah „schovaný“ přes robots.txt: robots.txt je veřejný a blokované cesty si může kdokoliv přečíst — není to bezpečnostní opatření.

Jak ověřit, že neblokujete důležité stránky

Otevřete https://vasweb.cz/robots.txt v prohlížeči a projděte pravidla. V Google Search Console pak použijte Kontrolu URL u klíčových stránek — ukáže, zda je stránka blokovaná. Protože se robots.txt mění při aktualizacích a migracích, vyplatí se jeho stav hlídat průběžně. Proč to dělat automaticky, vysvětluje Proč hlídat technické SEO průběžně. Celkový kontext najdete také v checklistu technického SEO.