Crawl budget: co to je a kdy ho řešit

Crawl budget je zjednodušeně množství času a zdrojů, které Google ochotně věnuje procházení vašeho webu. Není nekonečné. Pokud robot tráví čas na bezcenných adresách, zbývá mu méně na ty důležité — a nové nebo aktualizované stránky se do indexu dostávají pomaleji. U malých webů to neřešíte; u velkých to může být zásadní.

Koho se crawl budget týká

Naprostá většina webů (do řádově tisíců stránek) se crawl budgetem zabývat nemusí — Google je projde snadno. Problém nastává u velkých webů: e-shopů s filtry a vyhledáváním, portálů, katalogů a webů, které generují obrovské množství URL. Tam se vyplatí robotův čas směřovat k tomu podstatnému.

Co crawl budget zbytečně spotřebovává

• Nekonečné kombinace filtrů a řazení: facetová navigace umí vyrobit miliony adres se skoro stejným obsahem.
• Parametry a session ID: stejný obsah na desítkách variant URL — souvisí s duplicitním obsahem.
• Řetězce přesměrování: každý skok je požadavek navíc — viz 301 vs 302.
• Měkké 404 a chybové stránky: robot je stahuje zbytečně — viz soft 404.
• Pomalý server: když web odpovídá pomalu, Google sníží tempo procházení.

Jak crawl budget ušetřit

Cíl je jednoduchý: ať robot tráví čas na stránkách, které chcete v indexu. Pomáhá omezit procházení zbytečných parametrů a filtrů (přes robots.txt nebo noindex), sjednotit duplicity přes canonical, odstranit řetězce přesměrování, udržovat čistou sitemapu jen s kanonickými URL a posílit interní prolinkování na důležité stránky. Důležitá je i rychlost a dostupnost serveru.

Kde to sledovat

V Google Search Console najdete report Statistiky procházení (Crawl stats) — kolik požadavků Google denně dělá, jaké stavové kódy dostává a jak rychle web odpovídá. Náhlý nárůst chyb nebo zpomalení je signál, že je něco špatně. Proč takové věci hlídat průběžně, vysvětluje Proč hlídat technické SEO průběžně.