Co je to › Výraz › Crawl-delay
1 pojem, ve kterých se výraz crawl-delay objevuje.
Robots.txt je jako seznam pravidel pro roboty z vyhledávačů. Je to jako když máš doma návštěvu a řekneš jí: "Do tohoto pokoje můžeš jít, ale tenhle je zamčený." Takhle říkáš robotům, které stránky si mohou prohlédnout a které ne.
Související výrazy: allowcrawl budgetcrawlercrawlingcrawling efficiencydigitální marketingerror handlinginternetmonitoringoptimalizace obsahuranking faktorrate-limitingregular expressionsRobots Exclusion Protocolrobots.txtsearch engine indexing