Co je to › Výraz › Bot behavior
1 pojem, ve kterých se výraz bot behavior objevuje.
Robots.txt je jako seznam pravidel pro roboty z vyhledávačů. Je to jako když máš doma návštěvu a řekneš jí: "Do tohoto pokoje můžeš jít, ale tenhle je zamčený." Takhle říkáš robotům, které stránky si mohou prohlédnout a které ne.
Související výrazy: allowcrawl budgetcrawlercrawlingcrawling efficiencydigitální marketingerror handlinginternetmonitoringoptimalizace obsahuranking faktorrate-limitingregular expressionsRobots Exclusion Protocolrobots.txtsearch engine indexing