Představ si, že jsi na webové stránce a snažíš se otevřít nějakou hru, ale místo ní se objeví chybová hláška "405". Je to jako když zaklepeš na dveře kamarádova pokoje, ale máma ti řekne, že takhle dovnitř nesmíš - musíš použít jiný způsob, třeba počkat, až tě kamarád pozve. Počítač ti vlastně říká: "Takhle to nejde, musíš to zkusit jinak!"
Robots.txt je jako seznam pravidel pro roboty z vyhledávačů. Je to jako když máš doma návštěvu a řekneš jí: "Do tohoto pokoje můžeš jít, ale tenhle je zamčený." Takhle říkáš robotům, které stránky si mohou prohlédnout a které ne.
Související výrazy: APIarchitekturabezpečnostcrawl budgetcrawlercrawlingcrawling efficiencydigitální marketingendpointerror handlingfirewallHTTPinternetklientkonfiguracemanipulace