Představ si, že se ti pokazil oblíbený robot. Prostě přestal fungovat a místo toho ti ukazuje smutného smajlíka. Přesně tak funguje chyba 500 - je to jako když se počítači udělá špatně a nemůže správně pracovat. Není to tvoje vina, prostě se něco pokazilo uvnitř.
Robots.txt je jako seznam pravidel pro roboty z vyhledávačů. Je to jako když máš doma návštěvu a řekneš jí: "Do tohoto pokoje můžeš jít, ale tenhle je zamčený." Takhle říkáš robotům, které stránky si mohou prohlédnout a které ne.
Související výrazy: allowarchitekturacircuit breakercrawl budgetcrawlercrawlingcrawling efficiencydatabázedigitální marketingfallback mechanisminternetmonitoringoptimalizace obsahupožadavekranking faktorrate-limiting