403 Forbidden znamená "Vstup zakázán". Je to jako když máš doma svůj pokojíček a nechceš, aby tam někdo chodil bez dovolení. Na internetu je to podobné - některé stránky nebo soubory jsou zamčené a můžou je otevřít jen ti, kdo mají správný klíč (povolení).
Robots.txt je jako seznam pravidel pro roboty z vyhledávačů. Je to jako když máš doma návštěvu a řekneš jí: "Do tohoto pokoje můžeš jít, ale tenhle je zamčený." Takhle říkáš robotům, které stránky si mohou prohlédnout a které ne.
Související výrazy: allowautentizacecrawl budgetcrawlercrawlingcrawling efficiencydigitální marketingerror handlingfirewallForbiddenHTTPchybainternetIP adresaklientmonitoring