Robots.txt je jako seznam pravidel pro roboty z vyhledávačů. Je to jako když máš doma návštěvu a řekneš jí: "Do tohoto pokoje můžeš jít, ale tenhle je zamčený." Takhle říkáš robotům, které stránky si mohou prohlédnout a které ne.
URL adresa je jako poštovní adresa pro webovou stránku. Měla by být jednoduchá a srozumitelná, aby každý hned věděl, kam vede. Třeba www.mojeknihovna.cz/pohadky/cervena-karkulka je mnohem lepší než www.mojeknihovna.cz/p123456, protože hned víš, co tam najdeš.
Související výrazy: allowcrawl budgetcrawlercrawlingcrawling efficiencydigitální marketingerror handlinghreflanginformaceinternetload balancingmonitoringoptimalizace obsahupřesměrováníranking faktorrate-limiting