robots.txt
Robots.txt je jako seznam pravidel pro roboty z vyhledávačů. Je to jako když máš doma návštěvu a řekneš jí: "Do tohoto pokoje můžeš jít, ale tenhle je zamčený." Takhle říkáš robotům, které stránky si mohou prohlédnout a které ne.
Web Crawler
Web crawler je program, který automaticky prochází internet, navštěvuje webové stránky a shromažďuje z nich data. Používá se například u vyhledávačů, které díky němu vytvářejí a aktualizují své databáze webových stránek.
Související výrazy: AIalgoritmusallowanalýza webuarchitekturaautomatizaceBingcrawl budgetcrawlercrawlingcrawling efficiencydatadatabázedigitální marketingerror handlingGoogle