Představ si, že máš velkou knížku a chceš rychle najít svoji oblíbenou pohádku. Proto má knížka na začátku obsah, který ti řekne, na které stránce pohádku najdeš. Podobně funguje indexace webu - je to jako velký obsah pro internet. Roboti (jako malí pomocníci) procházejí všechny webové stránky a zapisují si, co kde našli, aby pak lidé mohli snadno najít to, co hledají.
Web crawler je program, který automaticky prochází internet, navštěvuje webové stránky a shromažďuje z nich data. Používá se například u vyhledávačů, které díky němu vytvářejí a aktualizují své databáze webových stránek.
Související výrazy: AIalgoritmusanalýza webuarchitekturaautomatizaceBingCore Web Vitalscrawlercrawlingdatadatabázedigitalizaceduplicate contentE-A-TGoogleGooglebot