Interní nebo srozumitelněji vnitřní prolinkování je jako když v knížce máš odkazy na jiné kapitoly. Je to jako síť cestiček v parku - pomáhají ti dostat se z jednoho místa na druhé. Když čteš o něčem zajímavém, můžeš kliknout na odkaz a přečíst si o tom víc na jiné stránce stejného webu.
Robots.txt je jako seznam pravidel pro roboty z vyhledávačů. Je to jako když máš doma návštěvu a řekneš jí: "Do tohoto pokoje můžeš jít, ale tenhle je zamčený." Takhle říkáš robotům, které stránky si mohou prohlédnout a které ne.
Sitemap.xml je jako obsah nebo rejstřík v knížce. Je to seznam všech důležitých stránek na webu, aby vyhledávače věděly, kde co najdou. Představ si to jako mapu pokladu, která robotům z Googlu říká, kde jsou na tvém webu schované všechny poklady (stránky), aby na žádný nezapomněly.
Web crawler je program, který automaticky prochází internet, navštěvuje webové stránky a shromažďuje z nich data. Používá se například u vyhledávačů, které díky němu vytvářejí a aktualizují své databáze webových stránek.
Související výrazy: AIalgoritmusallowanalýza webuanchor textarchitekturaautomatizaceBingCMScontent strategycrawl budgetcrawlercrawlingcrawling efficiencydatadatabáze