Crawler nennt man die Software, die von den Suchmaschinen eingesetzt wird, um die Websites systematisch zu untersuchen und zu indexieren. Dabei rufen die Crawler die Websites auf und folgen den Links auf den Seiten. Die dabei gesammelten Daten werden bei Google auf dem Server gesammelt und die Informationen dienen der Kategorisierung bei der Indexierung. Um der Suchmaschine das Crawling zu erleichtern, insbesondere bei ganz neuen Seiten und vielen Website-Aktualisierungen, stellt man die Sitemap zur Verfügung.