网站地图

站点地图可以寻址到用户或软件。许多站点都有用户可见的站点地图，这些站点地图呈现了站点的系统视图，通常是分层视图。这些旨在帮助访问者找到特定的页面，并且爬虫也可以使用它们。按字母顺序组织的站点地图（有时也称为站点索引）是另一种方法。
供搜索引擎和其他爬网程序使用，有一种结构化格式XML Sitemap，它列出了站点中的页面，页面的相对重要性以及更新的频率。这是从robots.txt文件指向的，通常称为sitemap.xml 。结构化格式对于其中包含无法通过其他页面的链接访问而只能通过站点的搜索工具或通过JavaScript或Adobe Flash中的URL的动态构造访问的页面的网站尤其重要。

它们还可以一目了然地提供站点内容的概述，从而起到导航辅助作用的作用。

Google引入了Sitemaps协议，因此网络开发人员可以发布来自其各个站点的链接列表。基本前提是，某些站点具有大量的动态页面，这些页面只能通过使用表单和用户条目来使用。Sitemap文件包含这些页面的URL，以便Web爬网程序可以找到它们。Bing、Google、Yahoo和Ask现在共同支持Sitemaps协议。

由于主要的搜索引擎使用相同的协议，因此具有站点地图可以使他们拥有更新的页面信息。站点地图不保证所有链接都会被爬网，并且被爬网也不保证索引。Google网站管理员工具允许网站所有者上传Google将会抓取的站点地图，也可以使用robots.txt文件完成相同的操作。
XML Sitemaps通过在搜索引擎的提交页面上填写表单来代替“提交给搜索引擎”的旧方法。现在，网络开发人员可以直接提交站点地图，或等待搜索引擎找到它。当发布新页面时，定期提交更新的站点地图可能会使搜索引擎比通过自行查找页面更快地查找和索引这些页面。