robots.txt 文件规定了搜索引擎抓取工具允许/禁止请求抓取网站上的哪些网页或文件。SiteMap(站点地图)是一种文件,可以在其中提供与网站中的网页、视频或其他文件有关的信息,还可以说明这些内容之间的关系。搜索引擎会读取此文件,以便更加智能地抓取网站。 robots.txt 此文件主要用于使网站避免收到过多请求(太多的搜索引擎爬行是很耗费资源的);它并不是一种阻止搜索引擎访问某个网页的有效方法。若想阻止搜索引擎访问某个网页,应使用 noin...