标签: 文件写法
thumbnail

网站robots协议及robots.txt 文件写法

Robots之所以称之为协议就是因为它不是 “命令” 而是跟搜索引擎爬虫间的单方面协议。因而 robots 中的设置并不意味着100%的生效,但那些知名君子如 Google Yaho……