标签:
文件写法
网络技术
网站robots协议及robots.txt 文件写法
Robots之所以称之为协议就是因为它不是 “命令” 而是跟搜索引擎爬虫间的单方面协议。因而 robots 中的设置并不意味着100%的生效,但那些知名君子如 Google Yaho……
2017-11-27 baishitou
3.6K+
0
0