Robots之所以称之为协议就是因为它不是 “命令” 而是跟搜索引擎爬虫间的单方面协议。因而 robots 中的设置并不意味着100%的生效，但那些知名君子如 Google Yaho……