标签： 禁止
wordpress禁止搜索引擎抓取指定路径或者是动态路径页面
今天查询发现上午发布的一篇文章被收录了，但收录的地址却是动态的。
可以我的网站是伪静态的，所以就不想让它收录动态页面。robots里面加入了禁止抓取这些动……
nginx禁止垃圾蜘蛛访问
nginx禁止垃圾蜘蛛访问，把下列代码放到你的nginx配置文件里面。
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
retu……
