标签：
垃圾蜘蛛
网络技术
nginx禁止垃圾蜘蛛访问
nginx禁止垃圾蜘蛛访问，把下列代码放到你的nginx配置文件里面。 #禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { retu……
2019-03-30 baishitou
3.5K+
0
0
