我的地盘我做主，添加Nginx规则，屏蔽营销蜘蛛

最近给网站加了个蜘蛛分析的插件，主要是删了不少文章，看看哪些404然后提交一下死链，没想到发现一堆营销蜘蛛每天疯狂的爬页面，我这弱弱的服务器哪里受得了，难怪有时候感觉卡，果断进行屏蔽。

先通过了常规的robots协议进行屏蔽，没想到这些外国的蜘蛛也不讲武德，搞偷袭，你协议归协议，人家就是不遵守啊，爬的更欢了。既然如此，那就祭出大杀器。

if ($http_user_agent ~* (YandexBot|spbot|DnyzBot|Researchscan|semrushbot|yahoo|AhrefsBot|DotBot|Uptimebot|MJ12bot|MegaIndex.ru|ZoominfoBot|Mail.Ru|SeznamBot|BLEXBot|ExtLinksBot|aiHitBot|Barkrowler)){

return 403;

}

直接在服务器Nginx规则里面添加上了。如上代码覆盖了常见的大部分营销蜘蛛，如果有漏掉的还可以自己添加，非常方便，这些蜘蛛爬的时候直接提示403错误，也就是没有权限访问。这就叫我的地盘我做主。