爬虫的目的就是大规模地、长时间地获取数据，跟我们正常浏览器获取数据相比，虽然机理相差不大，但总是一个IP去爬网站，大规模集中对服务器访问，时间一长就有可能被拒绝。关于爬虫长时间爬取数据，可能会要求验证码，即便是多个账号轮流爬取仍然会出现要求输入验证码的情况。技巧一：设...

这个问题太难了，所有性价比就是收益/成本，成本好算，无论买商用产品还是自己简单开发，成本都很好核算，难的是收益，这取决于，您觉得爬虫给您带来的危害到底多痛我说一个最便宜的办法，就是在您的负载均衡上做一个简单的对于IP的频率限制，频率设的高一些，可以一定程度上限制爬虫再说一...

防爬虫的做法比较多，从业务端到运维端，从简单到复杂：先说几个基本的办法：1，频率限制，在lb nginx上做，缺点也很明显，容易误杀2，对header、ua等做一些判断限制，但header、ua容易伪造比较高级一些的：1，更多的混淆内容或者通过js输出内容，这样让爬虫抓取的成本提高2，对于误拦可以结合验证码...

关于爬虫，通过规则是可以滤掉一部分。但在当今的安全形势下简简单单通过规则已经没有办法规避。必须要通过用户行为进行分析。贴合自身业务从而达到更好的效果。

简单的爬虫可以用普通waf做一些限制，复杂的爬虫就比较麻烦了，因为他们往往会伪装为正常用户，并且可以处理js，同时动用大量IP池低频爬取我建议对于这类爬虫，可以采用机器学习的方式从行为分析入手...

看中间件的协议是什么协议，如果是7层应用层可以加一些安全网关，如果是4层的协议可以加一些流控