电信运营商安全工具防爬虫

返回sprewellkobe的回答

sprewellkobesprewellkobe专有云TX

防爬虫的做法比较多,从业务端到运维端,从简单到复杂:

先说几个基本的办法:
1,频率限制,在lb nginx上做,缺点也很明显,容易误杀
2,对header、ua等做一些判断限制,但header、ua容易伪造

比较高级一些的:
1,更多的混淆内容或者通过js输出内容,这样让爬虫抓取的成本提高
2,对于误拦可以结合验证码跳转来降低误拦

当然也可以采购一些商用的产品,这些产品具有机器学习等功能,可以更精准的识别爬虫,并进行有效阻断

互联网服务 · 2017-08-17
浏览1457

回答者

sprewellkobe
专有云TX
擅长领域: 云计算安全网络

sprewellkobe 最近回答过的问题

回答状态

  • 发布时间:2017-08-17
  • 关注会员:2 人
  • 回答浏览:1457
  • X社区推广