目前爬虫的功能已经足够强大，如何才能规避爬虫，减少爬虫带来的危害？

目前最好的方式还通过机器学习，通过不同维度对请求进行聚类，最终将普通用户和爬虫行为分到不同的类别里。 机器学习的厂家现在也越来越多，但是我在与客户沟通时候，遇到比较多的对手是白山云的叫什么ATD的产品。 我也一直推荐网宿做大数据分析，机器学习，进度缓慢。 推不动。 爬虫这个市场后期会越来越大，前两天看了一篇报道，说是快运的APP，竞争对手通过爬虫的方式，爬取对手的客户资料，狂赚2亿。