防爬虫的问题如何从软技术上解决？

简单的爬虫可以用普通waf做一些限制，复杂的爬虫就比较麻烦了，因为他们往往会伪装为正常用户，并且可以处理js，同时动用大量IP池低频爬取

我建议对于这类爬虫，可以采用机器学习的方式从行为分析入手

简单爬虫通过规则，复杂的爬虫必须要通过用户行为的分析。