客户直接参与模型计算的场景可能不会多,更多的场景应该还是模型把结果计算好存储起来,应用系统有针对性的把结果推送给客户或客户经理,比如智能投顾用于推荐产品信息,在这种场景下,高并发的场景会出现在结果库中,但是由于结果已经形成,已经无需复杂计算,这种情况下,数据库就可以支撑的起高并发,且数据库上层可以使用缓存增加并发。应当避免用户直接参与模型计算这种场景,更多的是要客户使用模型得到结果,比如用户输入一张图,输出告诉他是一张什么图,后台模型实际上已经计算好了,在这种场景下,模型相当于数据库,用户输入相当于一次查询请求,那么为了保证高并发,模型底层就需要做分布式存储和分布式计算。
收起