客服系统首先是可以考虑的应用,其他日常工作流,合规审计类也可以考虑将其作为一个数字助手应用打造,其他业务待探索和挖掘如果不想处理和云平台的抢资源抢能耗问题,应当单独建设系统;大模型是个计算密集型应用,会消耗所有算力,没有和现有平台复用的价值。厂商的服务模式我知道有...

匿名用户
熟悉掌握技术
本文根据最近学习心得整理而成,主要阐明如何去设计一个大模型的IT基础设施,文章内容会保持在框架性方法层面,尽量避免具体细节绑定而产生的面向范围狭窄问题。一.前期评估首先,在开始设计之前,你必须明确自己搭建私有化大模型的目的所在,并对可投入的时间和成本有明确估算,确保在...
(more)
匿名用户

匿名用户

匿名用户
我觉得现阶段不要想的太多,也不要用之前搞系统的方式来看待新东西。使用似SuperCLUE,C-Eval等的评测,加上自己的一些主动评测就好。其实目前私有化部署方面Llama2 是最佳选择,做大模型评测交给类似BAAI(flagEval等),SuperCLUE就好,不要自己去玩。...
说到潜在问题,个人理解可能有以下几个方面的问题吧。一是数据隐私问题:大语言模型需要大量的数据来训练和优化模型,但是金融企业处理的数据通常包含大量的隐私信息,如个人身份信息、信用卡信息、财务信息等。如果这些数据不加保护地被用于训练模型,可能会泄露客户隐私,引起法律...
NVIDIA nemo 是由英伟达开发,可用于数据收集、大模型训练、微调、部署。框架具备fine-tuning, prompt learning, and adapter techniques能力,对模型生成内容做优化,学习特定领域知识等;推理上框架使用 NVIDIA Triton优化 AI 推理;数据处理上,nemo包含全面的数据预处理功能,能完...