这个也简单,外挂知识库方式,做一层搜索引擎获取最新数据,然后向量化后存到向量数据库,最终再和模型一起做相似度匹配。避免所谓的模型幻觉。
这个简单利用外接知识库方式langchain+chatGLM/Wenda项目都可以参考其实就是知识库向量化,问题向量化,最后做相似度匹配。
目前小型公司的算力只能用于推理,训练基本只够7B-13B范畴。希望组件行业级别算力池用于租赁。
ChatGLM-6B/Baichuan-7B/13B/ChatRWKV等都可以
GPU不足目前暂时除了买硬件没别的办法,但是为了省钱可以买N*TESLA这种低端卡。然后分布式训练安全问题依赖本地模型解决。
dify.aiDify.ai是一个易于使用的LLMOps(Large Language Model Operations)平台,它可以帮助您的团队基于诸如GPT-4等模型开发AI应用,并通过视觉操作来进行操作。这个平台让你能够简单地创建并运营基于GPT-4的AI本地应用
在线openai本地部署 chatglm、llama、baichuan、tigerbot、aquila、vicuna等
最基本的消费字段大体是设备--》应用--》负责人;告警登记则可以消费应用等级;告警抑制可以消费网络设备和应用的关系;容器也类似,pod--》namespace--》应用--》负责人;
做简单的么,只要做到应用这一层,即我动A应用影响哪些别的应用,那需要准备的模型就是跨应用访问关系,目前我们是用NPM镜像流量做,得出应用间设备的访问端口。做复杂就要到接口级了,这个需要有接口网关等架构的支持,不然不容易
1.告警抑制,基于时间进行缓存后再告警。亦可根据设备进行抑制,多条告警合为一条2.根据ai算法,产生动态阈值,减少毛刺告警。3.根据2/8法则,减少价值较低的告警,提高黄金指标比例。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30