通用大模型、行业内的运维领域大模型、企业内运维大模型关系是什么?

行业通用硬件、中间件、数据库等平台日志相对标准,日志错误信息有相应文档,如果利用Chatgpt的能力,实现对于通用平台日志的分析能力。行业通用大模型无法很好的实现运维领域知识的学习,是否应打造一个运维行业的大模型,并以通用平台日志作为切入点。希望这次 主要交流的点首先要理清楚:
通用大模型、行业内的运维领域大模型、企业内运维大模型关系是什么?欢迎大家可以分享自己的观点及经验。

参与19

4同行回答

Ethan_YangEthan_Yang联盟成员技术架构师某金融司
个人认为,大模型其实就是一种泛化学习、理解能力模型;很像我们人类,在本身具备有学习能力的模型基础上,就要看这个“人”要学习、掌握哪些“知识”,将来从事哪个方向的“职业”。“知识”在这里就是训练数据、“学习和掌握”过程就是进行数据训练和模型评估、“职业”就是问题...显示全部

个人认为,大模型其实就是一种泛化学习、理解能力模型;很像我们人类,在本身具备有学习能力的模型基础上,就要看这个“人”要学习、掌握哪些“知识”,将来从事哪个方向的“职业”。“知识”在这里就是训练数据、“学习和掌握”过程就是进行数据训练和模型评估、“职业”就是问题中所述的要成为什么样的大模型(通用性、行业行、企业性),以及在往下的划分如日志分析及预警、数据库sql解释和自助式生成、提炼知识点形成知识图谱、风控领域等场景应用。1. 

通用大模型、行业运维大模型、企业运维大模型的研究工作,可从如下几方面开展(仅为个人意见,大家一起探讨):
1. 找到适用场景和能力边界。定位要建立多大能力的大模型,考虑周期、收益比;
2. 建立大模型算法库。理清当前有哪些大模型,特点及进展?大家知道的大模型有GPT-3,4、T5、Megatron-LM、XLNet,开源大模型有CodeLlama-7B、ChatGLm3-6b、Baichuan2-13B等;
3. 找到数据标准和数据边界。建立有效数据训练集,定好要收集的数据标准范畴(需考虑到数据采集合规性),以及在数据量不够的情况下,如何进行训练集的合成,以达到训练要求;
4 找到大模型评价标准和评估指标。有了标准和指标,方可评估大模型到了什么程度和精度可对外提供模型服务能力;
5. 找到可纠错的反馈机制。在大模型给出有违实际的结论时,能够及时告警和纠错,有点像监控系统的建设(监控指标、监控告警);
6. 成本控制。大模型很“费钱”,可按照行业大模型+公司小模型的形式搭建,有点行业云、混合云、私有云的构建过程。
7. 风险提示:大模型具有不确定性,要有必要的模型应用风险提示。

正如开头“人”的比喻,怎么培养、交给什么知识、投入多大成本等决定了模型的能力边界。至于大模型的能力到底是通用级、行业级、公司级,就要看模型的算法、训练集了。
该课所述的日志分析为大模型切入点就是利用大模型的泛化能力帮助运维人员提炼更为详尽的分析项,可减少运维人员的专业要求、精力和时间,难点在于划分好数据收集的边界,以及哪种算法,再就是进行训练和微调。

收起
证券 · 2024-01-09
浏览356

ChatGPT 回答

在证券行业中,通用平台日志的分析对于运维领域非常重要。目前,大语言模型和证券AI大模型已经可以用于分析通用平台日志,但是在运维领域的知识学习方面仍有欠缺。因此,建立一个运维行业的大模型,并以通用平台日志作为切入点,可以更好地满足运维领域的需求。

通用大模型是指可以应用于多个行业领域的大模型,它可以处理各种类型的数据,并具有广泛的应用。在证券行业中,通用大模型可以用于分析证券市场数据、客户数据等。而在运维领域,通用大模型可以用于分析服务器日志、网络流量等。

运维领域大模型是指专门针对运维领域的大模型,它可以处理运维领域的数据,并具有更深入的运维领域知识。在证券行业中,运维领域大模型可以用于分析证券交易系统的日志、监控系统的数据等。这些数据对于证券行业的运营非常重要。

企业内运维大模型是指企业内部建立的运维领域大模型,它可以处理企业内部的运维数据,并具有更深入的企业内部运维知识。企业内运维大模型可以用于分析企业内部的服务器日志、应用程序日志等,帮助企业更好地管理运维系统。

因此,通用大模型、运维领域大模型和企业内运维大模型是不同的概念,它们之间的关系是:通用大模型可以应用于多个行业领域,包括运维领域;运维领域大模型是专门针对运维领域建立的大模型,具有更深入的运维领域知识;企业内运维大模型是企业内部建立的运维领域大模型,具有更深入的企业内部运维知识。

在证券行业中,建立一个运维行业的大模型,并以通用平台日志作为切入点,可以更好地满足运维领域的需求。这个大模型可以包括证券交易系统的日志、监控系统的数据等,帮助证券公司更好地管理运维系统。同时,这个大模型也可以应用于其他行业领域的运维系统中,具有广泛的应用前景。

提问者

penghuasheng
数字化运维研发团队负责人广发证券
擅长领域: 系统运维云计算监控

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2024-01-02
  • 关注会员:5 人
  • 问题浏览:964
  • 最近回答:2024-01-12
  • X社区推广