老师介绍金融大模型大概需要1000张GPU,若GPU数量只有要求的10%左右,企业还有必要做大模型吗?

参与14

3同行回答

如果计算资源比较少,可以相对应训练模型参数大小不会太大,比如训练 6B,8B 参数并不需要一千片计算卡显示全部

如果计算资源比较少,可以相对应训练模型参数大小不会太大,比如训练 6B,8B 参数并不需要一千片计算卡

收起
金融其它 · 2023-07-11
浏览793
dengjf99dengjf99课题专家组软件开发工程师某股份制银行
100张卡的算力也已经很多了,用于十亿、百亿级别的模型训练完全足够了。显示全部

100张卡的算力也已经很多了,用于十亿、百亿级别的模型训练完全足够了。

收起
银行 · 2023-07-13
浏览631
匿名用户匿名用户
这个不依赖于GPU数量,还是一个,投资回报比和你们企业的需求是否强烈。 你需要评估企业对大模型的需求和目标。大模型通常可以用于处理复杂的金融数据和任务,例如风险管理、投资组合优化、高频交易等。如果这些任务对企业的核心业务至关重要,并且大模型能够带来显著的竞争优势...显示全部

这个不依赖于GPU数量,还是一个,投资回报比和你们企业的需求是否强烈。
你需要评估企业对大模型的需求和目标。大模型通常可以用于处理复杂的金融数据和任务,例如风险管理、投资组合优化、高频交易等。如果这些任务对企业的核心业务至关重要,并且大模型能够带来显著的竞争优势和业绩提升,那么即使只有10%的GPU数量,开发大模型可能仍然值得。办法总比困难多,可以借助云平台等多种手段。

收起
互联网服务 · 2023-07-05
浏览749

ChatGPT 回答

对于银行行业而言,大模型的应用可以帮助企业更好地进行风险控制、反欺诈、客户画像等方面的工作,提高业务效率和客户满意度。但是,如果GPU数量只有要求的10%左右,那么企业在做大模型时需要考虑以下几个方面:

  1. 模型训练时间:GPU数量越少,模型训练所需的时间就越长,可能会影响企业的业务效率和响应速度。
  2. 模型精度:GPU数量不足可能会影响模型的精度,导致模型预测结果不准确,从而影响业务决策。
  3. 成本考虑:如果企业只有10%的GPU数量,那么购买更多的GPU可能会增加企业的成本负担,需要权衡成本与收益。

综上所述,如果企业只有10%的GPU数量,仍然可以考虑做大模型,但需要权衡以上因素,可能需要更长的训练时间、更高的成本投入,同时也需要对模型精度进行评估,确保模型的预测结果准确可靠。另外,企业也可以考虑采用分布式训练等技术手段来提高训练效率,降低成本。

提问者

dengyujie
开发HX
擅长领域: 人工智能GPU服务器

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-07-05
  • 关注会员:4 人
  • 问题浏览:1854
  • 最近回答:2023-07-13
  • X社区推广