随着金融行业的蓬勃发展，客户数量快速增长，金融行业涉及的业务领域不断拓展。在此背景下，AI技术在金融公司的各类交易、业务处理、客户服务等众多场景中将得到更加广泛深入的应用，比如量化交易、极速交易、精准推荐、人脸识别、视频质检、智能客服等等。大语言模型是自然语言处理的最高阶阶段，机器能够听懂人的命令、遵循人的价值观。能够生成自然语言的人工智能模型。类ChatGPT大语言模型的出现，也催生了金融行业对大语言模型应用的需求。然而无论从大语言模型的数据处理，模型优化还是到高算力需求，都给金融AI带来大语言模型落地带来巨大挑战，具体包括：
1、 金融企业落地大语言模型的前提条件是什么？有哪些典型适用场景？
2、 金融企业当前的大数据和AI平台建设，为适应大语言模型，要做好哪些准备？如何进行大语言模型数据处理和模型优化？
3、 金融企业实现大语言模型对底层核心算力架构如何设计？落地过程中会面临哪些具体挑战？
4、 如何实现GPU资源弹性扩展和自适应调整，以提高利用效率、满足不同应用场景的算力需求？

本期交流探讨主要来自：英伟达专家，以及金融行业AI专家在线与大家分享探讨，希望通过本次交流和探讨，我们可以共同推动金融行业迎接ChatGPT大语言模型时代的挑战和机遇。

1、在ChatGPT大语言模型时代，金融行业如何做好数据安全和隐私保护？

金融行业处理的数据往往是敏感性较高的个人和公司财务数据，需要严格保护。那么，在GPU选型上，或使用GPU资源上，有什么选型策略，什么技术手段、什么措施等来确保数据的安全性和隐私保护？

嘉宾回复：

daliu 系统架构师 , 某金融机构
在ChatGPT大语言模型时代，金融行业可以采用一下方式保证数据安全：

1. 数据加密：使用加密技术对客户数据进行加密，以保护数据的机密性、完整性和可用性。
2. 数据脱敏：对于涉及到客户隐私的数据，如姓名、地址、身份证号码等，需要进行脱敏处理，以保护客户的隐私。
3. 访问控制：建立严格的访问控制机制，只允许授权人员访问数据，可以采用基于角色的访问控制、基于策略的访问控制等方式来实现访问控制。
4. 监控和报警：建立数据监控和报警机制，及时发现和处理数据安全事件。
5. 数据安全意识培训：对员工进行数据安全和隐私保护的培训和教育，提高员工的安全意识和保护客户信息的责任感。
   GPU选型影响的是计算效率，跟数据安全没太大关系。

dengjf99 软件开发工程师 , 某股份制银行
数据隐私与GPU选型没有必然联系，具体保护方式要看模型部署方式、使用的训练语料、用户输入指令的方式等。
譬如， 最保险的方法是行内私有化部署，只开放给内部用户使用；如果是开放给外部用户使用，则不能使用行内敏感数据和涉密文档做训练；如果是外部部署，则用户输入指令及数据要做一些控制和审核。

zftang 其它
使用ChatGPT时，您应该注意以下几点：

1. 提供最少的信息：在使用ChatGPT时，您应该尽可能提供最少的信息。例如，在问答系统中，您只需提供问题的关键词即可获得答案，而不需要提供详细的个人信息。
2. 注意聊天记录：ChatGPT会记录您的聊天记录，因此您应该注意保护自己的聊天内容。避免透露敏感信息和个人信息，尤其是在与陌生人聊天时。
3. 使用安全的网络连接：确保您使用的网络连接是安全的，可以使用密码保护和加密技术来保护您的数据。

2、金融企业落地大语言模型有什么潜在问题？

金融企业落地大语言模型需要大量硬件投资成本吗？一般喜欢采购现有模型来调优，这样有什么需要潜在注意的。引入大模型对合规风控以及监管这一块有什么影响？

嘉宾回复：

朱向东 高级工程师 , 中原银行
说到潜在问题，个人理解可能有以下几个方面的问题吧。
一是数据隐私问题：大语言模型需要大量的数据来训练和优化模型，但是金融企业处理的数据通常包含大量的隐私信息，如个人身份信息、信用卡信息、财务信息等。如果这些数据不加保护地被用于训练模型，可能会泄露客户隐私，引起法律问题和公众关注。
二是模型鲁棒性问题：大语言模型往往需要大量的计算资源来进行训练和推理，而金融企业的业务场景往往非常复杂，需要高度准确的模型来进行预测和决策。如果模型的鲁棒性不够，可能会导致误判或误判率过高的问题。
三是模型可解释性问题：大语言模型的模型结构和运算过程非常复杂，往往难以解释模型的预测和决策过程。而金融企业需要对模型的预测和决策过程进行解释，以满足监管要求和客户需求。
四是资源成本问题：大语言模型需要大量的计算资源和存储资源来运行和维护，而金融企业的业务场景往往需要高度准确的预测和决策，需要大量的计算和存储资源来支持。这可能会导致高昂的资源成本，影响企业的盈利能力，但这并不一定是必然的，具体情况视企业的需求和预算而定。
五是可信度问题：大语言模型的可信度需要得到保障，否则可能会导致误判或误判率过高的问题。金融企业需要对模型的可信度进行充分的测试和验证，以保证模型的准确性和稳定性。

dengjf99 软件开发工程师 , 某股份制银行
大模型的硬件投资成本是比一般人工智能模型高不少的，具体视乎用到大模型的参数量级和部署实例的多少。
在合规监管方面国家网信办发布了《生成式人工智能服务管理办法（征求意见稿）》，可以参考。

daliu 系统架构师 , 某金融机构
落地大模型肯定是需要投入大量的硬件成本的，而且现有的硬件可能 不能满足大模型资源配置需求，另外现有的模型可能已经过时或者不能满足金融企业的需求，因此需要采购新的大语言模型进行调优。
对于合规风控以及监管这块，除了上述回答的模型可靠性和数据安全问题外，还可能由于ChatGPT技术的引入带来业务流程变化，从而对传统的合规和监管制度带来挑战

waring_id 系统架构师 , 美宜佳
大语言模型可以理解为通用人工智能（Artificial general inteligence）的一种。是指能够像人类一样在各种不同的任务和情绪中自主学习和应用知识的人工智能系统，它和解决特定问题或任务的不一样，AGI具备更广泛的适应性和灵活性，能自主学习、推理、解决问题、感知、理解语言等。
1、大语言模型涉及的计算量非常大，考虑数据自主性和安全隐私，这类算法必须要是自主或能被监管的前提下部署。该系统涉及的硬件规模大，对应的投资成本相应也大（同时还需要考虑中美贸易战对高端计算芯片限制导致的周期和缺货风险）
2、数据隐私和监管控制以及舆论的导向都是需要重点考虑的内容
3、自主学习后系统呈现的智能决策和输出结果需要经过验证，通过什么样的方式或流程实现评估也是需要考虑
4、极端情况下系统自主学习后发展出自动对抗合规监管的情况如何发现及避免。

3、chatgpt在金融行业的应用场景如何保障数据安全？

嘉宾回复：

dengjf99 软件开发工程师 , 某股份制银行
最保险的方法是行内私有化部署，只开放给内部用户使用；如果是开放给外部用户使用，则不能使用行内敏感数据和涉密文档做训练；如果是外部部署，则用户输入指令及数据要做一些控制和审核。

嘉宾回复：

daliu 系统架构师 , 某金融机构

以下是一些可能的保障措施：

1. 数据加密：使用加密技术对客户数据进行加密，以保护数据的机密性、完整性和可用性。
2. 数据脱敏：对于涉及到客户隐私的数据，如姓名、地址、身份证号码等，需要进行脱敏处理，以保护客户的隐私。
3. 访问控制：建立严格的访问控制机制，只允许授权人员访问数据，可以采用基于角色的访问控制、基于策略的访问控制等方式来实现访问控制。
4. 监控和报警：建立数据监控和报警机制，及时发现和处理数据安全事件。
5. 数据安全意识培训：对员工进行数据安全和隐私保护的培训和教育，提高员工的安全意识和保护客户信息的责任感。

wzpystcdc 研发工程师 , 某公司

1. 充分保护个人用户数据和敏感数据，对预计使用的输入数据进行敏感性识别，限制敏感数据的输入，或利用脱敏数据使用ChatGPT。
2. 建立企业用户访问控制机制，防止未授权使用ChatGPT，导致数据泄露。
3. 对企业员工进行如何正确使用ChatGPT培训，定期进行安全监测和合规审计。

4、如何减少网络对AI训练的影响？

如题
迈入ChatGPT大语言模型时代，金融行业提高GPU资源利用效能加速AI智能化应用，那们如何减少网络对AI训练的影响？

嘉宾回复：

Cui Xiaonan DevRel , NVIDIA英伟达
可以从训练框架入手，通过不同并行训练方式，可以达到部分网络优化，建议了解英伟达的训练框架，NeMo Framework，专门针对大语言模型的分布式训练框架。

daliu 系统架构师 , 某金融机构

可以从以下方面着手：

1. 优化数据传输：优化数据传输方式，采用更加高效的数据传输协议和方式，以减少网络带宽的消耗，提高训练效率。
2. 采用更加高效的模型：对于计算密集型任务，采用更加高效的模型，如基于深度学习的GPU加速模型，以减少训练时间和计算量。
3. 减少数据的传输量：对于数据量较大的任务，通过减少数据的传输量来减少网络带宽的消耗，提高训练效率。如压缩数据、减少数据的维度等方式来实现。
4. 优化模型结构：可以通过优化模型结构来减少训练时间和计算量。可以通过调整网络结构等方式来实现

dengjf99 软件开发工程师 , 某股份制银行
大语言模型由于模型体量大，对GPU显存要求高到一定程度的情况下，需要多机并行训练。在预算许可的情况下，可以采购高带宽的路由器。如果预算有限，可以试用类似英伟达NeMo的训练框架，通过框架提供的优化功能进行提速。

朱向东 高级工程师 , 中原银行
这是个好问题，提到减少网络对AI训练的影响，想必你所在AI环境的规模已经不小了，单机或较小规模场景下，一般都不会考虑到网络对AI环境的影响，其实，AI环境对网络的依赖程度是非常高的，成规模化部署时必须要提前规划好AI环境的网络架构，如存储网络区、训练网络区、推理网络区、业务网络区等。
那么，如何减少网络对AI训练的影响，大概可以从以下几个方面着手：
1、在训练模型前，对数据进行预处理，减少数据在网络上的传输量。
2、将模型分散到多台服务器上，减少每台服务器之间相互交互的网络负载。
3、适当考虑增大服务器本地磁盘，将数据缓存到服务器本地硬盘上，避免每次训练都从网络上传输数据。
4、审视当前网络结构，减少网络层数，减少不必要的网络设备，减少网络之间的传输负载。
5、选用合适的模型，减少模型的大小和参数量，尽量降低网络传输的负载。
6、考虑使用专用AI硬件设备来提高训练效率，同时降低网络传输负载。
7、重新审视所选的训练工具，评估其网络传输负载对网络环境的影响。
综合来说，要结合实际需求情况和自身的网络现状及AI训练环境的现状去考虑整体的解决方案。

5、针对人机交互场景有没有比较好的思路，如何通过人工智能来为客户提供优质的金融服务？

ChatGPT大语言模型需要与用户进行有效的交互，而金融行业的用户通常是非专业人士，对金融术语和概念不熟悉，需要进行有效的人机交互设计，以提高用户的体验和满意度，请各位专家分享一些金融行业在ChatGPT时代下人机交互场景方面的好思路和创意。

嘉宾回复：

daliu 系统架构师 , 某金融机构
在金融行业中，人机交互场景的设计需要考虑到用户的需求和体验，可以考虑以下几个场景：
1、智能客服场景：利用AI技术，包括NLP、语音识别、机器翻译等，打造智能客服系统、智能语音助手或聊天机器人等，来解答用户的问题和咨询，为客户提供更加高效、便捷的服务体验。
2、智能投顾场景：通过深度学习算法，为客户提供个性化的投资建议和服务，包括基金选择、投资组合管理等方面，提高投资收益率和风险控制能力。
3、自助银行场景：人工智能技术可以通过智能柜员机、智能ATM机等设备，为客户提供更加便捷的自助服务体验，包括账户查询、转账、购买理财等方面。
4、智能风控场景：通过大数据分析和AI技术，对客户的信用评估、风险评估等方面进行智能化处理，提高金融机构的风险控制能力。
5、市场调研场景：金融机构需要了解客户、市场和同业等信息，ChatGPT可以进行问卷调查以收集信息，然后分析该数据以生成对银行家做出决策有用的反馈。通过分析文本语言，ChatGPT能够帮助经营机构迅速了解市场舆情、竞品动态、客户需求等。
以上场景部分已有落地案例，AIGC技术的发展，势必会加快金融行业数智化进程。

dengjf99 软件开发工程师 , 某股份制银行
在银行APP中，已经上线了智能客服机器人，进行非人工的自动交互。很多机器人背后的问题相似问匹配等都已经使用了NLP技术，答案搜索也是用了一些基于知识图谱技术的知识库。但是由于在客户交互人性化、问题多样性方面的要求，整体效果还不是很好。
借助 ChatGPT高质量的对话功能，可以更新智能客服机器人的设计方式、答复质量和客户体验。

6、如何高效的GPU资源复用？

非训练场景下，测试环境如果只有少量的GPU卡，该如何进行GPU资源的复用（包括算力与显存）？

嘉宾回复：

Cui Xiaonan DevRel , NVIDIA英伟达
英伟达vGPU和Operator插件在hypervisor和k8s平台均可以实现GPU的切分和多卡复用的能力，具体可以参考Overview — NVIDIA Cloud Native Technologies documentation目前这两个组件都已经包含到NVAIE软件套件中。

dengjf99 软件开发工程师 , 某股份制银行
在模型推理的场景，如果没有GPU管理功能的K8S云平台支持，一个模型实例需要占用一张GPU卡。为了提高并行度，我们的经验是使用NVidia的Triton技术来实现一卡多实例的模型部署。

daliu 系统架构师 , 某金融机构
这就是典型的GPU共享场景，可以利用GPU虚拟化技术将测试环境资源进行池化，技术方案有很多：
1、硬件厂商方案，可以根据GPU厂商选择厂商提供方案，如Nvidia vGPU，AMD MxGPU，intel GVT-g，后两家都已经开源
2、采用头部云厂商方案，如阿里云 cGPU、 腾讯云 qGPU、 Vmware Bitfusion等
3、第三方厂商，如OrionX
以上方案都支持算力和显存切分，不过都依赖厂商方案，如果用K8S的开源插件，只能实现按卡粒度的分配，看是否满足要求。

7、GPU资源容器化，在底层的GPU框架上需要做哪些改变？业务开发要注意哪些？

嘉宾回复：

Cui Xiaonan DevRel , NVIDIA英伟达
GPU资源的容器化，可以更高效更快速更自动化实现环境置备和部署，对于其中需要的资源准备部分，会通过kubernetes的插件或Operator的方式去实现，建议客户参考英伟达提供原生开源的GPU Operator，英伟达发布的原生插件对于GPU的驱动及其兼容的CUDA版本有最好的兼容和适配性，不建议采用第三方通过CUDA拦截方式的插件，CUDA拦截的插件对于CUDA版本具有很强的依赖性，对于应用的适配和环境准备的限制都非常大，同时英伟达不提供CUDA拦截方式的技术支持。

官方GPU Operator的链接： Overview — NVIDIA Cloud Native Technologies documentation 。

8、目前金融机构建设的大数据平台如何适配或应用大语言模型数据处理？

嘉宾回复：

daliu 系统架构师 , 某金融机构
可以采取以下几种方法：

1. 预处理数据：对于大语言模型数据，需要进行预处理，包括分词、词性标注、命名实体识别等。通过这些处理，可以将大语言模型数据转换为更容易处理的形式，提高数据处理效率。
2. 使用大数据平台的高性能计算能力：大数据平台通常具有高性能计算能力，可以利用这些能力来加速数据处理过程。例如，可以使用大数据平台的MapReduce框架来进行分布式计算，从而提高数据处理速度。
3. 优化数据存储：大数据平台通常使用列式存储系统来存储数据。为了适配大语言模型数据处理，可以考虑使用更高效的数据存储方式，例如，使用闪存来代替传统的硬盘。
4. 开发定制化模型：如果需要更精确和灵活的数据处理方式，可以考虑开发定制化模型。例如，可以使用基于预训练模型的自定义模型来进行数据处理。

朱向东 高级工程师 , 中原银行
首先， 大语言模型数据处理是利用深度学习技术和自然语言处理技术对文本数据进行处理和分析的方法。通过大语言模型数据处理可以对大量的文本数据进行分析和挖掘，发现隐藏在数据背后的规律和趋势，为决策提供支持。那么， 在金融领域，利用大语言模型数据处理可以对金融市场数据进行分析和预测，对风险进行评估和控制，提高投资决策的准确性和效率；

对于 金融机构建设的大数据平台可以适配或应用大语言模型数据处理，个人理解理论上大概有以下内容吧
1.数据的采集方面，通过各种渠道采集数据，包括结构化数据和非结构化数据，例如交易记录、用户行为数据、新闻报道等。
2.数据的清洗方面，需要对采集到的数据进行清洗和去重，确保数据的质量和准确性。
3.数据的存储方面，需要将清洗后的数据存储到大数据平台中，例如Hadoop、Spark等。
4.数据的预处理方面，需对存储在大数据平台中的数据进行预处理，例如数据标准化、特征提取、 数据归一化、数据转换、数据压缩等。目的是提高数据质量和处理效率。
5.模型训练方面，应用大语言模型对预处理后的数据进行模型训练，例如深度学习模型、自然语言处理模型等。
6.模型评估方面，需要对训练好的模型进行评估，包括模型的准确率、召回率等指标。
7.模型优化方面，根据评估结果对模型进行优化，提高模型的预测能力和效果。
8.模型应用方面，将优化后的模型应用到金融业务中，例如风险控制、投资分析等。
9.可视化方面，需要对处理好的数据使用数据可视化工具将其呈现出来，实现更加精准和智能的数据分析和应用， 提高金融机构的业务效率和决策能力以及 客户服务水平。

9、ChatGPT在金融行业的应用场景有哪些？

个人认为chatgpt在金融业落地的时间不会特别早，现在是在炒作概念时期，虽然已经有相关公司推出相应的产品，但是产品还有待完善。技术迟早会进行升级，产品也会越来越完善，基于以上出发点需要做出前期准备工作，我认为应用场景才是大家需要提前考虑的。
1chatgpt的智能客服不会再被认为是人工智障
2开发工具，代码自动生成测试
3数据处理，提取数据不需要技术人员，同时对安全性提出更高要求
4前台业务操作替代柜员

嘉宾回复：

HiMyTWT 系统分析师 , 招商
ChatGPT在金融行业的应用场景目前来看，主要包括但不限于以下几个方面：

1. 金融客户服务： ChatGPT可被用于金融客户服务中，帮助客户解答常见问题和疑问，并提供相关金融产品的信息和服务。同时，ChatGPT还可用于识别客户的需求并为其提供定制化的服务。
2. 投资决策： ChatGPT可被用于分析金融市场数据、新闻和公告，并帮助投资人员作出决策。ChatGPT可被用于自然语言处理、文本分析和信息挖掘，帮助投资人员识别市场趋势和机会，并提供有价值的建议。
3. 风险管理： ChatGPT可被用于帮助金融机构进行风险管理和监测，通过分析大量的数据和信息，发现潜在的风险和机会，并提供有效的风险管理策略和措施。
4. 自动化客服： ChatGPT可被用于自动化客户服务，通过识别客户的问题和需求，为客户提供定制化的服务。这种方式可以节省客服人员的时间和精力，提高客户满意度，并降低运营成本。
5. 数据分析和预测： ChatGPT可被用于金融数据的分析和预测。通过分析金融市场数据和交易数据，ChatGPT可以识别趋势和模式，并预测未来的市场走势和交易机会。

朱向东 高级工程师 , 中原银行
除了你提到的金融领域的应用场景外，我个人理解ChatGPT技术在基于CallCenter和宣传营销等应用场景下，还有较多的扩展场景可以探索，比如：
1、智能客服应用，通过ChatGPT的自然语言处理技术实现自动回复和解决用户问题，提高客户满意度和服务效率。
2、机器翻译应用，通过ChatGPT可以将一种语言的文本翻译成另一种语言的文本，减少语言障碍，提高跨国交流效率。
3、内容生成应用，可以通过ChatGPT生成文章、新闻、商品描述等内容，减少人工编写的工作量，提高生产效率。
4、情感分析应用，通过分析文本中的情感色彩，了解用户的情感状态和需求，提高用户体验和产品质量。
5、个性化推荐应用，通过分析用户的行为和偏好，推荐符合用户需求的产品和服务，提高转化率和用户满意度。

daliu 系统架构师 , 某金融机构
前面两位回答挺到位了，其他就补充一些通用场景吧，比如：
1、办公服务，类似嵌入office软件或者一些能效工具，自动生成一些文档模板、excel处理之类的，提高办公效率
2、员工培训，可以通过ChatGPT内容生成能力，为员工提供个性化的培训方案和学习材料。

10、nvidia的paas层系统有没有面向金融领域的可以介绍一下？

嘉宾回复：

Cui Xiaonan DevRel , NVIDIA英伟达
对于您提到的PaaS，譬如在数据处理方向，通过RAPIDS可以实现Spark的数据处理及查询的加速，实现特征及ML模型的训练和部署，特别是针对相关性分析的GNN（图模型）也是在风险和欺诈邻域比较前沿的应用，在模型训练方面，结合预训练的模型，可以借助TAO实现迁移学习和模型训练的场景，针对AI应用的大规模部署，可通过Triton推理服务框架，实现生产级别的大规模推理服务的部署，譬如支持部署OCR等票据处理的应用。

11、GPU池化管理？

1、在没有GPU的服务器上的容器，能否远程调用GPU集群的GPU资源；
2、物理GPU服务器上的应用如何安全地迁移至迟化的GPU集群（P2V）；
3、ppt分享内容为产品理论介绍，是否有产品的可视化界面介绍，以及一个demo的使用说明介绍。

嘉宾回复：

Cui Xiaonan DevRel , NVIDIA英伟达

1. 英伟达不提供远程GPU调用的能力。
2. P2V的实现更多通过Hypervisor或K8s来实现。
3. NVAIE的软件界面主要通过hypervisor和k8s平台进行展现，同时GPU的切分和聚合的能力，也会集成到环境制备的过程中

zftang 其它
gpu资源共享的方法，包括：接收创建容器的请求；调用运行于操作系统的内核态的内核模块创建虚拟子gpu，使得所述虚拟子gpu占用真实gpu的部分资源；将虚拟子gpu适配到所述操作系统，使得虚拟子gpu对于所述容器可用；将所述虚拟子gpu挂载到所述容器，使得在所述容器被创建后所述虚拟子gpu利用所占用的真实gpu的部分资源处理所述容器的计算请求。

12、引入大模型后，现有AI平台应该如何优化提升算力？

引入大模型后，AI平台应该如何优化提升算力，以及AI平台架构对接数据中心现有架构对接需要有哪些改造？
如何设置合理的GPU等资源用于大模型推理，如果控制资源使用避免潜在问题发生？
部署大模型对AI平台建设配置等有什么要求
引入大模型后期该如何调优，在金融行业应用中大模型的准确率，精度大概可以可以达到多少
引入大模型后，对于大模型的监控该怎么弄，有什么可以参考的监控指标吗

嘉宾回复：

daliu 系统架构师 , 某金融机构
引入大模型之后，AI平台可以通过 增加GPU数量、升级硬件设备包括存储、网络配置、优化算法模型、优化计算资源调度算法等方式提升算力。
在设置合理的GPU等资源用于大模型推理时，需要注意以下几点：
1、合理规划GPU资源：根据数据中心的实际情况，合理规划GPU资源，避免资源浪费和性能瓶颈。
2、监控GPU使用情况：为了控制GPU资源的使用，需要监控GPU使用情况，及时发现和解决潜在问题。
3、优化GPU使用：根据大模型的特点和数据特征，优化GPU使用，如避免过度训练、调整模型参数等，以提高模型的准确率和效果。

部署大模型对AI平台配置要求如下：
1、高性能计算机：部署大模型需要使用高性能计算机，推荐裸金属服务器或高性能服务器。
2、大容量高性能存储：为了存储大模型的数据和模型，需要使用大容量高性能存储设备，如SSD等。
3、 高性能网络：使用高速网络设备，配置高性能网卡，使用高性能网络协议等

对于大模型的监控，可以参考以下监控指标：

1. 模型准确率：监控模型的准确率、召回率等指标
2. 计算效率：监控模型的计算效率、GPU的利用率等指标
3. 数据集大小：监控数据集的大小、数据分布等指标
4. 训练时间：监控训练时间、模型参数更新频率等指标
5. 资源消耗：监控资源消耗、计算和存储消耗等指标

12、容器云调度GPU资源？

容器云平台是否可以将GPU资源池化，类似CPU和内存资源一样跨服务器去进行灵活的调度？

嘉宾回复：

daliu 系统架构师 , 某金融机构
基本都可以，这个问题需要从容器云平台的提供商来看，实现方式不太一样，我们把提供商分成2类：
第一类就是头部云厂商提供容器云平台，基本都支持GPU资源池化，支持跨服务器进行灵活调度，同时支持单张卡的切分，即，多个pod可以共享一张卡，比如阿里云的cGPU，腾讯云的qGPU等；
第二类是规模较小的云厂商，采用k8s开源插件也能实现简单的GPU资源池化，只要GPU服务器在一个集群，也能实现跨服务器调度，但是他们不支持单卡切分，除非使用Nvidia vGPU技术或者引入第三方GPU池化方案。

13、大语言模型框架 Nemo Framework在金融行业有哪些落地实践？效果怎么样？

嘉宾回复：

Monica Wang NVIDIA AI Enterprise 产品经理 , NVIDIA英伟达
目前Nemo Framework EA版在被一些互联网公司和金融科技公司试用，试用反馈都非常正向。

14、中小金融企业能否利用chatGPT进行弯道超车？

在传统金融行业，大中小型企业的分类比较简单，投入基本可以决定了你在行业里的地位。
对于中小金融企业来说，chatgpt是否算是给我们提供了一个弯道超车的机会？
没有大范围的弹性资源池，没有巨额的IT投入，把有限的人力投入到类chatgpt应用的开发和业务的结合赋能中去，是否存在此种可能？想听一听专家的看法。

嘉宾回复：

dengjf99 软件开发工程师 , 某股份制银行
大模型的资金和软硬件资源的投入要求是非常高昂的，有的大行是规划了数以亿计的惊人投入，反而可能加剧马太效应。另外，大模型是一个以NLP技术为主的模型，并不一定能解决银行方方面面的业务问题。
建议在引入上还是以ROI评估为基础进行实施评估。

daliu 系统架构师 , 某金融机构
中小金融企业可以聚焦于具体的业务场景，科技投入和人才对中小金融企业都不占优势，因此建议中小银行可以通过第三方AI生态商或者通过区域联盟的方式引入较为成熟的类ChatGPT模型，只进行微调快速落地，目前弯道超车的机会在于打造具有标杆性质的业务场景，中小金融机构因为没有复杂的组织架构或系统反而更容易推进。

Cui Xiaonan DevRel , NVIDIA英伟达
首先LLM肯定是一个颠覆式的技术出现，确实提供一种弯道超车的可能性，针对中小金融机构，比较落地可能是甄选一个适合自己的模型尺寸（参数量），集合自己的场景深耕下游任务，可以采用Fine tune或微调的方式快速起步。

15、ChatGPT大语言模型时代的企业如何适用和选择？

ChatGPT大语言模型时代的企业如何适用和选择？例如落地过程中的具体挑战和企业的不适用性

嘉宾回复：

daliu 系统架构师 , 某金融机构
企业需要根据自身业务和需求来选择和使用大语言模型，以下是个人几点建议：
1、确定应用场景：要确定自身在语言模型方面应用场景，例如对于金融行业，需要关注的重点领域是投资、风控、客户服务等。
2、 评估模型能力：要评估大语言模型的能力，包括模型的准确率、召回率等指标，以确保模型能够满足业务需求。
3、投入成本，包括硬件成本、以及与自有系统集成和适配成本，评估投入产出比
4、数据安全：在使用大语言模型时，需要保障数据的安全性和隐私性

朱向东 高级工程师 , 中原银行
首先，ChatGPT是基于自然语言处理技术的AI模型，企业在适用和选择ChatGPT时需要考虑业务需求、数据质量、硬件资源、模型可解释性和服务支持等方面的问题，可以根据企业自身的实际情况和需求，选择适合自己的ChatGPT模型和服务提供商，并在使用之前要充分评估和规划相关的问题。
然后，ChatGPT在落地过程中可能会面临数据隐私、模型鲁棒性、模型可解释性、资源成本和可信度等具体挑战，同时还需要考虑企业自身的实际业务场景和需求，在考虑引入ChatGPT之前，需要充分考虑这些问题，并采取相应的措施来解决这些问题。

HiMyTWT 系统分析师 , 招商
随着大语言模型技术的不断发展，越来越多的企业开始应用这项技术来提高他们的业务效率和创新能力。下面是一些关于企业如何适用和选择大语言模型的建议：

1. 确定使用场景：企业应该在明确自己使用大语言模型的场景和目标后再进行选择。例如，语音识别、自然语言处理和聊天机器人等场景都可以使用大语言模型。
2. 考虑技术支持：大语言模型技术非常新颖和复杂，企业在选择供应商或云平台时需要考虑他们的技术支持能力和专业知识。供应商应该能够提供及时的技术支持和培训。
3. 注意数据安全和隐私：使用大语言模型时涉及大量的数据，企业需要确保数据安全和隐私保护。供应商应该有相应的安全保障措施和合规规定。
4. 选择适合的平台：企业可以选择云平台或搭建自己的大语言模型平台。选择适合的平台应该基于企业的规模、预算、技术实力等因素。
5. 关注成本效益：使用大语言模型技术需要考虑成本效益。企业应该了解使用大语言模型的成本和收益，并基于此做出决策。
   总之，企业应该在选择和应用大语言模型技术时认真考虑自己的需求和目标，同时注意数据安全和成本效益。选择合适的供应商或云平台并获得技术支持，有助于更好地应用大语言模型技术，提高企业的创新能力和效率。

总结：

1、金融企业落地大语言模型会遇到潜在问题：一是数据隐私问题、二是模型鲁棒性问题、三是模型可解释性问题、四是资源成本问题、五是可信度问题；
2、大语言模型由于模型体量大，对GPU显存要求高到一定程度的情况下，需要多机并行训练。在预算许可的情况下，可以采购高带宽的路由器。如果预算有限，可以试用类似英伟达NeMo的训练框架，通过框架提供的优化功能进行提速，这样可以减少网络对AI训练的影响；
3、ChatGPT在金融行业的主要应用场景：金融客户服务、投资决策、风险管理、智能客服应用、数据分析和预测等等主流金融应用场景；
4、引入大模型之后，AI平台可以通过 增加GPU数量、升级硬件设备包括存储、网络配置、优化算法模型、优化计算资源调度算法等方式提升算力。