背景

人工智能技术正以一个前所未有的速度渗入各行各业，推动一场一场新的科技革命。经过近几年AI技术的不断发展，强大算力和先进的大语言模型为AI提供了合适的应用平台。大语言模型是自然语言处理的高阶阶段，让机器能够听懂人的命令、像人一样思考、像人一样工作，同时这项技术也催生了金融行业对大语言模型应用的需求。在智能客服领域，大语言模型可以更好地理解客户的问题和需求，从而更准确地回答客户的问题；可以处理多种自然语言任务，如文本分类、问答、对话等，使得银行的智能客服更加智能化，能够更好地为客户提供服务；可以快速地处理大量的语料数据，并且可以模拟真实场景下的对话，这有助于提高银行客服人员的工作效率，减少人力成本；可以更好地理解客户的需求和问题，并且可以提供更加个性化和定制化的服务，增强客户体验，提高客户满意度。大语言模型虽好，但是围绕着的数据处理、模型训练及优化等工作，也给金融企业带来了巨大挑战。 在此背景下，本场线上同业活动以银行业如何训练大语言模型优化智能客服等AI应用及所需资源进行交流探讨。

1、大模型AI下一步的发展趋势是什么？

**嘉宾观点：
李强 项目经理 , 中国工商银行**
感觉针对不同行业会发展出不同的大模型，现在大模型展现出的能力是多样化的，能理解语义，能总结分析，能生成图片视频，比如说游戏行业可能需要生成图片，新闻行业就需要生成文稿，而金融行业可能需要智能检索。

wenwen123 项目经理 , MM
模型规模的增长：未来，大型语言模型的规模可能会进一步增长。随着计算能力和数据集的增加，研究人员可能会设计更大、更复杂的模型，以提高模型的表现能力。
对话和交互能力的增强：当前的大型语言模型已经在对话生成方面取得了一些进展，但仍然存在挑战。未来的发展可能集中在提高模型的对话能力，使其能够更好地理解上下文、进行更自然的交互。
领域特定模型的发展：大型语言模型通常是通用的，可以应用于各种领域。未来的发展可能会集中在创建更多领域特定的模型，这些模型将针对特定领域的数据和任务进行优化，以提供更准确、更有针对性的结果。
联合多模态学习：除了文本数据，模型可能会开始整合多种模态的数据，例如图像、音频和视频。这将带来更广泛的应用场景，使模型能够处理更复杂的任务和更丰富的输入类型。
解决可解释性和伦理问题：大型语言模型的应用引发了一些关于可解释性、隐私和伦理问题的担忧。未来的发展可能会着重解决这些问题，使模型更具透明性和可解释性，并确保其应用符合道德和法律准则。
这些只是一些可能的发展趋势，未来的大型语言模型可能会出现更多创新和改进。随着技术的不断发展，我们可以期待看到更加强大和智能的语言模型的出现。

2、金融业中，哪些应用场景适合大语言模型并取得了实际的落地案例？

**嘉宾观点：
李强 项目经理 , 中国工商银行**
单就银行业来说，目前还处在探索阶段，一是探索如何搭建自己的大模型，二是在哪些场景使用，其中一属于二的前提。场景探索方面，各家几乎都首选智能客服，因为这是最容易切入的场景，客服领域有比较成型的问答库。其他的员工助手，投研报告什么的，无论你要他生成什么，你都需要先把要喂给大模型的数据准备好，而完成这件事也需要时间。

wenwen123 项目经理 , MM
在金融业中，大语言模型已经在多个应用场景中取得了实际的落地案例。以下是一些适合大语言模型的金融应用场景的示例：
金融客服和智能助理：大语言模型可以用于构建智能客服系统，回答用户的常见问题，提供个性化的服务和建议。这种应用场景可以提高客户服务的效率和质量，并减少人工客服的负担。
智能合约和合规审核：大语言模型可以用于自动审核合同和法律文件的合规性，发现潜在的风险和合规问题。模型可以帮助自动解析和理解合同条款，并与相关法律法规进行对比，提供快速且准确的审核结果。
投资和交易策略分析：大语言模型可以分析大量的金融新闻、公告、研究报告等信息，识别关键信息和趋势，并为投资和交易策略提供智能化的分析和建议。模型可以帮助投资者快速评估市场情绪、公司业绩和风险因素，辅助决策制定。
风险评估和信用评级：大语言模型可以分析大量的企业数据、财务报表和市场信息，用于风险评估和信用评级。模型可以帮助金融机构识别潜在的信用风险，预测违约概率，并提供个性化的信用评级和风险建议。
金融文档生成和摘要：大语言模型可以用于自动生成金融报告、投资摘要、风险披露等文档。模型可以根据给定的数据和要求，自动生成符合规范和风格的文档，提高效率和准确性。
这些是仅举例的一些金融应用场景，大语言模型在金融业中的应用潜力还有很大的发展空间。不过，需要注意的是，在金融领域使用大语言模型时，要确保模型的解释性、合规性和安全性，并与监管机构保持密切合作，以确保模型的有效应用和风险控制。

3、 NeMo针对银行对话式场景的训练和推理，能解决哪些问题？

视频中关于NeMo这个，对我们银行对话式场景的训练，主要是用来解决哪些问题？对我们在场景训练带来什么有价值的帮助？

**嘉宾观点：
dengjf99 软件开发工程师 , 某股份制银行**
NVIDIA nemo 是由英伟达开发，可用于数据收集、大模型训练、微调、部署。框架具备fine-tuning, prompt learning, and adapter techniques能力，对模型生成内容做优化，学习特定领域知识等；推理上框架使用 NVIDIA Triton优化 AI 推理；数据处理上，nemo包含全面的数据预处理功能，能完成数据过滤、重复数据删除、混合和格式化等工作。

wangshanshan 架构师 , 英伟达
英伟达NeMo是一个开源的对话式AI框架，里面包含三个大的部份，包括提供英伟达自己的语音转文字(ASR)的模型的训练和调试，大语言模型(LLM)和文字转语音(TTS)的模型等服务。客户可以根据自己实际业务需求和企业内部数据自己进行模型训练和调试以及准确度对比，并可以结合英伟达的TRT和Triton打造对话生成业务的流水线，在模型的精确度达到一定高度的情况下达到高并发和低延迟的服务体验。

4、在大模型计算中GPU如何加速计算？

在大模型计算中GPU如何加速计算？
1）GPU如何加速后台的模型学习训练过程？
2）在模型应用过程中，GPU是否也能起到加速作用？

嘉宾观点：
wangshanshan 架构师 , 英伟达
1）GPU如何加速后台的模型学习训练过程？
大模型训练由于模型参数尺寸很大，很难在一块GPU上进行训练，所以采用模型并行和数据并行的方式进行训练，具体可以参考英伟达megatron-lm或megatron-deepspeed。

2）在模型应用过程中，GPU是否也能起到加速作用？
不知道您是不是指大模型推理阶段，大模型的推理确实是现在比较热的技术话题，因为这直接影响到了模型服务的用户体验，英伟达提供开源的TensorRT模型推理优化框架
来做这方面的优化工作，可参考这里。

dengjf99 软件开发工程师 , 某股份制银行
1）大模型训练可以用英伟达megatron-lm或megatron-deepspeed、Deepspeed。
2）在模型推理过程中，使用FasterTransformer框架，也可以使用deepspeed框架进行加速推理。

5、对于中小商业银行来说，若要建设大语言模型，预计需要多少资源？需要做哪些前期准备工作？

现在大语言模型往往达到百亿/千亿级参数规模，模型容量非常大 ，对于中小银行来说，若要建设大语言模型，预计需要多少资源？需要做哪些前期准备工作？

嘉宾观点：
dengjf99 软件开发工程师 , 某股份制银行
作为起步资源来说，可以先购置若干台中高配的AI芯片服务器作为训练或推理服务器，英伟达或国产AI芯片的都可以，大概30-100w一台。

更简便的方法是使用大厂的云服务，现在逐渐完善大模型的云服务，再使用脱敏后数据做些微调训练，然后把模型拿回行内部署。

wenwen123 项目经理 , MM
对于中小银行来说，建设大型语言模型确实需要一定的资源和前期准备工作。以下是一些可能需要考虑的因素：
硬件资源：大语言模型需要庞大的计算资源来进行训练和推理。您需要考虑购买或配置适当的硬件，如高性能的服务器、GPU（图形处理单元）或者TPU（张量处理单元），以支持模型的训练和推理过程。
数据准备：建设大语言模型需要大量的训练数据。您需要考虑收集和清洗与银行业务相关的数据，包括文本数据，如银行报表、客户交流记录、金融新闻等。同时，您还需要确保数据的质量和合规性，以保护客户隐私和敏感信息。
人力资源：建设大型语言模型需要一支专业的团队来负责模型的训练、调优和部署。您可能需要招聘数据科学家、机器学习工程师、自然语言处理专家等领域的专业人员，以确保模型能够达到预期的效果。
模型训练和调优：训练大型语言模型是一项复杂而耗时的任务。您需要选择适当的训练算法和技术，并调整模型的超参数以达到最佳性能。这可能需要进行多次迭代和实验。
安全和合规性：在建设大型语言模型时，安全和合规性是非常重要的考虑因素。您需要确保模型的使用符合相关法律法规和行业标准，并采取必要的安全措施，以防止滥用和数据泄露的风险。
成本预算：建设大型语言模型可能需要相当大的投入。您需要评估各项资源的成本，包括硬件、人力、数据采集与清洗、训练和部署等。确保您有足够的预算来支持整个建设过程。
总的来说，建设大型语言模型对于中小银行来说是一项复杂的任务，需要充分的资源和专业知识。在决定建设之前，建议您与相关领域的专业人员进行详细讨论和评估，以确保您能够满足建设大语言模型所需的要求和挑战。

6、金融机构如何处理大量的敏感数据，同时训练大语言模型来优化智能客服等人工智能应用时保护用户隐私？

金融机构如何处理大量的敏感数据，同时训练大语言模型来优化智能客服等人工智能应用时保护用户隐私？

嘉宾观点：
wenwen123 项目经理 , MM
处理大量敏感数据和保护用户隐私对金融机构来说是至关重要的。以下是一些金融机构可以采取的措施来处理敏感数据并保护用户隐私的建议：
数据分类和访问控制：对敏感数据进行分类，并根据用户角色和权限实施严格的访问控制策略。只授权特定的员工或系统访问敏感数据，并确保访问日志进行审计。
数据加密：对敏感数据进行加密，包括数据传输和数据存储阶段。使用强大的加密算法，并确保密钥管理的安全性。
匿名化和脱敏：在训练大语言模型时，可以采用匿名化和脱敏技术来保护用户隐私。例如，使用数据脱敏技术，如数据泛化、数据屏蔽或数据扰乱，以便在训练模型时去除个人身份和敏感信息。
数据最小化原则：仅收集和保留必要的用户数据，并且仅在完成特定任务或服务所需的时间内保留数据。及时删除或匿名化不再需要的数据。
数据安全审计和监控：建立有效的数据安全审计和监控机制，跟踪数据的访问和使用情况，并及时发现异常活动或潜在的数据泄露风险。
员工培训和意识提升：教育员工关于数据隐私和保护的最佳实践，强调他们对数据的责任和义务，并确保他们了解数据保护政策和流程。
合规性和法规遵循：确保遵循适用的数据保护法律和金融行业的合规要求，如GDPR、CCPA、PCI-DSS等。建立合规团队，确保数据处理活动符合法规要求。
安全合作伙伴选择：与可靠的安全合作伙伴合作，确保他们具备安全措施和流程，以保护您的敏感数据。
数据处理和存储的本地化：根据法规要求，将数据存储在可信赖的本地化数据中心或云服务提供商的特定区域。
审查和更新安全措施：定期进行安全审查和漏洞扫描，更新安全措施以应对不断变化的威胁和漏洞。
综上所述，金融机构应采取综合的措施来保护敏感数据和用户隐私，包括访问控制、加密、匿名化、数据最小化、安全审计和员工培训等。与此同时，确保遵守适用的法规要求，并选择可靠的合作伙伴来保护数据安全。

waring_id 系统架构师 , 美宜佳
大模型的训练不能直接使用带用户隐私的数据。
1、按照《数据安全法》和《个人隐私保护发》和行业规定先对敏感数据定级、分级处理
2、对相关数据脱敏、加密处理。可以参考微信用户的 openid 方式。需要对外和第三方交互的可以直接使用类似 openid 的方式。

zftang 其它
金融机构在使用人工智能技术时，需要处理大量的敏感数据，如客户信用卡信息、交易记录等。如果这些数据被未授权的人访问，就会对客户隐私造成极大的风险。因此，金融机构需要采取一系列措施来保护用户隐私，例如：
对数据进行脱敏处理，去除不必要的敏感信息；
采用加密算法对数据进行加密；
建立完善的权限管理体系，限制员工对数据的访问权限；
定期对系统进行安全审计和漏洞扫描。
同时，金融机构在训练大语言模型时，也需要注意保护用户隐私。例如，可以使用差分隐私(Differential Privacy)技术来保护用户隐私。

7、NVIDIA的GPU设备如何保障高可用，稳定运行？

NVIDIA的GPU设备如何保障高可用，稳定运行？如果出现故障，一般如何处理。

嘉宾回复：
wenwen123 项目经理 , MM
NVIDIA的GPU设备为保障高可用性和稳定运行，采取了多种措施。以下是一些常见的方法：
冗余设计：NVIDIA的服务器和工作站GPU通常采用冗余设计，包括冗余电源、冗余风扇和冗余组件。这些冗余机制可以在出现故障时提供备用的电源和组件，确保系统继续正常运行。
硬件监控和故障检测：NVIDIA的GPU设备通常配备有硬件监控功能，可以实时监测设备的温度、电压和风扇速度等参数。如果监测到异常情况，系统可以自动采取措施，如降低功率或触发报警。
驱动程序优化：NVIDIA的驱动程序经过精心优化，以提供稳定和高效的性能。NVIDIA定期发布驱动程序更新，以修复已知的问题和改进系统的稳定性。
远程监控和管理：NVIDIA的GPU设备通常支持远程监控和管理功能。这允许管理员远程访问设备并监控其状态。如果出现故障，管理员可以远程重启设备或采取其他必要的措施来修复问题。

如果NVIDIA的GPU设备出现故障，一般的处理方法如下：
检查错误消息：首先，管理员应该检查系统错误消息或警报，以了解故障的性质和原因。错误消息通常提供了有关故障的重要信息。
重新启动设备：尝试重新启动GPU设备，有时候简单的重新启动可以解决一些常见的故障。
检查连接和电源：确保GPU设备的连接稳固，并检查电源供应是否正常。有时候松动的连接或不稳定的电源会导致设备故障。
更新驱动程序：检查是否有新的GPU驱动程序可用，并尝试更新到最新版本。驱动程序更新通常包含对稳定性和性能的改进。
联系技术支持：如果上述方法无法解决问题，可以联系NVIDIA的技术支持团队寻求帮助。提供详细的故障描述和错误信息将有助于他们更快地诊断和解决问题。

总之，NVIDIA通过冗余设计、硬件监控、驱动程序优化和远程管理等手段来保障其GPU设备的高可用性和稳定运行，并提供相应的故障处理方法以应对可能的问题。

8、银行在大模型应用场景方面应该如何抉择是否替换传统模型？

私有化部署成本和大模型能带来的效益提升如何考量？

嘉宾观点：
dengjf99 软件开发工程师 , 某股份制银行
大模型和传统模型一样，对特定任务有特定的评估指标，首先评估指标要有提升，并且结果可控、稳定。
另外，大模型的部署推理成本较高，也要考虑ROI。

wenwen123 项目经理 , MM
对于银行来说，决定是否替换传统模型并采用大模型应该考虑以下几个关键因素：
数据规模和复杂度：大模型通常在处理大规模和复杂的数据方面具有优势。如果银行的业务涉及大量的数据，包括结构化和非结构化数据，而且这些数据之间存在复杂的关联和模式，那么采用大模型可能能够更好地挖掘数据中的信息和洞察力。
业务需求和挑战：银行可能面临各种业务需求和挑战，如反欺诈、风险管理、信用评估、市场预测等。大模型通常在这些方面具有更强的预测和分析能力。因此，如果银行的业务需要更高的预测准确性、更好的模式识别能力或更精确的风险评估，那么采用大模型可能是一个有利的选择。
私有化部署成本：大模型通常需要更大的计算资源和存储空间来支持其训练和推理过程。银行需要评估自身的技术基础设施和资源，包括服务器、存储设备、网络带宽等，并确定是否有足够的能力来承担大模型的私有化部署成本。这包括硬件和软件的投入以及相应的维护和更新费用。
效益提升：银行需要综合评估采用大模型后能够带来的效益提升。这包括通过更准确的预测和分析来降低风险和成本、提高客户体验、增加收入等方面的潜在收益。银行还需要考虑采用大模型所需的时间和资源投入，以及对现有业务流程和团队的潜在影响。

综上所述，银行在决定是否替换传统模型并采用大模型时，应该综合考虑数据规模和复杂度、业务需求和挑战、私有化部署成本以及预期的效益提升。这需要进行详细的需求分析、技术评估和成本效益分析，以帮助做出明智的决策。

9、金融大模型大概需要1000张GPU，若GPU数量只有要求的10%左右，企业还有必要做大模型吗？

嘉宾观点：
wangshanshan 架构师 , 英伟达

如果计算资源比较少，可以相对应训练模型参数大小不会太大，比如训练 6B，8B 参数并不需要一千片计算卡。

dengjf99 软件开发工程师 , 某股份制银行
100张卡的算力也已经很多了，用于十亿、百亿级别的模型训练完全足够了。

李强 国有银行
这个不依赖于GPU数量，还是一个，投资回报比和你们企业的需求是否强烈。
你需要评估企业对大模型的需求和目标。大模型通常可以用于处理复杂的金融数据和任务，例如风险管理、投资组合优化、高频交易等。如果这些任务对企业的核心业务至关重要，并且大模型能够带来显著的竞争优势和业绩提升，那么即使只有10%的GPU数量，开发大模型可能仍然值得。办法总比困难多，可以借助云平台等多种手段。

10、如何利用大语言模型来优化智能客服，实现更好的客户体验和提高客户满意度？

银行业如何利用大语言模型来优化智能客服，实现更好的客户体验和提高客户满意度？在实践中，可能会遇到哪些问题？如何处理这些问题？

嘉宾回复：
wenwen123 项目经理 , MM
银行业可以利用大语言模型来优化智能客服，并提高客户体验和满意度。以下是一些方法和面临的潜在问题以及如何处理这些问题的建议：
1、提供自动化答案：使用大语言模型可以创建一个智能客服系统，能够自动回答常见问题，例如账户余额查询、交易历史等。这可以提高客户的满意度，因为他们可以立即得到准确的答案。

潜在问题：模型可能无法理解复杂或模棱两可的问题，并给出正确的答案。
处理方法：建立强大的训练数据集，包含各种类型的问题和答案，涵盖常见的语义和语境变化。此外，引入适当的过滤器和人工审核机制来确保提供准确和可靠的答案。

2、实时交互和个性化回复：大语言模型可以实现实时的、个性化的交互，根据客户的具体问题和需求提供相关建议和解决方案。这可以增加客户的参与度和满意度。
潜在问题：模型可能产生不准确或不适当的回答，或者对敏感信息作出错误的回应。
处理方法：通过在模型的训练过程中引入专门的敏感性和道德性指导原则，确保模型提供恰当和安全的回答。此外，建立反馈机制，让客户可以报告不准确或不适当的回答，并及时进行修正和改进。

3、多渠道支持：银行可以利用大语言模型来提供多渠道支持，包括在线聊天、手机应用程序、社交媒体等。这使得客户可以随时随地获取帮助，提高了便利性和满意度。
潜在问题：不同渠道之间的一致性和连贯性可能存在问题，导致客户体验的不一致。
处理方法：确保模型在各个渠道上提供一致的回答和服务，通过定期的模型训练和更新，确保其适应各个渠道的不同语言风格和用户行为。

4、监控和反馈机制：实施智能客服系统后，银行应该设立监控机制来跟踪模型的性能和客户的反馈。这样可以及时发现问题并做出改进，确保系统持续优化。
潜在问题：模型可能产生偏见或不公平的回答，或者无法理解特定群体的语言或文化。
处理方法：通过多样化的训练数据和审查过程，避免或纠正模型中的偏见。银行还可以鼓励客户提供反馈，并针对不同群体的需求进行模型的调整和改进。

总之，银行业可以通过利用大语言模型来改进智能客服，并提高客户体验和满意度。然而，在实践中可能会遇到一些问题，但通过适当的训练、过滤和监控机制，可以解决这些问题并不断优化系统。

总结

在金融行业各位专家的参与下，通过本次交流活动理清思绪、灵感碰撞，帮助更多专家在大语言模型优化智能客服等AI应用，提供更加清晰的技术路线选择和经验借鉴，为以后大语言模型在各家机构落地和使用提供了宝贵参考。

交流达成的共识总结
1、大模型的发展趋势，针对不同行业会发展出不同的大模型，大模型展现出的能力是多样化的，能理解语义，能总结分析，能生成图片视频。
2、金融业大语言模型的场景探索，各家几乎都首选智能客服，客服领域有比较成型的问答库，优化智能客服，提高客户体验和满意度。另外在员工助手、投研报告等场景也表现不错。
3、建设大语言模型前期准备工作，是一项复杂的任务，需要充分的资源和专业知识，在硬件、数据、安全等相关领域的专业人员进行详细讨论和评估。