在专业领域的智能客服场景上，需要构建本地知识库，借助大模型的理解能力，通过RAG增强检索生成的方式来给到专业领域的问答回复。在这个流程中，向量数据库如何选择？选定一个向量数据库后，如果检索效果不合预期，有哪些优化的方向和措施？如何轻量化避免或者优化不可控的大模型回复，以...(more)

大模型分布式训练任务对存储容量需求大和性能要求高，包括：（1）训练数据的I/O读取要尽量读得快，减少计算对 I/O 的等待；（2）断点重训中容错 checkpoint 文件的保存和加载，要求数据存取可以高吞吐低时延，以减少大模型训练中断的时间，提升训练效能。         大模型推理部署时，需...(more)

背景：银行业运维过程中变更管理场景，如何快速评估变更影响范围，并提前准备好验证方案，实现变更管理的智能化运维。思考：当前大模型发展迅猛，能否利用大模型技术解决运维变更影响范围智能化评估工作，提高运维工作效率。...(more)

背景：银行业运维过程中的应急保障场景，如何快速定位问题根源实现智能化运维一直是运维工作的难点。思考：大模型发展迅速，能否利用大模型技术解决这个难点问题，辅助运维人员快速定位故障根源的可能范围，以便快速恢复故障，保障业务安全稳定运行！...(more)

金融行业面对大量以后大量的AI使用业务场景，对于一个中小型城商银行要建设一个高算力高并发运行的AI数据中心，从性能需求、成本因素、硬件兼容性、扩展性、生态支持、场景特点、易维护性、未来发展趋势等维度来分析ROCE、INFINIBAND、PCIE、NVLINK技术路线的选择策略，以及优...(more)

面对大量并发运行的 AI 任务，如何确保编排管理系统能够稳定可靠地处理大规模的部署和管理操作，在弹性资源分配、自动化部署、负载均衡策略、分布式数据存储、通信优化策略、容错与恢复机制、分区分片等方面可以采用哪些措施，维持系统的高性能和可扩展性？...(more)

AI 工作负载通常具有不同的资源需求特点，如何高效地在众多容器之间进行精准的资源分配和调度，在资源监控和评估、资源预留和限制、智能调度算法、弹性伸缩、资源隔离、监控和调整等方面可以采用哪些措施，以确保各任务的性能和效率，同时避免资源浪费或不足？...(more)

英伟达、AMD、英特尔等国际大厂主导GPU市场，但中国国产GPU厂商正迅速崛起，挑战市场领导地位，展现技术突破之势，力争打破国际厂商的市场壁垒。 建设AI数据中心，进行主流GPU卡选型分析，国产GPU厂商技术与国际厂商差距有多少？主要体现在哪些方面？...(more)

搬迁过程中，受到颠簸或者各种因素的影响，有的到了新中心，设备起不来，故障，异常，需要重装等的问题，如何最大限度的避免？

在搬迁后，到了新数据中心，静默24小时，这个有没有必要？

金融市场快速变化，模型如何能够实时更新以反映最新的市场情况。

如何确保训练数据的质量和可靠性，避免引入偏见和错误。

通用大模型训练的语料数据往往来源于互联网，针对金融监管业务场景，提高大模型能力的专业性和精准度，往往需要结合专有数据进行模型微调和二次训练，这就需要金融机构具备大规模算力基础设施、专业的模型训练知识和AI专业人员，应用建设成本千万级别。大家一般在这方面是如何考虑...(more)

金融机构涉及大量的个人信息和敏感数据，如客户身份信息、交易记录、财务状况等金融相关数据。作为强监管行业，无法使用专业业务数据进行线上大模型操作和服务调用，从监管和安全方面考虑，如何建立既能符合自身专业场景的大模型应用，又能兼顾线上最新大模型服务的易用和性能使用...(more)