随着科技迅速发展，人工智能技术逐渐渗透到各行各业。算力是智能应用的基础和前提条件，算力需求评估与规划建设是模型能够高效训练和部署关键。在金融领域，如何针对信贷、风控、客服等不同场景，合理评估算力需求，选择算力资源和规划算力建设至关重要。本议题的主要讨论内容包括...(more)

在百模大战背景下，金融企业想要尝试各种模型的能力，体验在金融领域不同场景下各模型的优势，需要与各家场景签署协议，开通模型通用API，企业需要花大量的时间集成、维护这些API，然而在使用过程胡总也会有其他问题，比如：1、安全性与隐私保护：在应用后，确保数据在API调用过程中不会被泄...(more)

目前算力资源紧张，如何构建异构GPU算力资源池，以提升算力资源利用率？训练和推理的资源如何分配与隔离？

对于银行单位而言哪些中间件适合去容器化，怎么样去选择，因为目前在我们看来，像是redis、kafka一类的中间件做容器化是比较困难的？

金融场景中间件容器化的高可用、数据持久化、运维可控方面如何保障？在redis、mq、Kafka容器化架构、难点等方面的最佳实践经验分享一下！

对于中间件集群的配置，比如redis 一主多从，中间件容器化之后，相较与传统服务器上的配置 有什么不同呢？

大语言模型未来基础架构的应用趋势是否是容器+裸金属物理机部署？不知道大家对这块判断如何？欢迎大家投票后可以说出您判断的原因。

数据和知识获取困难 - 大模型需要大量高质量数据和知识进行训练，获取和管理海量数据的难度和成本很高，金融行业虽然数据量巨大，但是数据的清洗和筛选的过程耗时耗力。工程化能力缺乏 - 大模型更偏向系统工程,需要数据工程和模型工程能力，工程化人才短缺,隐性成本高于硬件成本...(more)

算力不足 - 高端GPU芯片如英伟达A10。0供应严重短缺,价格飙升，国产芯片算力不足。 - 大模型对GPU算力需求激增,现有算力无法满足广泛市场需求网络性能瓶颈 - 大模型采用分布式训练,节点间通信消耗大- 网络性能和可靠性决定集群有效算力,网络成为AI算力瓶颈。芯片适配问题 ...(more)

在智能投研、智能客服场景中，向量数据库需要处理海量的金融数据，包括文本、图像和时间序列数据等。这些数据的高维度特性对数据库的存储和检索性能提出了高要求。难点在于如何优化向量数据库的索引结构，以提高查询速度，同时保证数据的准确性和一致性。此外，数据的安全性和隐私...(more)

在智能客服系统中，GPU芯片的性能对自然语言处理模型的训练和推理速度至关重要。然而不同品牌和型号的GPU在兼容性、计算效率、功耗和散热等方面存在差异，导致实际应用中的性能表现不尽相同。此外，GPU资源的调度和管理也面临挑战，如何在多任务环境中高效分配和利用GPU资源是一...(more)

券商业务，特别是交易执行和风险管理，对数据存储系统有极高的性能要求。需要存储解决方案能够支持高吞吐量的数据读写，以应对高频交易产生的大量数据。同时，存储系统必须保证低延迟，以满足实时交易和分析的需求。此外，数据的安全性和可靠性也是券商业务中的重要考量，如何选择合适...(more)

在券商业务场景中，如高频交易和复杂金融分析，对计算资源的需求波动比较大。如何实现GPU资源的动态分配和弹性伸缩，以适应市场波动带来的计算需求变化，并且还需要保证模型响应速度。另外，如何在不同业务线之间智能分配GPU资源，同时保证交易执行的低延迟和高吞吐量。还需解决资源...(more)

想在企业运营中引入智能助手等AI应用场景，但实际过程中，企业的数据分布在多个系统，多个数据源，了解百度、阿里主流大模型，似乎无法对接多数据源，同时存在数据向量化问题。希望在企业智能运营场景给些实践或建议。...(more)

看到CPU厂家提到 ，对于推理场景，使用AMD 、intel 多核高性能CPU 也可以支持。对于这种技术层面是否有问题以及建议。

利旧升级、供应链、平衡建设成本等多种因素，存在希望把多家的GPU混合使用问题，对应异构GPU的资源管理、算力调度场景可行性和技术建议。