大模型行业应用落地IT基础架构建设难点探讨 - twt企业IT交流平台 - talkwithtrend，企业IT技术社区，帮助您融入同行！

大模型行业应用落地IT基础架构建设难点探讨

: catalinaspring副处长金融
关注3
个人主页
Ta的精彩回答
长尾场景下的数据如何清洗，有哪些方法、措施、注意点？
如果模型基于错误的、无意义的数据建立，那么这个模型也会出错。因此，如果源数据带有缺失...1赞同
在安全与隐私保护，如何考虑大模型与数据仓库结合过程中的数据安全和隐私保护？
几乎所有在线服务都在收集我们的个人数据，并可能将这些数据用于训练 LLM 。然而，模型会...3赞同
大模型趋势下，金融企业向量数据库如何进行高可用部署及实践？
高可用用于处理各种宕机问题，而宕机可以分成服务器宕机、机房级宕机，甚至是一个城市发生...2赞同
数据治理与大型模建设的相互影响有哪些？
效能建设的核心变量，在于数据治理。但这个“数据”，和大数据时代的“数据”，内涵又有很大...1赞同
大语言模型训练过程中，如何提供稳定训练断点保存和恢复的存储能力？
增加 checkpoint frequency ，减少 checkpoint time 和 retrieval time 有助于提升故障...1赞同

: 国金证券AI算法工程师AI算法工程师国金证券
关注0
个人主页
Ta的精彩回答
大模型微调过程中如何避免灾难性遗忘？
在大模型微调过程中，为避免灾难性遗忘，可以采取以下方法：知识蒸馏：在微调中使用知识蒸馏技...2赞同
长尾场景下的数据如何清洗，有哪些方法、措施、注意点？
在长尾场景下，数据清洗是至关重要的。以下是清洗长尾数据的方法、措施和注意点：异常值处...2赞同
当金融行业选择训推一体化架构建设大模型时，需要提前考虑那些方面的因素，通过那些方面进行可行性分析？
金融行业选择采用训练与推理一体化架构构建大型模型时，需要提前考虑以下几个方面进行可...1赞同
拥抱大模型趋势下，传统金融企业IT基础架构关键角色应该提升哪些核心技能以及提升路径建议探讨？
在拥抱大模型趋势下，传统金融企业IT基础架构关键角色应该提升以下核心技能：（1）深度学习和...1赞同
与传统业务场景相比，大模型对数据存储资源的需求有哪些相同与不同之处？
相同之处：数据量大：大模型和传统业务场景都需要处理大量数据，因此双方对于数据存储资源的...2赞同

: 罗文江云计算架构师某银行
从事银行私有云和公有云基础设施、以及混合云架构的建设，参预包括容器云等相关云服务的规划、技术选型、架构设计和实施，和业务连续性等保障体...
关注35
个人主页
Ta的精彩回答
如何构建可扩展且高可用的基础设施，以满足大模型的计算和实时推理需求？
1、技术路线上，建议在私有云平台构建AI大模型基础设施。2、在训练、推理工作负载上，根据...1赞同
金融行业建设大模型推理集群和训练集群时，如何选择合适的存储提升大模型的整体性能？
1、推理集群、训练集群：二个集群之间，需要交换大模型容器镜像，因为大模型容器镜像是有几...0赞同
关于大模型时代的企业GPU算力资源规划探讨？
1、企业建设满足大模型训推需求的算力中心，宜采用GPU上云的策略，在统一的私有云平台上，基...3赞同
大语言模型训练过程中，如何提供稳定训练断点保存和恢复的存储能力？
1、为支持和提升大模型分布式训练的断点重续能力，在存储上，需要提供TB级呑吐、千万级IOP...2赞同
如何快速加载大模型需要的数据并进行训练？
1、对大模型训练任务的加速训练效率有数据加速、存储加速和计算加速三种技术手段，此三...0赞同
如何构建高效的资源配置策略以支持大型模型项目？
1、大模型落地依赖的基础设施（包括GPU、存储、网络和人力），建设成本和运维成本高昂，企业宜...0赞同
企业大模型微调项目落地实施有哪些关键岗位角色及职责？
大模型微调项目，除了上述的架构师、业务分析师、软件开发工程师、算法工程师、大数据工...0赞同

: jinhaibo技术管理昆仑银行
关注5
个人主页
Ta的精彩回答
大模型微调过程中如何避免灾难性遗忘？
在微调大模型的过程中，确实可能会遇到灾难性遗忘的问题，即模型在优化某一特定任务时，可能...3赞同
长尾场景下的数据如何清洗，有哪些方法、措施、注意点？
长尾场景下的数据如何清洗我从大致需要注意点来进行谈谈我个人看法，希望可以给大家有参...1赞同
金融行业建设大模型推理集群和训练集群时，如何选择合适的存储提升大模型的整体性能？
在金融行业建设大模型推理集群和训练集群时，选择合适的存储可以大幅度提升大模型的整体...0赞同
大模型趋势下，金融企业如何进行向量数据库的技术选型评估？
金融企业在进行向量数据库的技术选型评估时，需要综合考虑多个方面，以确保所选的向量数据...0赞同
企业大模型数据治理你们更倾向哪些？并且可以说明选择倾向的理由？
大模型的数据治理和企业传统数据分析的数据治理在关注领域、流程、方法上是一致的，主要...0赞同
拥抱大模型趋势下，传统金融企业IT基础架构关键角色应该提升哪些核心技能以及提升路径建议探讨？
在拥抱大模型趋势下，传统金融企业IT基础架构关键角色应该提升以下核心技能：（1）存储管理岗...0赞同
与传统业务场景相比，大模型对数据存储资源的需求有哪些相同与不同之处？
相同之处：1、存储容量：无论是传统业务还是大模型，都需要一定规模的存储容量来存储数据。2...1赞同
如何快速加载大模型需要的数据并进行训练？
快速加载大模型所需的数据并进行训练，可以从以下方面进行考虑：（1）使用高性能存储系统：选择...0赞同
如何构建高效的资源配置策略以支持大型模型项目？
大模型项目是一个投资成本较高，项目直接回报比较难以衡量，投资回收期比较难以计算...0赞同
企业大模型微调项目落地实施有哪些关键岗位角色及职责？
在企业大模型微调项目的实施过程中，关键岗位角色及职责主要包括以下几类：项目经理：负责整...0赞同

: 朱向东高级工程师某银行
关注53
个人主页
Ta的精彩回答
大模型趋势下，金融企业如何进行向量数据库的技术选型评估？
在进行向量数据库的技术选型评估时，可以考虑以下几个方面：1、数据需求和规模：了解企业的...0赞同
大模型趋势下，金融企业向量数据库如何进行高可用部署及实践？
金融企业部署高可用的向量数据库可以采取以下运维实践和策略：1、部署集群架构：建立一个...2赞同
企业关于数据湖、湖仓一体、数据仓库等统一数据平台如何有效支持大模型的应用：经验、方法、难点探讨？
1、在设计数据平台架构时，需要考虑数据的存储、处理和访问方式。数据湖、湖仓一体和数...0赞同
拥抱大模型趋势下，传统金融企业IT基础架构关键角色应该提升哪些核心技能以及提升路径建议探讨？
提升技能路径建议肯定是要持续学习深造和实践了，大概建议如下：1、通过参加相关的培训课...0赞同
如何快速加载大模型需要的数据并进行训练？
1、使用GPU进行并行计算,利用GPU多核优势加速矩阵操作,大幅提升训练速度。2、开启数据...2赞同

: nxdy系统运维工程师nj
关注4
个人主页
Ta的精彩回答
拥抱大模型趋势下，传统金融企业IT基础架构关键角色应该提升哪些核心技能以及提升路径建议探讨？
1、要拥有独立的程序开发能力，精通python、C++等编程语言，*Python和C++都是非常重要的编...0赞同
与传统业务场景相比，大模型对数据存储资源的需求有哪些相同与不同之处？
一、传统业务场景和大模型场景在数据存储资源需求的不同之处如下：传统业务场景，包括交易...0赞同

在本场活动提问

活动明星榜

系统架构师某移动公司

本场活动获赞 12

国金证券AI算法工程师0110

AI算法工程师国金证券

本场活动获赞 8

联盟成员

副处长金融

本场活动获赞 8

课题专家组

云计算架构师某银行

本场活动获赞 6

课题专家组

技术管理昆仑银行

本场活动获赞 5

算法工程师无无

本场活动获赞 5

leonardo1216006

研发工程师某金融机构

本场活动获赞 5

课题专家组

高级工程师某银行

本场活动获赞 4

课题专家组

信息技术经理M

本场活动获赞 3

课题专家组

架构师建信金融科技

本场活动获赞 3

关于TWT 使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
© 2024talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30

X社区推广