大模型作为新的应用范式,对数据存储的需求与传统业务有所不同。本议题交流核心是分析大模型应用对数据存储需求的特殊性在哪些方面? 又有哪些与传统业务数据存储需求一致的地方?...
(more)金融行业由于监管要求,对录音录像数据要求长期保留20年,总量约2PB。想请教业界经济适用、后期管理维护少的备份及存储方案?
单位要求进行系统从X86INTEL的服务器迁移到金融信创云,从X86迁移到ARM信创的。 我的系统情况如下:PG数据库71套,大概50TB的数据。均在线提供24小时不间断服务。HIVE HBASE数据 450TB。其他还有ES 500GB左右的数据。 系统还面临的情况是TPS特别高,大概3000左右的TPS。...
(more)微调过程中,有很多种种任务,如何收集和标注多种情况的数据,对提升大模型的综合能力应对有重要意义,希望大家可以针对:长尾场景下的数据如何清洗进行探讨,可以从方法,措施,以及注意点方面进行共识交流?...
(more)在银行风控领域,模型广泛地应用于舆情监测、客户关系挖掘、客户评级、异常预警等场景,也积累了大量的规则和算法,并产生了较大的价值。在当前大语言模型的讨论中,风控是比较热门的潜在应用场景之一,那么大语言模型的什么能力,有可能应用在风控的什么场景,并产生优于原有策略或模...
(more)采用本地盘、SAN存储还是NAS存储或其他类型?为什么要选用这些存储?
利用大模型算法实时检测业务和IT技术数据中的异常数据,结合业务运营和科技运维相关知识,识别异常数据是否影响业务的连续性和稳定性,并定位问题根源进行解决。该议题的共识将对金融行业用户提升业务连续性管理能力有显著价值。重点研讨和交流:保障业务连续性和稳定性是金融行...
(more)大模式如何与原有架构(如数据湖、湖仓一体、数据仓库)相结合,成为了企业架构中需要考虑的问题。企业需要对现有的数据架构进行全面的评估,了解其功能、数据处理能力、存储容量、查询性能等,有助于确定大模型与原有架构结合的方式和可行性。企业还需定义统一的集成接口标准,使大...
(more)议题中的业务数据主要是指金融行业应用系统运营过程中实时产生的业务属性相关数据,IT技术数据是指承载该应用系统机房、网络、服务器、操作系统、数据库等软硬件实时运行数据。主要面临困难:在金融行业中,如何将应用系统业务数据和IT技术数据进行充分融合,并利用大模型算法实...
(more)现阶段就是很多业务条线从我们大数据取数,但是这个数据应该怎么给到他才安全是个问题,能否在他提出取数要求之前,先让他知道他要取数的安全等级,然后领导再审批。就是提前做好数据分类分级,并且对不同等级的数据如何给出?...
(more)测试数据用sysbench写20个表x每表25000条数据,同步到redis要花半小时。请问各位大拿,问题出在什么地方呢?
非结构化数据量大,且杂乱,是否有必要做单独的数据治理,业界陆续也有专门做非结构数据管理的产品及解决方案了,未来是否有增长的趋势?以中台为例是否有必要做单独的非结构化的数据中台?...
(more)数据存储是数据安全的最后一道防线,但是存储是防勒索的第一道防线,在整个防勒索的过程中,如何让发挥存储在数据安全的作用?
针对保险行业的存储状况,在双录系统上线后,定必产生的海量音视频文件,及后在核保、理赔、甚至报销过程中也将涉及非常多的上传和下载的图片,如何更妥善地存储与处理它们?
传统金融数据如何转大数据平台,如何判断是否需要上大数据平台
实时数仓模型,常应用在实时营销;实时风控等领域,实时数仓的分层方式一般也遵守传统数据仓库模型,也分为了 ODS 操作数据集、DWD 明细层和 DWS 汇总层以及应用层。但实时数仓模型的处理的方式却和传统数仓有所差别,如明细层和汇总层的数据一般会放在 Kafka 上,维度数据一般考虑...
(more)