大数据处理
大数据处理
大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘
大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘

问题

银行信创·2022-02-21
Ocean_ · 华为技术有限公司 擅长领域:存储, 灾备, NAS(网络附属存储)
3 会员关注
1、不管是SAN、NAS、大数据存储,都是标准协议,在主机侧来说只要是标准协议的设备就可以接入,整体资源池的扩容是没问题的,只是单台设备的线性扩展可能受影响。当前来说还没有出现这样的极端情况,国内的供应情况也在改善,后续应该也不会出现,这种极端情况。 2、大数据平台存储方...
银行存储选型·2022-02-23
小书童78 · 戴尔科技 擅长领域:存储, 云原生, 云计算
2 会员关注
全闪是一个大趋势,对于较大数据量的跑批业务可以考虑具备压缩去重功能的全闪存储,性价比较高。后续几年随着QLC的逐渐成熟,成本或进一步下降,可能会形成SCM+TLC/QLC的层级化闪存模式。...
银行数据分析·2022-04-06
jinhaibo课题专家组 · 昆仑银行 擅长领域:人工智能, 大语言模型, 大数据
6 会员关注
数据分析类工具包括SMARTBI、TABLEAU、观远、PYTHON、R、sophon、SPSS、SAS、stata等。SMARTBI、TABLEAU、观远这些工具都是很不错的报表工具,可以进行数据的图表展示,对数据描述性分析,对于数据背后变化的原因,什么要素很重要,未来会发生什么,就不是这些工具的关注。为了做诊...
保险数据存储·2022-02-18
规划后,谁出钱,谁说了算。最好有费用核算机制,不一定真的按使用收费。提前定义好标准,按共识的标准投入和实施,比如最多支持多少并发用户,这种情况下响应延迟多少设备越多,对IT的维护来说越复杂。长期时,部分产品可能不再更新的可能性就越多。降低设备的复杂度,可以降低维护的工作...
医院存储·2023-11-07
mxin · 上海宝信软件股份有限公司 擅长领域:存储, 灾备, 服务器
481 会员关注
要有效控制医学影像数据的存储成本,可以考虑以下几个方面:数据压缩和优化:使用高效的压缩算法对图像进行压缩,以减少存储空间的需求。此外,还可以通过去除冗余信息、调整图像分辨率等方式进一步减小数据大小。归档和删除策略:制定合理的数据归档和删除策略,将不常使用的数据转移...
硬件生产国产芯片选型·2023-08-21
朱向东课题专家组 · 某银行 擅长领域:服务器, 存储, 数据库
55 会员关注
在数据存储选型中,国产CPU的选择对于整体系统性能和兼容性是非常重要的因素之一。CPU作为数据存储设备的计算和控制核心,它的性能和特性将直接影响到数据存储系统的处理能力、响应时间和可靠性。以下是在数据存储设备选型时需要考虑的一些关键点:1、评估数据存储的性能需求,...
银行数据安全·2023-03-18
jinhaibo课题专家组 · 昆仑银行 擅长领域:人工智能, 大语言模型, 大数据
6 会员关注
数据的分类分级是数据安全工作的基础,可以借鉴《华为数据之道》中的思路,先明确数据所有者,由所有者明确数据资产目录,分类分级,数据标准,数据质量,并管理数据。
银行大语言模型·2023-07-07
wenwen123 · MM 擅长领域:人工智能, 大语言模型, 云计算
8 会员关注
ChatGLM-6B 是基于 GPT-3.5 架构的大型语言模型,它使用了 6B 个参数进行训练。底层算法逻辑基本上遵循 GPT-3.5 的设计原则,主要分为两个部分:Transformer 架构和自回归生成。Transformer 架构是一种基于自注意力机制的神经网络架构,用于处理输入的文本序列。它由多个编码器...
银行大语言模型·2023-09-06
xuyy联盟成员 · 秦皇岛银行 擅长领域:人工智能, 大数据, 大语言模型
10 会员关注
数据清洗的步骤 (1)数据收集:从不同来源收集数据,包括客户信息、交易记录、市场数据等。 (2)数据预处理:对数据进行初步清洗,包括去除重复数据、缺失值处理、异常值处理等。 (3)数据整合:将不同数据源的数据整合到一起,确保数据的一致性和完整性。 (4)数据验证:对数据进...
大数据平台·2024-03-08
jinhaibo课题专家组 · 昆仑银行 擅长领域:人工智能, 大语言模型, 大数据
6 会员关注
根据需求,主要是处理30亿条交易数据,并利用机器学习为交易地址打上标签,使用Hadoop和Spark是一个合适的大数据平台方案。数据量:Hadoop适合存储海量的数据,并提供了多种技术组件用于查询和分析,由于本需求是30亿条数据进行存储和处理,所以选择Hadoop是合适的。Spark是基于内存的...

描述

大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘
大数据处理大致可分为四步:采集,导入/预处理,统计/分析,挖掘
X社区推广
  • 提问题