关于用于建模和机器学习的技术方案?

目前是技术方案选择的问题我们目前拥有离线区块链交易数据数据体量:30亿条交易数据,每条交易包含10个字段(主要的字段:发送地址、收款地址、交易类型、交易金额)我们想做的:根据业务需求提出分析策略,利用机器学习建立模型输出分析结果,为交易地址打上标签策略比如:实体聚集:多个账...显示全部

目前是技术方案选择的问题

我们目前拥有离线区块链交易数据

数据体量:30亿条交易数据,每条交易包含10个字段(主要的字段:发送地址、收款地址、交易类型、交易金额)

我们想做的:

根据业务需求提出分析策略,利用机器学习建立模型输出分析结果,为交易地址打上标签

策略比如:

实体聚集:多个账号行为、交易路径 相似度高的

路径符合:在有商品上架后,在限定的时间内进行了购买的地址。然后卖出,又买入了同一个其他商品的地址。

(几百万种商品在不同的时间上架)

整体工作包含

1,数据获取(完成)》

2,建设大数据平台〉导入数据》数据清洗〉

3,基础数据建模分析(抽象化分析)

4,机器学习算法分析

我们的疑问是:想要完成能够适配这个数据量的大数据分析(能够用于建模和机器学习),用什么大数据平台方案

我们现在打算使用hadoop和spark来完成此事

是一个好的选择吗

收起
参与5

查看其它 1 个回答jinhaibo的回答

jinhaibojinhaibo课题专家组技术管理昆仑银行

根据需求,主要是处理30亿条交易数据,并利用机器学习为交易地址打上标签,使用Hadoop和Spark是一个合适的大数据平台方案。
数据量:Hadoop适合存储海量的数据,并提供了多种技术组件用于查询和分析,由于本需求是30亿条数据进行存储和处理,所以选择Hadoop是合适的。Spark是基于内存的计算框架,擅长于大量数据的计算,适合本场景的需求。
容量扩展性:Hadoop和Spark在集群扩展上支持很好,物理上可以稳定支持数百台服务器的扩展,比较适合后续数据量的增长。
计算性能:Spark是一个基于内存的计算框架,适用于迭代计算和机器学习算法,可以显著提高处理速度和效率。
社区支持:这两个项目都有庞大的社区支持,可以方便地获取帮助和解决问题。技术选型上属于主流技术,能够较容易获得市场上的技术支持。

银行 · 2024-03-11
浏览176

回答者

jinhaibo
技术管理昆仑银行
擅长领域: 人工智能数据库大数据

jinhaibo 最近回答过的问题

回答状态

  • 发布时间:2024-03-11
  • 关注会员:3 人
  • 回答浏览:176
  • X社区推广