大数据平台
大数据平台
大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。
大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。

问题

机器学习·2024-03-08
jinhaibo昆仑银行 擅长领域:人工智能, 数据库, 大数据
3 会员关注
根据需求,主要是处理30亿条交易数据,并利用机器学习为交易地址打上标签,使用Hadoop和Spark是一个合适的大数据平台方案。数据量:Hadoop适合存储海量的数据,并提供了多种技术组件用于查询和分析,由于本需求是30亿条数据进行存储和处理,所以选择Hadoop是合适的。Spark是基于内存的...
大语言模型·2024-01-10
mxin辛旻上海宝信软件股份有限公司 擅长领域:存储, 灾备, 服务器
480 会员关注
在当前的银行系统中,业务部门获取数据的方式确实存在一定的困难和门槛。为了降低业务部门对技术的关注度并增加对数据的关注度和分析,利用大模型实现类似于ChatGPT的问答方法是一个有前景的方向。这种方法可以使业务人员通过自然语言提问,然后由模型返回可执行的SQL查询,从而...
银行数据安全·2023-09-08
xuyy秦皇岛银行 擅长领域:人工智能, 大数据, 数据库
8 会员关注
结合我们行的情况,要想对数据进行分类分级,先要进行数据资产的梳理,一般厂商数据分类分级平台都有一个简单的资产梳理功能,是基于数据库层面而非业务层面的资产梳理。根据资产梳理的情况,根据 中国人民银行发布《金融数据安全 数据安全分级 指南 》(JR/T 0197—2020) 进行数据...
医院大数据平台·2023-07-21
陈健武汉市中心医院 擅长领域:大数据, 数据库, 数据库安全
10 会员关注
科研大数据需要的硬件需要结合建设内容。如果是传统的客养大数据平台,主要的工作数数据采集处理存储机上NLP,普通的集群和存储也可以满足,但是内存需要的资源会多一些,存储资源要大,毕竟基于数据的处理,可以考虑SSD。如果是多模态的科研平台,包括需要在这个科研平台上嫁接大模型...
IT咨询服务MySQL·2023-06-09
wangzk0206scrcu 擅长领域:数据库, 国产数据库, 数据库选型
95 会员关注
其实这个问题都不知道咋个回答。大数据平台使用的元数据库,可能每家都不太一样。例如华为的源数据库可能用的是它自己的gaussdb,其他厂商有的用mysql。针对mysql,我想这些大数据厂商基本用的都是社区版本的开源mysql吧,针对这部分性价比真的就没啥区别吧。除非它改动了开源版...
IT咨询服务MySQL·2023-06-09
既然已经知道是hive组件导致的MYSQL元数据库的问题,建议从以下方面着手:1、从hive组件着手a、检查是不是最近有新上的任务,没有经过代码审计或者SQL写的不规范的任务,占用资源过多,从而导致集群响应缓慢;b、检查hiveserver2和hivemetastore的参数,分析其日志,看看是不是由于参数...
IT咨询服务MySQL·2023-06-09
HIVE的问题分两类:1、hivemetastore通过集群的监控页面或者hivemetastore的日志分析查看hivemetastore的并发数量等参数的限制问题2、hiveserver21)、咨询查看是不是最近有新增加的任务,通过分析看看不是有异常的SQL语句等程序;2)、通过集群的监控页面或者hiveserver2的日志分...
银行人工智能·2023-04-14
daliu某金融机构 擅长领域:人工智能, 服务器, GPU
36 会员关注
通过AI智能化提取大数据平台数据并生成智能报表的步骤如下:数据准备:首先需要准备好大数据平台中的数据,包括数据清洗、数据处理、数据建模等步骤。建模与可视化:根据数据的特征和业务需求,选择合适的数据建模方法,建立数据模型。然后使用可视化工具(如Power BI、Tableau等)对数...
银行大语言模型·2023-04-12
daliu某金融机构 擅长领域:人工智能, 服务器, GPU
36 会员关注
可以采取以下几种方法:预处理数据:对于大语言模型数据,需要进行预处理,包括分词、词性标注、命名实体识别等。通过这些处理,可以将大语言模型数据转换为更容易处理的形式,提高数据处理效率。使用大数据平台的高性能计算能力:大数据平台通常具有高性能计算能力,可以利用这些能力来...

描述

大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。
大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。
X社区推广
  • 提问题