大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
互联网服务大数据·2020-05-06
近年来,随着万物互联,智能电话、电视、洗衣机、冰箱、各种传感器、甚至衣服都可以通过5G连接至互联网,大数据一词早已变得无处不在。但是,如果无法从数据中提取有用的信息,再多的数据也毫无价值。由于体量太大,单人单机已经无法处理和分析这些海量数据,大数据技术应运而生。然而...(more)
浏览8230
能源采矿PostgreSQL·2020-04-08
PG和redis在我们这里都有应用。作为数据库运维人员,习惯了操作传统的关系数据库,这一块一直是个短板,如何更好更快速的掌握这两种数据库?都需要看哪些资料
浏览8125
能源采矿Redis·2020-04-14
redis作为系统架构的中间层,介于应用和传统关系库比如mysql之间的缓存数据库,如果该层出现问题,业务是否会中断?还是说只是单纯的影响mysql主业务数据库的访问速度?
浏览10903
银行微服务架构·2020-04-17
当前微服务架构的业务系统越来越多,无论是做缓存场景,还是内存数据库场景,redis的适用非常普遍,但是每套业务系统都部署一套redis集群,相当浪费资源,而且,考虑到同城和异地的信息系统建设,费用也相当之高,是否有机制可以类似中台一样,建立一个统一的redis平台,提供各种场景的服务?那...(more)
浏览8116
IT咨询服务应用场景·2020-04-08
redis主要使用在金融行业的哪些业务场景?
浏览7683
IT咨询服务Redis·2020-04-08
和传统的数据库相比,redis日常运维主要关注哪些方面?
浏览5046
金融其它大数据·2020-04-03
想知道如何使用大数据分析“疫情",用了哪些具体技术和算法?想具体了解下公安,移动,社区,交管怎么联动分析的
浏览3920
电信运营商容器·2020-04-02
如何应用容器化技术对传统的数据仓库及数仓应用进行改造和优化?我们目前使用的数据库环境不断更新,从传统的DB2,Oracle,迁移到MPP,Hive等,但数据的提取,加工和开放使用,还是沿用传统的ETL加工,Portal库+报表展现的方式。请问容器化技术能够应用在哪个环节,能否用于提高数据层的处理...(more)
浏览4583
互联网服务Redis·2020-03-27
redis哨兵集群采取1主2从的方式进行部署,用来存储三要素及对应的所属单位信息,总共约6亿条记录,每条记录100字节,约占用60G内存空间;数据来源于对方提供的的约400个子文件,目前的数据加载到redis的逻辑是:通过java代码读取所有文件,每10000条记录通过pipeline批量插入redis哨兵主...(more)
浏览3979
软件开发大数据·2020-03-31
传统方式底层借助大数据平台提供计算资源,上层使用分析平台对数据进行分析,分析平台可容器化,而底层原有部署在裸金属上的组件,转换成容器化部署,是有实质性的优势,还是仅仅跟随潮流?...(more)
浏览3863
系统集成大数据平台·2020-03-30
大数据平台业务分析人员,如何使用分析工具,提高跨工具、跨平台、多引擎的查询分析服务功能。
浏览3046
生活生产服务其它大数据·2020-03-25
大数据平台能否取代传统的数仓报表平台,当然问这个问题是因为对大数据平台没那么熟悉,所以会有疑问,是否能取代,能否涵盖?大数据平台能否包含数据量大,非结构化数据处理,实时数据流,日志监控以及传统报表。如果不能,两者如何共存?...(more)
浏览3250
保险负载均衡·2020-03-04
大的文件拆分成很多小的文件后,怎样用Hadoop进行高效的处理这些小文件?以及怎样让各个节点尽可能的负载均衡?
浏览4869
IT咨询服务数据治理·2020-02-21
麻烦大家有没数据治理的普通实施方法提供,谢谢
浏览2829
电信运营商数据仓库·2019-05-28
公司的数据仓库项目做重大迁移,db2彻底退服,上Oracle exadata,配置库变mysql(单机pcserver)。由于数据仓库项目的稳定性,公司开发决定放弃10年前的ETL工具,不再升级并支持新功能。数据仓库的ETL工具主要实现的数据装载(支持多种关系型数据库,校验、清洗、文件压缩等)、数据抽取(...(more)
浏览7297
IT咨询服务大数据平台·2020-02-21
大家好,麻烦推荐MPP的数据库产品和运维公司及他们的优缺点,厂商,类型(交易型或仓库型或两者皆有的HATP)
浏览4112
X社区推广