近年来,随着万物互联,智能电话、电视、洗衣机、冰箱、各种传感器、甚至衣服都可以通过5G连接至互联网,大数据一词早已变得无处不在。但是,如果无法从数据中提取有用的信息,再多的数据也毫无价值。由于体量太大,单人单机已经无法处理和分析这些海量数据,大数据技术应运而生。然而...
(more)PG和redis在我们这里都有应用。作为数据库运维人员,习惯了操作传统的关系数据库,这一块一直是个短板,如何更好更快速的掌握这两种数据库?都需要看哪些资料
redis作为系统架构的中间层,介于应用和传统关系库比如mysql之间的缓存数据库,如果该层出现问题,业务是否会中断?还是说只是单纯的影响mysql主业务数据库的访问速度?
当前微服务架构的业务系统越来越多,无论是做缓存场景,还是内存数据库场景,redis的适用非常普遍,但是每套业务系统都部署一套redis集群,相当浪费资源,而且,考虑到同城和异地的信息系统建设,费用也相当之高,是否有机制可以类似中台一样,建立一个统一的redis平台,提供各种场景的服务?那...
(more)和传统的数据库相比,redis日常运维主要关注哪些方面?
想知道如何使用大数据分析“疫情",用了哪些具体技术和算法?想具体了解下公安,移动,社区,交管怎么联动分析的
如何应用容器化技术对传统的数据仓库及数仓应用进行改造和优化?我们目前使用的数据库环境不断更新,从传统的DB2,Oracle,迁移到MPP,Hive等,但数据的提取,加工和开放使用,还是沿用传统的ETL加工,Portal库+报表展现的方式。请问容器化技术能够应用在哪个环节,能否用于提高数据层的处理...
(more)redis哨兵集群采取1主2从的方式进行部署,用来存储三要素及对应的所属单位信息,总共约6亿条记录,每条记录100字节,约占用60G内存空间;数据来源于对方提供的的约400个子文件,目前的数据加载到redis的逻辑是:通过java代码读取所有文件,每10000条记录通过pipeline批量插入redis哨兵主...
(more)传统方式底层借助大数据平台提供计算资源,上层使用分析平台对数据进行分析,分析平台可容器化,而底层原有部署在裸金属上的组件,转换成容器化部署,是有实质性的优势,还是仅仅跟随潮流?...
(more)大数据平台业务分析人员,如何使用分析工具,提高跨工具、跨平台、多引擎的查询分析服务功能。
大数据平台能否取代传统的数仓报表平台,当然问这个问题是因为对大数据平台没那么熟悉,所以会有疑问,是否能取代,能否涵盖?大数据平台能否包含数据量大,非结构化数据处理,实时数据流,日志监控以及传统报表。如果不能,两者如何共存?...
(more)大的文件拆分成很多小的文件后,怎样用Hadoop进行高效的处理这些小文件?以及怎样让各个节点尽可能的负载均衡?
公司的数据仓库项目做重大迁移,db2彻底退服,上Oracle exadata,配置库变mysql(单机pcserver)。由于数据仓库项目的稳定性,公司开发决定放弃10年前的ETL工具,不再升级并支持新功能。数据仓库的ETL工具主要实现的数据装载(支持多种关系型数据库,校验、清洗、文件压缩等)、数据抽取(...
(more)大家好,麻烦推荐MPP的数据库产品和运维公司及他们的优缺点,厂商,类型(交易型或仓库型或两者皆有的HATP)