大数据大数据（Big Data），是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
热点
1、就银行核心的数据库存储IOPS而言，各家银行核心业务系统和所采用的存储设备等均有所不同，所以IOPS可能也有很大的差异，一般情况下，在批处理时段峰值大约在170000左右，日间峰值大约在80000左右，交易量较少的低谷期大约1500左右。2、针对跑批量的数据平台来说，各家银行的系统设...
数字化转型·2022-11-09
都知道数字化转型以数据为生产要素，通过云计算、大数据、人工智能等技术对数据进行分析、挖掘、洞察，促进生产方式、生活方式等的变革和创新。但对数据进行分析、挖掘和洞察等，往往需要很高的数据质量才能取得比较好的效果。当前很多项目的大部分时间其实是花在对数据的处理...(more)
数据存储·2022-09-27
针对银行OLTP场景，我认为 国产数据库在存储引擎方面最重要的考量项有缓存管理和事务管理等， 缓存管理关键在于缓存替换算法，节省内部开销， 当然还要考虑各种query pattern对cache的影响， 很多新的研究开始尝试引入机器学习的方法来优化cache淘汰算法，以及有效的管理cache， 事务...
标准sql的支持、对大数据量的高并发、高性能的支持，以及sql的自动优化能力
中间件容器化比较让人头疼的就是存储问题。常见存储方案：hostPath，灵活性和安全性都很弱NFS/NAS，存量巨大，性能中等，适合IO不敏感的应用SAN，成本高、管理复杂、供应商多分布式存储，适合通用方案、架构复杂、IO能力看硬件从上面我们能看出，用SAN的性能会比较好，但代价或成本较高。...
