大数据大数据（Big Data），是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
热点
在大数据时代下，金融机构需要采取一系列措施来保障数据安全，以下是一些建议：数据分类：将数据按照重要性和敏感程度进行分类，并采用不同的安全措施进行保护。例如，对于核心业务数据和个人隐私数据，需要采用更加严格的安全措施，如数据加密、访问控制等。数据加密：对于敏感数据，需要采...
实时流计算是指处理的数据源是一些不断产生新数据的连续流，并通过实时分析技术，将这些实时数据变为业务价值。流计算往往应用于大数据领域的数据分析，日志处理等场景。验证实时流计算结果准确性是非常重要且有挑战的。下面是一些验证实时流计算结果准确性的方法：1.使用样本对...
Redis·2023-02-24
在实际的项目开发过程中，许多业务场景都使用基于Redis进行分布式锁的实现，但其中一些场景的实现过程中往往并没有充分考虑到分布式环境中可能出现的各种陷阱问题～什么是“锁”？通常来讲，我们可以这样定义，即，锁是多个线程检查是否允许访问资源的单一参考点。因此，例如，如果一个线...(more)
存储·2023-02-22
如今，Redis已经成为互联网行业最流行的缓存解决方案之一。尽管（关系型）数据库系统(SQL)带来了许多出色的属性，例如ACID，但为了保持这些属性，数据库的性能在“3高”条件环境下下往往显得捉襟见肘、苍白无力。为了解决这个问题，我们往往需要在应用层（即处理业务逻辑的后端代码）和存...(more)
浏览1441
如果双录是新建，可以优先采用对象存储作为主存储，设置二级存储来归档冷数据。如果双录采用原传统架构的NAS或者块存储之类，需要二次优化，推荐参考本期海量数据优化章节的文章。
根据本人的实践情况，针对其中的几个现象，提出如下建议：现象一的情况：考虑使用 GET / _nodes/hot_threads 查看当前集群的热点线程，确认当前是写占用了大量CPU资源。其余几个现象与现象一存在共同点，读写性能问题，建议增加协调节点角色，帮助集群提前进行数据流量处理，单凭数据节...
数据治理·2023-01-29
基础设施平台融合之后按需为企业提供统一的基础设施资源服务，支撑业务系统对基础设施资源的敏捷部署、弹性扩缩容等需求。而数据越来越成为企业的核心资产，成为战略资源。数据只有被高效的利用起来，才能产生更大的价值，否则存储起来而不使用的数据是无法体现价值的。但现实面...(more)
