大数据大数据（Big Data），是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
热点
实时流计算是指处理的数据源是一些不断产生新数据的连续流，并通过实时分析技术，将这些实时数据变为业务价值。流计算往往应用于大数据领域的数据分析，日志处理等场景。验证实时流计算结果准确性是非常重要且有挑战的。下面是一些验证实时流计算结果准确性的方法：1.使用样本对...
Redis·2023-02-24
在实际的项目开发过程中，许多业务场景都使用基于Redis进行分布式锁的实现，但其中一些场景的实现过程中往往并没有充分考虑到分布式环境中可能出现的各种陷阱问题～什么是“锁”？通常来讲，我们可以这样定义，即，锁是多个线程检查是否允许访问资源的单一参考点。因此，例如，如果一个线...(more)
存储·2023-02-22
如今，Redis已经成为互联网行业最流行的缓存解决方案之一。尽管（关系型）数据库系统(SQL)带来了许多出色的属性，例如ACID，但为了保持这些属性，数据库的性能在“3高”条件环境下下往往显得捉襟见肘、苍白无力。为了解决这个问题，我们往往需要在应用层（即处理业务逻辑的后端代码）和存...(more)
浏览1441
如果双录是新建，可以优先采用对象存储作为主存储，设置二级存储来归档冷数据。如果双录采用原传统架构的NAS或者块存储之类，需要二次优化，推荐参考本期海量数据优化章节的文章。
根据本人的实践情况，针对其中的几个现象，提出如下建议：现象一的情况：考虑使用 GET / _nodes/hot_threads 查看当前集群的热点线程，确认当前是写占用了大量CPU资源。其余几个现象与现象一存在共同点，读写性能问题，建议增加协调节点角色，帮助集群提前进行数据流量处理，单凭数据节...
数据治理·2023-01-29
基础设施平台融合之后按需为企业提供统一的基础设施资源服务，支撑业务系统对基础设施资源的敏捷部署、弹性扩缩容等需求。而数据越来越成为企业的核心资产，成为战略资源。数据只有被高效的利用起来，才能产生更大的价值，否则存储起来而不使用的数据是无法体现价值的。但现实面...(more)
数据治理·2023-01-29
在《从单体集成到平台融合》一文中我们提到了数据融合。数据融合的需求来自于应用融合，应用融合的支撑在于平台，应用融合的方式之一是微服务架构，微服务设计的关键在于数据，数据的质量保证是良好的数据治理。所以说到底数据融合关注的依然是数据治理。但数据融合的数据治理就...(more)
我觉得未来的信息化发展中。数据治理将会是一个巨大的问题。而其中特别以非结构化数据为主。不同于传统的结构化数据。正如题主所说。非结构化数据数据量大且杂乱，类型繁多增长数度快。未来的发展中我认为很有必要把非结构化数据作为一个独立的部分进行治理。在实际环境里...
