XSKY星辰天合
作者XSKY星辰天合2022-06-21 16:36
技术支持, XSKY

XGFS携手日志易 实现海量日志数据的存储和分析

字数 1733阅读 312评论 0赞 0

近日,北京星辰天合科技股份有限公司(以下简称:XSKY星辰天合)与北京优特捷信息技术有限公司(以下简称:优特捷)宣布合作,双方联手,基于海量日志数据的存储和分析场景,共同推出海量日志数据冷热分层解决方案。

日志分析, 助力企业IT智能运维运营

随着应用程序、服务器、云基础设施、IoT 和移动设备、开发运维等 IT 技术的高速发展,由服务器、网络、操作系统、应用程序产生的日志数据也出现了爆炸式的增长,海量日志中包含了系统、设施的各种异常信息和各种指标数据,亟需日志分析系统对其进行监控和分析,向企业提供准实时的故障告警、问题定位及业务分析服务,助力企业实现 IT 智能运维运营。
日志易是一款日志管理工具,由优特捷开发。它对日志进行集中采集和准实时索引处理,提供搜索、分析、监控和可视化等功能,帮助企业进行线上业务的实时监控、业务异常及时定位原因、业务数据趋势分析、及安全与合规审计。 本地SSD盘提供海量日志存储分析服务, 性能与容量不可兼得

随着IT系统和基础设施的大量使用,日志产生的速度非常快,每秒几百MB 到几个 GB。 在海量日 志的存储和检索需求下,本地 SSD 固态硬盘虽然可以提供高性能读写能力,但是在 日志数据量巨大的的情况 下,将面临以下问题:

1.面向海量日志数据存储,本地 SSD 固态硬盘存储成本高;

2.当搜索大量日志数据时可能会命中很多的日志数据,消耗资源大,将影响其他并发搜索任务,日志搜索实时性降低。

XGFS+日志易 海量日志数据冷热分层解决方案, 兼容海量存储和高性能分析

在实际场景中,日志搜索往往集中在最新的日志,历史数据搜索的概率较低。 为提升海量日志数据的存储与分析性能要求,降低数据存储成本,可通过 XSKY 分布式文件系统 XGFS 提供海量数据存储服务。

XGFS(XSKY Global File System)是XSKY星辰天合提供的新一代分布式文件存储系统。XGFS 基于灵活的 SDS 架构,提供统一命名空间服务,可存储百亿级文件数、百PB容量的数据。通过自研的多活分布式网关,可提供POSIX、NFS、SMB/CIFS、FTP、S3、HDFS 等丰富的文件服务并实现了全协议互通服务,被广泛应用于各行各业的非结构化数据存储中。

因此,XGFS 联手日志易,基于海量日志数据的存储和分析场景,共同推出海量日志数据冷热分层解决方案,方案如下图所示。

1.日志易日志分析集群可灵活数据副本策略,通过调整副本策略,减小了因副本过多导致的资源消耗,同时也保证了数据的可靠性。

2.通过本地 SSD 盘构建高性能热数据目录,存储最新的日志数据和索引数据,利用 SSD 盘的性能优势向上提供高性能的数据查询和分析服务。

3.分布式文件存储 XGFS 通过 NFS 协议,向日志易日志分析集群提供冷数据及索引存储目录。当日志数据超过一定的期限后,历史数据查询频率降低,数据将从热数据目录迁移到冷数据目录。

同时,XGFS 还提供了高性能EC、整池扩容、智能缓存 XSpeed 以及XCache 读缓存服务,降低数据存储成本并提升数据读写性能。

合作项目 案例

XGFS+日志易海量日志数据冷热分层解决方案目前已在多个证券、银行项目中得到了很好的实践,下面是安徽某证券项目案例的简单介绍。

1.日志易日志分集群,提供日志的采集和准实时索引处理、搜索、分析、监控和可视化等功能,实时监控业务异常并及时定位原因;

2.日志易分析集群层,数据副本策略为双副本模式;

3.数据分层策略为3个月以内的日志数据,存放在热数据目录中,3个月以外的日志数据,通过日志易日志分析集群的内部数据迁移能力,将数据从热数据目录迁移到冷数据目录中;

4.热数据目录通过本地 SSD 盘构建,存储3个月以内的热日志数据并向上提供高性能服务;

5.XGFS 分布式存储池,通过SSD 构建 XSpeed 智能缓存池,提供智能缓存服务,提升冷日志数据的写入性能;

6.XGFS 分布式存储池底层使用 HDD 盘构建 EC 4+2 数据池,提供海量日志数据的存储;

7.在上层业务访问查询冷数据目录内的日志数据时,XGFS 通过 Xcache 读缓存服务,向上提供高性能数据查询服务。

END

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表

日志分析平台选型优先顺序调研

发表您的选型观点,参与即得50金币。