查看其它 1 个回答nkj827的回答

nkj827nkj827  项目经理 , 长春长信华天

证券 企业 的业务内容从传统单一的证券经纪业务发展到目前投资咨询、资产管理、投资银行等业务,现在又添加了股指期货、证券投资基金和理财等交易品种, 证券 业 务的发展 带动了企业 信息化建设 ,软硬件设备不断上线, 各类 业务系统和 安全设备每天产生大量的告警日志。庞大的运维告警日 志,难以有效的进行管理和分析。随着息技术的不断发展与应用,传统 证券 企业的运营流程正受到科技和大数据带来的巨大冲击和挑战,而海量的日志数据可以说是 证券 企业运维保障的一大难关,如何管理好这些日志数据,并从中挖掘更深层次的价值,已成为企业当前亟待解决的问题。

现在 证券 运维工作存在以下问题:

(1) 日志被分散的储存在不同的设备上 ,手动 管理数十上百台服务器,依次登录每台机器的传统方法查阅日志,即繁琐又效率低下。

(2) 日志的来源 广 ,格式多 ,管理难 :在 证券 企业中,各类网络设备、安全设备、操作系统、数据库、中间件、业务系统都会产生日志数据,日志数据量巨大,格式多样 且 不规范,存储复杂且分散,缺乏统一收集和管理的平台 , 运维人员无法集中查看日志,也无法基于海量数据进行数据挖掘及用户行为分析。

(3) 日志查询的方式原始:很多传统 证券 企业的日志查询方式相对比较原始,只能使用less、grep和awk等常见的linux指令,无法多维度查询,查询结果慢,并且存在风险。

(4) 无法实时告警:由于缺乏日志分析平台,导致企业无法进行日志的业务逻辑分析和告警,也无法发掘日志的内在价值 , 无法细粒度掌控系统全局健康状况。

对于证券企业不断产生的大量数据需要及时收集,实时分析,发现异常,为运维部门高效运维提供帮助。同时由于数据种类繁多、用于统计的维度也非常多样,这要求使用的统计工具要非常灵活,学习门槛要低,实施周期要短。证券日志管理分析平台是运维工程师解决系统故障,发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负载,性能安全性,从而及时采取措施纠正错误。

ELK stack(由三个部分构成,Elasticsearch负责日志的存储和搜索、Logstash负责日志的收集与加工,Kibana负责数据可视化展示)为我们提供了这样一种选择,使每个人都能够容易掌握,使需要专业技能才能开发的监控、运维系统不再遥不可及。大家都可以参与到运维监控系统的建设中,更好地监控、运维相关系统,真正实现高效、可视化运维。ELK stack实现证券运维日志管理与日志分析的优势:

(1) 检索性能高效,实时快速,可以对证券的业务系统运行的各种指标实时进行监控,及时发现各种异常并根据各个系统不同特点满足各种个性化的需求,虽然每次查询都是实时计算,但是优秀的设计和实现基本可以达到全天数据查询的秒级响应。

(2) 扩展能力强,不管是Elasticsearch 集群还是Logstash 集群都是可以线性扩展,支持TB级以上的海量日志数据的管理和分析。

(3) 处理方式灵活,多种接口Elasticsearch是实时全文索引,不需要像storm那样预先编程才能使用;

(4) 配置简易上手,Elastisearch全部采用JSON接口,Logstash是RubyDSL设计,都是目前业界最通用的配置语法设计。

系统集成 · 2019-08-10
浏览1542

回答者

nkj827
nkj82711331
项目经理长春长信华天
擅长领域: 存储灾备服务器

nkj827 最近回答过的问题

回答状态

  • 发布时间:2019-08-10
  • 关注会员:3 人
  • 回答浏览:1542
  • X社区推广