证券企业为什么要上运维日志管理与日志分析项目?

2回答

聂奎甲聂奎甲  项目经理 , 长春长信华天
半夏蒲公英泊涯yinxin赞同了此回答
证券 企业 的业务内容从传统单一的证券经纪业务发展到目前投资咨询、资产管理、投资银行等业务,现在又添加了股指期货、证券投资基金和理财等交易品种, 证券 业 务的发展 带动了企业 信息化建设 ,软硬件设备不断上线, 各类 业务系统和 安全设备每天产生大量的告警日志。庞大...显示全部

证券 企业 的业务内容从传统单一的证券经纪业务发展到目前投资咨询、资产管理、投资银行等业务,现在又添加了股指期货、证券投资基金和理财等交易品种, 证券 业 务的发展 带动了企业 信息化建设 ,软硬件设备不断上线, 各类 业务系统和 安全设备每天产生大量的告警日志。庞大的运维告警日 志,难以有效的进行管理和分析。随着息技术的不断发展与应用,传统 证券 企业的运营流程正受到科技和大数据带来的巨大冲击和挑战,而海量的日志数据可以说是 证券 企业运维保障的一大难关,如何管理好这些日志数据,并从中挖掘更深层次的价值,已成为企业当前亟待解决的问题。

现在 证券 运维工作存在以下问题:

(1) 日志被分散的储存在不同的设备上 ,手动 管理数十上百台服务器,依次登录每台机器的传统方法查阅日志,即繁琐又效率低下。

(2) 日志的来源 广 ,格式多 ,管理难 :在 证券 企业中,各类网络设备、安全设备、操作系统、数据库、中间件、业务系统都会产生日志数据,日志数据量巨大,格式多样 且 不规范,存储复杂且分散,缺乏统一收集和管理的平台 , 运维人员无法集中查看日志,也无法基于海量数据进行数据挖掘及用户行为分析。

(3) 日志查询的方式原始:很多传统 证券 企业的日志查询方式相对比较原始,只能使用less、grep和awk等常见的linux指令,无法多维度查询,查询结果慢,并且存在风险。

(4) 无法实时告警:由于缺乏日志分析平台,导致企业无法进行日志的业务逻辑分析和告警,也无法发掘日志的内在价值 , 无法细粒度掌控系统全局健康状况。

对于证券企业不断产生的大量数据需要及时收集,实时分析,发现异常,为运维部门高效运维提供帮助。同时由于数据种类繁多、用于统计的维度也非常多样,这要求使用的统计工具要非常灵活,学习门槛要低,实施周期要短。证券日志管理分析平台是运维工程师解决系统故障,发现问题的主要手段。日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负载,性能安全性,从而及时采取措施纠正错误。

ELK stack(由三个部分构成,Elasticsearch负责日志的存储和搜索、Logstash负责日志的收集与加工,Kibana负责数据可视化展示)为我们提供了这样一种选择,使每个人都能够容易掌握,使需要专业技能才能开发的监控、运维系统不再遥不可及。大家都可以参与到运维监控系统的建设中,更好地监控、运维相关系统,真正实现高效、可视化运维。ELK stack实现证券运维日志管理与日志分析的优势:

(1) 检索性能高效,实时快速,可以对证券的业务系统运行的各种指标实时进行监控,及时发现各种异常并根据各个系统不同特点满足各种个性化的需求,虽然每次查询都是实时计算,但是优秀的设计和实现基本可以达到全天数据查询的秒级响应。

(2) 扩展能力强,不管是Elasticsearch 集群还是Logstash 集群都是可以线性扩展,支持TB级以上的海量日志数据的管理和分析。

(3) 处理方式灵活,多种接口Elasticsearch是实时全文索引,不需要像storm那样预先编程才能使用;

(4) 配置简易上手,Elastisearch全部采用JSON接口,Logstash是RubyDSL设计,都是目前业界最通用的配置语法设计。

收起
 2019-08-10
浏览255
刘康刘康  系统分析师 , 日志易
Ardusty赞同了此回答
以我做过的项目为例,至少有下面几个原因:1.  机器数量众多,导致查看一个应用日志可能需要登录多台主机才可以定位到2.  告警困难,很多时候并不是 进程死掉了才需告警,而且里面出现了error 、或者其他关键字就需要告警,甚至是需要关联上下文进行告警。3. 问题追踪困难,比...显示全部

以我做过的项目为例,至少有下面几个原因:
1.  机器数量众多,导致查看一个应用日志可能需要登录多台主机才可以定位到
2.  告警困难,很多时候并不是 进程死掉了才需告警,而且里面出现了error 、或者其他关键字就需要告警,甚至是需要关联上下文进行告警。
3. 问题追踪困难,比如日志中发现 timeout关键字,是因为什么原因呢?交换机、防火墙、还是因为本身的系统问题导致timeout呢?
4.  实时性,不仅是前面说的告警、问题追踪的实时性还需要 统计需求实时性。
5.  需要定时汇报应用、系统情况

收起
 2019-09-07
浏览137

提问者

zxl1982系统架构师, 九州证券

问题状态

  • 发布时间:2019-08-09
  • 关注会员:3 人
  • 问题浏览:886
  • 最近回答:2019-09-07
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30