保险企业为什么要上运维日志管理与日志分析项目?

参与13

2同行回答

nkj827nkj827项目经理长春长信华天
随着保险业务的发展,各保险企业经过多年来对信息化的不断加大投入和完善建设。系统的安全防护设备也日益增多,各类安全设备每天产生大量的告警日志成千上万条。庞大的运维告警日志,难以有效的进行管理和分析。随着息技术的不断发展与应用,传统保险企业的运营流程正受到科技和...显示全部

随着保险业务的发展,各保险企业经过多年来对信息化的不断加大投入和完善建设。系统的安全防护设备也日益增多,各类安全设备每天产生大量的告警日志成千上万条。庞大的运维告警日志,难以有效的进行管理和分析。随着息技术的不断发展与应用,传统保险企业的运营流程正受到科技和大数据带来的巨大冲击和挑战,而海量的日志数据可以说是保险企业运维保障的一大难关,如何管理好这些日志数据,并从中挖掘更深层次的价值,已成为企业当前亟待解决的问题。
现在保险运维日志管理与分析工作存在以下问题:
(1)日志的来源众多,格式复杂:在保险企业中,各类网络设备、安全设备、操作系统、数据库、中间件、业务系统都会产生日志数据,格式多样,日志格式不规范,存储复杂且分散,缺乏统一收集和管理的平台。
(2)海量数据,管理困难:保险企业每日产生的日志数据量巨大,并且分散在不同的服务器和网络安全设备上,运维人员无法集中查看日志,也无法基于海量数据进行数据挖掘及用户行为分析。
(3)日志查询的方式原始:很多传统保险企业的日志查询方式相对比较原始,只能使用less、grep和awk等常见的linux指令,无法多维度查询,查询结果慢,并且存在风险。
(4)无法实时告警:由于缺乏日志分析平台,导致企业无法进行日志的业务逻辑分析和告警,也无法发掘日志的内在价值。
(5)日志利用价值低:由于业务系统黑盒,企业不能进行业务逻辑分析,因此,无法细粒度掌控系统全局健康状况。
对于保险不同的计算机系统不断产生大量的指标数据,对于这些数据需要及时收集,实时分析,发现异常,为运维部门高效运维提供帮助。同时由于数据种类繁多、用于统计的维度也非常多样,这要求使用的统计工具要非常灵活,学习门槛要低,实施周期要短。
ELK stack(Elasticsearch(存储和搜索)、Logstash(收集)、Kibana(展示))为我们提供了这样一种选择,使每个人都能够容易掌握,使需要专业技能才能开发的监控、运维系统不再遥不可及。大家都可以参与到运维监控系统的建设中,更好地监控、运维相关系统,真正实现高效、可视化运维。ELK stack实现保险运维日志管理与日志分析的优势:
1、检索性能高效,实时快速,可以对保险的业务系统运行的各种指标实时进行监控,及时发现各种异常并根据各个系统不同特点满足各种个性化的需求,虽然每次查询都是实时计算,但是优秀的设计和实现基本可以达到全天数据查询的秒级响应。
2、扩展能力强,不管是Elasticsearch 集群还是Logstash 集群都是可以线性扩展,支持TB级以上的海量日志数据的管理和分析。
3、处理方式灵活,多种接口Elasticsearch是实时全文索引,不需要像storm那样预先编程才能使用;
4、配置简易上手,Elastisearch全部采用JSON接口,Logstash是RubyDSL设计,都是目前业界最通用的配置语法设计。

收起
系统集成 · 2019-08-07
浏览1763
疯狂的馒头疯狂的馒头产品经理日志易
其实不上也行,不过可能过不了保监会的检查。咱这么说,说一下上日志平台的好处:1.首先解决等保的问题。就是要存够时间。定期出审计报表。这是最基础的理由和需求。报表的功能强弱咱先不提。2.保险企业不管大小、网络设备、安全设备、操作系统、业务系统在没有做日志统一管理...显示全部

其实不上也行,不过可能过不了保监会的检查。
咱这么说,说一下上日志平台的好处:
1.首先解决等保的问题。就是要存够时间。定期出审计报表。这是最基础的理由和需求。报表的功能强弱咱先不提。
2.保险企业不管大小、网络设备、安全设备、操作系统、业务系统在没有做日志统一管理的时候请问阁下是如何管理和查询的?是不是每台设备登录?然后一页一页的翻或者登录几台服务器 去grep关键字。这个效率如何?上了日志平台主要解决日志数据或说机器数据信息孤岛的问题。
3.做了运维多年,哪些运维手段、或业务流是可以优化的?从哪里获得数据支撑呢?有没有考虑过在不同的业务环节、设备性能进行耗时性能对比分析来发现瓶颈提高运维效率呢?上日志平台其实就要解决平时异常监控的问题,发现耗时异常、交易异常、性能异常问题。
4.很多业务系统保单信息在日志报文中打印的很完整,想必大数据部门还是用原始的方式去从数据库抽数。有没有发现抽数的过程数据库慢的要死,sql巨复杂无比。这时候你可曾想过如果可以通过技术手段从日志平台清洗好数据直接调用?日志平台可以做到。
5.日志数据常常被低估但一直都存在。日志本身是一种事件的说明,该事件存在异常趋势或状态时都是运维人员需要关注的问题。
因此推荐上日志管理平台总结有几个词
1.为了等保
2.提高运维效率
3.发现瓶颈
4.告警
5.监控
6.运营

收起
软件开发 · 2019-08-12
浏览1657
日志易 邀答

提问者

airstuky
项目经理某金融银行
擅长领域: 数据库云计算服务器

问题状态

  • 发布时间:2019-08-06
  • 关注会员:4 人
  • 问题浏览:3028
  • 最近回答:2019-08-12
  • X社区推广