银行企业在建设日志分析的时候,如何进行技术选型?

参与10

3同行回答

nkj827nkj827项目经理长春长信华天
在银行运维日志管理与分析项目中搭建日志管理与分析的服务器和日志管理与分析软件是主要的两部分,服务器选用X86服务器,X86服务器的选型需要注意以下几点:内存管理(怎样能更好的发挥日志管理与分析软件的性能),物理和虚拟系统管理的结合,电力使用情况和冷却功能(符合当下数据中心...显示全部

在银行运维日志管理与分析项目中搭建日志管理与分析的服务器和日志管理与分析软件是主要的两部分,服务器选用X86服务器,X86服务器的选型需要注意以下几点:内存管理(怎样能更好的发挥日志管理与分析软件的性能),物理和虚拟系统管理的结合,电力使用情况和冷却功能(符合当下数据中心要绿色环保节能的要求)特性。服务器的供应商有联想、华为、dell、浪潮、华三等,这些供应商所提供的服务器产品系列都具备了企业级的扩展和设计功能、可加速性能、提高可用性、扩大内存容量、更有效地管理内存、加速虚拟化、提高电源使用率并加速散热,与由二线或三线的服务器供应商所制造的x86服务器相比,这些供应商的服务器提高了可管理性,并提高安全性。
银行运维日志管理与分析系统可供选择的系统有开源的系统和商业的系统两类,开源的系统有Apache Hadoop,Spark和ElasticSearch,Hadoop和Spark可以在HDFS中存储JSON文件进行分析和处理,ElasticSearch还可以存储JSON文件进行搜索和多面搜索。每个工具仍然有一个适合他们的地方。Elasticsearch已经开始扩展超出搜索引擎,并添加了一些分析和可视化功能,但仍然是其核心,它仍然主要是全文搜索引擎, Elasticsearch在日志管理和分析领域越来越受欢迎,其开源的Logstash用于服务器端日志采集和开源可视化工具Kibana。
Splunk 是机器数据的引擎。使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备生成的快速移动型计算机数据。Splunk个人版可永久免费使用500M以下日志量,企业版不限日志量但其价格高,又缺乏配套服务支持,并不能满足中国本土企业客户需求。
日志易是国产日志管理与分析系统,提供部署版及SaaS产品,目前SaaS产品日志量500M以下,可永久免费使用量,官网既有产品体验入口。部署版不限日志量。
Apache Hadoop和Spark更适合大数据的处理,Hadoop是批量离线处理,对于监控、告警、实时分析就不适用了。Splunk 和日志易的人个版可使用的日志量比较少不适合银行大量日志的管理和分析。ELK由Elasticsearch、Logstash和Kibana三部分组,Elasticsearch负责日志数据的分布式存储以及全文检索、Logstash负责日志的收集与加工,Kibana负责数据可视化展示。ELK架构为日志数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理平台。 三者相互配合,取长补短,共同完成日志数据分布式处理工作。

收起
系统集成 · 2019-06-14
浏览2099
匿名用户匿名用户
互联网行业以业务快速发展为导向,业务开发迭代快,结合业务特性其IT系统的发展趋势具备以下特性:1、系统建设硬件选型偏向X86服务器为主,以通用的产品为体系,以开源可控的产品和技术为核心,在高可用、自动化、大数据等领域大量使用开源软件为主要的解决方案。2、采用通用的技术,...显示全部

互联网行业以业务快速发展为导向,业务开发迭代快,结合业务特性其IT系统的发展趋势具备以下特性:
1、系统建设硬件选型偏向X86服务器为主,以通用的产品为体系,以开源可控的产品和技术为核心,在高可用、自动化、大数据等领域大量使用开源软件为主要的解决方案。
2、采用通用的技术,面向广大的互联网用户,业务使用对象复杂,需求繁复,对象数量庞杂,对自动化运维、资源弹性扩缩的要求较高。
3、重业务发展轻运维投入,运维人员的技术水平良莠不齐、薪酬浮动空间较大,运维人员知识的学习多数借助互联网自学,并且对应职责领域较广,同时人员流动性大,公司的运维人员往往是技术人员兼顾,随着业务的快速发展,系统复杂性的日益繁杂,导致运维能力和业务发展严重脱节。
基于以上几点,为了保障系统稳定性和快速发现、定位故障,互联网公司在日志产品的选择上往往会考虑开源的日志工具
商业银行不同于互联网行业,其IT系统特征如下:
1、在相关业务的核心应用环节使用IOE硬件。
2、业务需求非常明确,用户数量固定。具有明显的行业应用特点,与业务的结合很深,软件解决方案偏向成熟的商业产品并长期使用。
3、运维人员单一领域素质较高,培训体系完善,职责稳定。
基于以上几点,商业银行在日志平台建设中,往往不会选择ELK等开源工具而会选择商业化的日志平台

收起
互联网服务 · 2019-06-15
赵晓勇赵晓勇项目经理日志易
你好,银行业务系统众多,银行业务日志量巨大,银行业务日志量产生速度快。需要准实时收集、展示出来,需要花费较长时间的定制开发工作。目前通用的elk中elasticsearch又面临收费的问题。日志易在国内已经完成数十家银行日志分析,能够实现每日几十TB的数据分析。我们在银行业中有...显示全部

你好,银行业务系统众多,银行业务日志量巨大,银行业务日志量产生速度快。需要准实时收集、展示出来,需要花费较长时间的定制开发工作。目前通用的elk中elasticsearch又面临收费的问题。
日志易在国内已经完成数十家银行日志分析,能够实现每日几十TB的数据分析。我们在银行业中有众多客户,欢迎到日志易官网体验日志易产品。

收起
互联网服务 · 2019-12-25
浏览1755

相关问题

相关文章

问题状态

  • 发布时间:2019-06-14
  • 关注会员:4 人
  • 问题浏览:3764
  • 最近回答:2019-12-25
  • X社区推广