ELK运维日志分析银行Linux on powerHadoopspark

基于Hadoop、ELK和Spark等开源技术的银行运维日志分析平台架构设计探讨

基于Hadoop、ELK和Spark等开源技术的银行运维日志分析平台架构设计探讨

活动简介

银行IT系统规模不断增大,运维工作的复杂度面临前所未有的挑战。运维风险管理属于银行信息科技风险监管的重要部分。传统运维问题分析犹如在茫茫沙漠中寻找绿洲,是网络的问题?服务器的问题?数据库的问题?还是应用程序的问题?效率低、难度大。在运维日志中尽管可以找到蛛丝马迹,但是数据量太大、各个系统分散,难以快速判断、综合分析。随着大数据技术的发展,利用海量运维日志数据评估系统风险、整体进行性能监控、预测系统压力等提高运维管理效率成为可能。股份制银行、城商行开始尝试基于开源技术搭建运维日志分析平台。

2016年6月2日14:00-16:00,AIX专家俱乐部举办“基于Hadoop、ELK和Spark等开源技术的银行运维日志分析平台架构设计探讨”,将邀请某银行系统架构师和IBM实验室数据库架构师李胜利进行分享,已有20家银行系统架构师确认参与交流。李胜利将从运维日志分析价值、全量日志综合分析管理平台架构和技术特点、运维日志分析平台应用场景和基于Linux on Power搭建运维日志分析平台的优势四个方面进行分享。

本次活动主要探讨:

1. 银行运维日志分析平台能解决哪些业务需求中的问题,如报警机制、及早发现故障等?

2. 运维日志数据实时分析和批量分析需求并存、结构化数据和非结构化数据并存、数据种类多,运维日志分析平台架构规划应该如何着手?

3. Splunk、ELK、Saprk、Hadoop等用于运维日志分析的技术,如何选择,他们各自的优缺点有哪些? 

4. 当数据量达到TB级以上,如何避免平台架构出现性能瓶颈?

5. 银行运维日志分析平台在服务器的选择上该如何着手?


分享嘉宾

李胜利 IBM实验室大数据架构师

2001年从事IT行业,目前就职于IBM实验室服务团队,先后从事IT基础架构云的实施,Hadoop,Spark大数据平台的搭建,大数据应用的架构设计与故障排查系统调优,数据挖掘和机器学习相关工作。


欢迎银行系统架构师参与本次活动,提出您遇到的问题或关注的内容!如果您对本次活动感兴趣,欢迎您预先报名,只有报名会员才可观看视频课件、下载分享资料。

礼品

参与本次交流活动将有机会获取一本《银行业金融机构信息科技风险监管研究》,10个抽奖名额哦~

屏幕快照 2016-05-31 下午10.15.59.png

主题资料

基于Linux on Power构建运维日志管理平台

基于Linux on Power构建运维日志管理平台全量日志综合分析管理平台采用Hadoop, Spark, Elastic Search等开源大数据技术,实时采集系统和应用的各种日志,集中存放在大数据平台上,可用于快速搜索、查找和定位故障,从全局视角对日志进行分析和数据挖掘。借助PowerLinux强大的计算能力,大内存和高带宽,可提供高性能低成本的日志解决方案。

特邀嘉宾

tech4betterlife
信息分析/架构师IBM
擅长领域: 系统运维日志分析大数据
发布16
回答16

活跃参与会员

  • 科莱恩特
  • dotstar
  • kkukku
  • miss521
  • swallowluo
  • 彬彬
  • han11jiji
  • haizdl
  • chinaaix
  • Mrjiang
  • qq373793057
  • aboutim
  • liuhzln
  • doc
  • loveryue
  • Diy小宇
  • chinabond
  • soleon
  • adamsah
  • Coall
  • chenryn
  • gumphui
  • iiiiiu
  • my8503
  • qinkai
  • sephirose
  • zsuhl
  • 张欣然
  • tech4betterlife
  • Scott1981
  • eaglefree
  • wangyimin
  • penny_mxj
  • alpha048
  • 25000km
  • slamke
  • jiang9896
  • wangzhanmin
  • roywang
  • Yoanek
  • kaze
  • qirong
  • ivanruc
  • verynova
  • sunny1985
  • gyzhangjack
  • woshilib
  • lufeirong
  • DownToEarth
  • cakycookie
  • xzcc455
  • snowind09
  • davidzhou78
  • spark01
  • xjmenghuan
  • flanche
  • sunboy
  • hanbinggary
  • ttiswsy
  • Reliable_Engine
  • tiger_180
  • purple1229
  • gouyan
  • 狼来了
  • leonlee723
  • tian_thq
  • zhangmin_hg
  • pitt_peng
  • ahb_ll
  • andychiu
  • liandsh
  • myciciy
  • bbird006
  • colins
  • 爱如潮水
  • weiruan85
  • liuzhihai2010
  • sky1111
  • aigoppb
  • zlc_wf
  • bg1641321861
  • haifeng2388
  • ce97
  • gavin2012
  • zhoujia8218
  • hammer64
  • Brabo
  • yyc110011
  • bankinfo
  • 美国队长
  • sunwuhh
  • alaahong
  • hebejia
  • 日志易
  • anbc
  • junche
  • 朱明磊
  • boy461205160
  • Dongxl_HF
  • kevindang
  • xingsd163
  • ZeroD
  • liukang
  • longmen
  • aixchina
  • 晓黎
  • hunshiwangren
  • jw6561
  • Zzsky
  • tcq0086
  • ggl3333
  • fubijun
  • baizhaoxian
  • asdf-asdf
  • vidc
  • sky9690
  • 苏十一
  • david0405
  • cs_zhuhui
  • 北京老鹰
  • nkj827
  • niechun
  • 青山松
  • ericyan
  • cwnlinux
  • long0901
  • 张东焕
  • faye
  • cnpmc
  • ljq2184929
  • geqiting
  • single
  • mycortex
  • 21504233@qq.com
  • aken987
  • xiaoht7943
  • wuwenpin
  • 老男人
  • chenlii
  • super1260
  • crystalwmagic
  • dyb1987
  • xijiehaiqing
  • jinmaoshu3814
  • yinxin
  • cnboom
  • wyy
  • lzyuwei
  • sebas
  • iqlife
  • chengzuqiao
  • hmily198
  • wsjmax2002
  • llxyzll
  • wzhfs
  • kenzhang263
  • liubutnu
  • top_gu
  • zhoushao12
  • czhf
  • sempr
  • SHOPPOHS
  • 与乐同行
  • leeshaojie1013
  • shangke1207
  • liuchao6926
  • gracejh
  • 新数科技
  • mail71no
  • zx2100933
  • 青云QingCloud
  • chenkai2055
  • royfu77
  • wangxuefeng266
  • rrickywang
  • lpy_paladin
  • alan9669
  • jalen
  • jillme
  • maxzhu5250703
  • baimao3000
  • lifans
  • wang0230
  • like052
  • IBM光谱存储家族
  • Jishengyu
  • 奥博
  • WANG_XIN
  • liujinlong
  • rainbowlily
  • ericdai
  • abc123
  • jwhdhr
  • 孙大圣
  • 经世致用
  • 闫伟军
  • 向南
  • ryan_wangyi
  • surge
  • Cristo
  • 钢铁侠
  • The Flash
  • zhang1x1
  • 追梦人456
  • suyu1185
  • yangliping
  • sabotage
  • chunk
  • yinchuanwang
  • seriya
  • Ben_liu
  • 周航
  • Carolius
  • 刘lixia
  • zijian1981
  • yang57153668@16
  • knights@sophia
  • ylayne
  • qyangcool
  • 吕强
  • szddong2016
  • konglgu04
  • pptv
  • 纪晓东
  • dream_653
  • dingyangfan
  • niubtangno1
  • 史磊
  • fengyq03
  • cuicuitiger
  • caonima0603
  • schuman
  • 宁静
  • mike7mac
  • 码不能停
  • xieyongxiong
  • huangyingjun
  • Zhangjl
  • myloveperonjj
  • dongwp
  • tanyiming
  • luohw123
  • rebbel
  • a69877045
  • 摩羯座
  • 杜庆生
  • spxu2016
  • Moulihong_zc
  • GONVER
  • 羊城南站
  • 晓晓
  • hjcent
  • jlm_555
  • jcui
  • 去日当歌
  • zhangyu520
  • wchming1987
  • sunqiangwei
  • wigginslee
  • smileqwe
  • hd000001
  • liveonsky
  • Daniel_wang
  • adminadmin1
  • m199369309
  • qijiongming
  • lics_twt
  • jackyzhong
  • wangleileo
  • hedan
  • bjbxd
  • 齐天
  • sologxt
  • linterminal
  • Allen_
  • ericklee
  • voyer
  • 贺勇
  • Clare
  • MKLO009
  • hokei
  • 小书僮不爱读书
  • learnlei
  • 匡匡
  • wajika
  • 顾念思成
  • ethanqin
  • yu1027
  • myduke
  • wenwen123
  • funbearfamily
  • zhyp022
  • Prodojo
  • chenjch
  • 傲娇的小白
  • 陈灿东
  • Ardusty
  • gswwliang
  • 秋名山车神
  • 赵晓勇
  • letian0711
  • thzzc1994
  • gaojubo
  • lunixer
  • id77066
  • Jason_13888
  • X社区推广