hufeng719
作者hufeng719联盟成员·2020-06-23 08:09
系统工程师·某钢铁企业

数据库运维面临的新挑战

字数 4587阅读 4893评论 1赞 4

作者简介:

“ 老男孩 ” 中的一员,从毕业起一直与电脑、服务器、存储打交道。做过浪潮售后服务工程师,泰达国际学校 IT 运维工程师, 09 年入职某钢铁制造企业至今。主要从事服务器、存储、操作系统、数据库、中间件及集群高可用等基础设施运维工作。 19 年底开始倾向于数据库运维。

前情回顾

本人毕业总共 16 载,自 09 年 8 月份入职钢铁冶金制造业至今有 11 个年头,如果有青春的话,可以说大好的青春都奉献给了钢铁制造业。我所在的企业坐落在我的家乡齐河县 ----- 一个出过很多历史名人的小县城。像晏婴、李仙洲、时传祥、孟祥斌等等都是这座小城的骄傲。但一个内陆的县城毕竟是小县城,从整体而言,很多新的、前沿信息技术的传入比较滞后。就拿 ERP 系统来讲,中国大陆市场从 02-03 年就已经进入了成熟期,而此时我们的企业才刚刚成立。虽如此,正所谓地方是死的,人是活的。我从心里也由衷的佩服我们公司领导层的精明睿智和高瞻远瞩,通过与国内、外其他同行业间的不断交流、学习,差不多十年后,我们的企业逐步的发展壮大,从成立之初的一条轧钢轧线发展到后来的集烧结、铁、钢、轧一体的五条生产线。也是在 2011 年下半年,我们公司通过与台湾一家钢厂的合作正式引入了 ERP 系统。与此同时,我也幸运地从刚刚入职时的车间操作工重新跨入熟悉的 IT 行业。

彼时的困难

ERP 项目的实施在我们公司整个发展历程中都具有里程碑的意义。不得不说我们公司的整体执行力还是非常强的。无论是高层领导还是基层员工,大家对改变当时落后工作方式的迫切性,对新知识、新系统、新事物的渴望性都是非常强烈的。尽管仍有一小部分人从思想上简单地认为上 ERP 系统就是减员裁人,还存在抵触心理,但这不影响企业整体向前发展的动力。后来的事实也证明,我们没有因上 ERP 系统裁掉一人,不仅如此,还大大减轻了很多岗位的工作量,给企业带来了高效利润。

新项目的实施带来了新的知识和技术,而新技术的推广和落地又促进了人才的成长。 ERP 实施之初,我们面临的最大挑战就是相关领域人才的短缺。由于工期紧,公司紧急从各分厂生产线上召集了九名自动化、计算机相关专业的大学生,又从各大高校招聘了十多个应届毕业生,就是这样的二十多名毫无经验的年轻人组成了整个 ERP 开发运维团队。后来通过分组,搞系统运维的只有我们六个人(后期还走了三人,调到开发一人)。也是在这个时候,我第一次接触到了 IBM 的 Power 小型机、 AIX 操作系统(也是因为 AIX 我才有幸于 2013 年加入咱们当时的 AIXChina 社区俱乐部)、 DB2 数据库、 WebSphere 中间件、 DI 数据交互、 HACMP 集群高可用、 TSM 备份软件、 TS3310 带库、 F5 负载均衡器、光交、防火墙等 ERP 系统配套的基础设施。除此以外,我们每个人还需要负责 ERP 下面的各生产二级系统的运维,包括业务流转、数据传输、日常问题处理等等。面对所有这些新的事物可以说当时每个人都有一种分身乏术的感觉。每个软硬件背后都涉及很多的知识点,在整个浩瀚缥缈的知识海洋里常常感到窒息,没有任何人可以帮助我们,只有与我并肩作战的最后一名运维的同事。彼时,我们尤其感到肩上那种沉重的压力和无助。怎么办?一切问题找百度,摸着石头也要过河!

痛并快乐着

知识是无穷尽的,技术也是日新月异,不断变化发展的。探索知识的过程是一件非常枯燥的事情,需要自己在其中寻找乐趣。经过多年在系统运维圈子里的浸泡,我个人或多或少的对我们公司整个 ERP 系统基础设施方面的运维有了初步的掌握,基本上能独立运维。虽然每个知识面都掌握的不深,好歹终究学有所用,也算是对自己多年的摸爬滚打带来一丝丝慰藉。

2019 年,随着生产规模不断发展壮大,产业链的逐步延伸,信息化和工业智能化程度的逐渐提高,企业开始数字化转型。首先是组织机构的调整,我们由原来一个厂部下面的信息科室升级为集团层面的部门,成立了软件开发、运维保障、数据管理和工业智能化四个方向的研究科室,公司也开始大力招揽相关专业的技术人才。因为工作需要我被安排在数据管理室,主要负责整个公司所有系统的数据库管理工作。与此同时, ERP 项目成立之初的系统运维组也彻底消失在公司发展的历史长河中 ……

面临的新挑战(一)多而杂的数据库系统

虽说人多了,个人管的东西少了,但身上的担子一点儿也不轻松。只是形式上从“泛而广”变成了“精而深”。

( 1 )我们公司大大小小的软件系统不下 30 个,每一个系统背后都对应一个独立的数据库。只数据库类型就涵盖了 DB2 、 Oracle 、 MySql 、 SQLServer 、 Redis 、 PG 、 MongoDB 等多达 7 种数据库,未来随着工业互联网平台的搭建大数据组件的部署应用,数据库类型还会更多。

( 2 )一个个独立的、烟囱式的数据库系统运维背后还包含不同类型数据库的备份与还原、性能的跟踪、语句的优化、部分系统数据库高可用集群的管理等等。

( 3 )管理数据库系统必须做到精细化才能胸有成竹。比如:编写复杂的 SQL 语句、视图、存储过程、函数的应用以及与之配套的存储空间、日志信息、服务、进程的监控,表及表空间大小跟踪、事务及锁的处理等等,这些信息的收集都需要通过编写 shell 脚本去完成,同时还要实时地展现在监控平台中。

面临的新挑战(二) ERP 系统升级

常听开发的同事讲,一个软件的生命周期也就 7-8 年。随着业务的改变,流程、制度的不断完善,用户的需求也会随之而变。程序设计中一些老旧的思维模式和技术逐渐暴露出弊端,不再适应当前的实际需求。同样的,我们引以为傲的 ERP 系统,自 2012 年正式上线使用至今已运行 8 年之久,无论是小机服务器还是存储、带库等附属设备都处在元器件寿命的中后期。同时,许多系统功能也已经无法满足现行新增业务及业务变更的需求。 ERP 系统是各生产系统运行的指挥棒,一旦出现问题,全公司的生产经营都会受到重大影响。因此,对系统架构进行全面的软、硬件升级势在必行。

( 1 )当前我们 ERP 系统数据库采用“小型机单机服务 + 单存储”的运行模式进行搭建,一旦数据库服务器出现故障,将给 ERP 系统带来数据丢失的风险,需要通过对 ERP 系统硬件平台架构进行改造,消除单点故障,以达到提高 ERP 系统数据安全的目的。

( 2 ) ERP 系统属于 OLTP 在线交易型信息系统,用户与系统之间,以及系统与系统之间需要进行即时业务交互,这对系统的响应速度及服务连续性的要求很高,通过引入数据库服务器双机高可用,能够有效提高系统性能及稳定性。

( 3 )除硬件外, ERP 系统数据库软件和中间件软件也需升级。数据库软件使用的是 DB2 UDB V9.7 。 DB2 UDB V9.7 在 2015 年已不再提供技术支持,不再针对 V9 版本推出补丁,在 v9 版本中存在的一些高危安全漏洞也将无法修复,这些漏洞很容易被他人利用,造成对系统信息的泄密甚至破坏,造成数据库系统的崩溃;另外,在用的中间件平台软件 IBM WebSphere Application Server V5.1 在 2009 年 12 月 31 日后厂商不再提供技术支持,不再针对 V5.1 版本推出补丁,在 V5.1 版本存在的高危安全漏洞将对系统的稳定性和安全性都造成极大威胁。黑客利用系统已出现的漏洞进行针对性攻击成功率极高,一旦由此导致信息泄漏将给企业的正常生产经营带来不可预测的损失。

面临的新挑战(三)工业互联网大数据平台运维

这些年大数据概念已经成为 IT 界的热门,我们也经常会在网络、新闻、报纸中看到。大数据概念中最为关键的技术就是数据库管理系统。伴随着 Hadoop 和 MapReduce 等技术的流行,大数据的数据库中像 Hive 和 Spark 等新型技术也脱颖而出。另一方面,基于传统的并行数据库技术演化而来的大规模并行处理( MPP )数据库比如 GreenPlum 和 HAWQ 也在最近几年突飞猛进,这几种相关技术都有对应的知名产品,他们也都已经得到了市场的认可。

从未想过这些热门的技术突然有一天会成为我们的所需。

根据公司南部新厂的建设规划,未来将利用中冶赛迪自主开发的 CISDigital 工业互联网平台为一期项目纵向打通数据传送链路,横向贯通各生产工序和管理部门,打造覆盖全基地的数据“高速公路”,实现数据统一采集、统一处理、统一存储。同时,在大数据的基础上,进一步部署铁前一体化、钢轧一体化、生产管控一体化等,并系统性部署设备智能管理、智能大物流、能源智能管理、安全管理等多维度智能应用,以数据驱动钢铁生产操控管一体化,推动全员生产作业效率持续闭环改进,打造新型精益智能生产模式,为建成行业领先的智能工厂创造条件。届时,南部新厂将成为业内首个基于统一工业互联网平台的绿地智能工厂。

然而对于像我这种不是搞大数据的门外汉来说,如何理解大数据的概念以及整体架构中像 HDFS 、 YARN 、 MR 、 Spark 、 Hive 、 Hbase 、 Flume 、 Zookeeper 等组件的工作原理,如何根据自身需求来选择对应的数据库管理系统,如何在绿地智能工厂建成之时能够胜任工作并保障系统的长期稳定运行,这些都是摆在我面前的一大现实挑战。

如何应对

挑战与机遇同生并存。每个人的成长历程都不是轻轻松松,顺顺利利的,尤其是成功人士。付出和收获是一对近正比兄弟,不经历风雨,怎么见彩虹?首先必须从思想上正面直视困难,要相信办法总比困难多。行动上要有毅力坚持学习,我们不能总想一口气就吃成胖子,知识是需要一点点积累的,每天进步一点点,量变肯定会引起质变!

( 1 )每一个工作点背后都需要大量的知识、技术支撑!要想胜任工作必须与时俱进,时刻学习。所谓活到老,学到老。知识无穷尽,学习不休止!学习要有目的性,要在实际工作中解决实际问题。像我们这个年龄已经没有时间和精力去静下心来细细品读一本书,看书要挑着重点知识点看,挑着与工作中实际有用的地方看。要拿起笔仔细记录笔记并反复查看。要严格杜绝两个月仍然在重复看第一章的现象。

( 2 )学知识要得法,不能啃死书,要善于利用一切可利用的资源。不可否认“拿来主义”是最高效解决问题的办法,但是“拿来”不等于“己有”,要学会在实践中消化并真正转化成自己的技能。要拓宽自己的知识面,积极加入像 twt 这样的社区平台随时获取最新同行经验。要充分利用百度、 Google 等网络资源获取答案。

( 3 )定期与同行、先进单位交流,学习其先进技术和管理经验,避免走弯路。与同行的对标能发现差距和自身的不足,从而确定努力的方向。我们不能永远呆在自己的小圈子里满足现状,固步自封,不求进取。不打开窗户,永远不知道外面的世界有多精彩。

( 4 )建立定期培训机制。充分利用公司给与的各种资源,定期向有关部门申报,进行专业知识培训。

结束语

我们每个人都是凡人,我们不谈什么价值理想,我只知道生在这个世上唯一目标就是让自己和家人生活的更好!为此,我们需要努力工作,需要脚踏实地,需要不断学习,哪怕两鬓斑白也在所不惜。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

4

添加新评论1 条评论

村长Alex村长Alex高级运维工程师索菲亚
2020-07-07 17:46
数据库现在百花齐放,数据库最起码要会两种以上的,例如一主(oracle)一备(MySQL),一中(达梦数据库)一洋(Oracle)。不断学习。
Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广