由于近些年大趋势越来越不看重IT部门的功能,很多企业领导认为IT就是花钱的部门,每年增长运维任务且压缩成本,造成人员紧张,工作强度压力大,薪酬少且多年不涨,这就使运维人员的工作积极性越来越低,作为老IT人的我们本着一颗对工作的责任心,任劳任怨的支撑着!人毕竟不是服务器,能保证7*24小时连续运转,所以在压力和高强度工作面前难免会增加误操作的可能性。rm -rf命令在敲之前应该提起12分精神,按回车时要有人反复核实,确保万无一失。
出现上述误操作删除数据的事件值得咱们反思下问题到底出在哪?我只是发表下个人看法,也请各企业管理人深思下,不要不出事时看不见我们的工作辛苦,出了事就往我们身上扣黑锅,别忘了没有我们运维人平日里的辛勤付出,哪有你们问坐钓鱼台的惬意日子!
两人法则。四眼原则。胖手指
2015年10月20日,德意志银行外汇部门的一名初级交易员将一订单中的「净值」错误处理为「总额」,令德意志银行向一家美国的对冲基金客户白白送出了60亿美元。 http://wallstreetcn.com/node/224923
这种输入上的低级错误,金融业里叫胖手指,而避免的最重要的方法就是两人法则,我也更喜欢它第二个名字,四眼原则(four eyes principle)。
https://en.wikipedia.org/wiki/Fat-finger_error
它提醒了我们,在关键业务上需要有人结对。鉴于现在工作的远程状态,我们使用了Tmux的会话共享模式,两个人可以通过相同的会话来共享控制台以及键盘输入。
收起防止误操作要从事前事后两个方面入手。事前要增加权限审批,流程控制,双人复合等方面,简单重复劳动可以由自动化工具来执行。事后就要看系统的强壮程度,备份,灾备是否完善。
收起运维人员一定要保持一个好习惯,就是写操作记录,特别是重要操作的时候一定要记录!记录!,不是很熟悉的操作一定多做确认,不能看到网上怎么讲的就怎么做,这样有可能会死的很惨,另外,晚上宕机或者出故障处理的时候一定不要急,刚睡醒一定不要着急操作,我曾经凌晨两三点的时候起来操作,删除错误数据的时候没加条件,把一个表清空了,数据库没备份 后来找领导协调的上游侧公司重传的原始数据又手工抽取、转换、装载后改写存储过程跑出来了,弄了五六个小时才恢复~~
收起