6月11日,Verelox的所有客户数据被一个离职工程师删除,事故非常严重。Verelox是荷兰海牙的一家云主机商。它成立于2014,以VPS、服务器出租和托管为主。它的VPS基于KVM架构,分HDD和SSD,有加拿大、荷兰、法国三处数据中心,也支持Windows系统,支持按小时和月付。事故发生后,Verelox在官网上公布了该事件,并全力为客户恢复数据,但是,已经不可能恢复全部数据。
删除云主机上的客户数据相当于暴力破坏公司核心资产,是一种犯罪行为,该工程师一定会受到法律的制裁,但是巨大的损失已经造成,无法挽回。
比离职员工删库跑路更频繁发生的是各种意外删除数据的事件。
2017年1月31日23:00 左右,Gitlab一名系统管理员在极度疲劳的情况下,尝试删除一个空的目录,结果指令发往了另外一台服务器的命令窗口,等他回过神来的时候,27分钟过去, 终止删除操作为时已晚,大约 300 GB 左右的数据只剩下约4.5 GB。 GitLab.com丢失了 6 小时的数据库数据(问题,合并请求,用户,评论,片段等)。
4 月 5 日,知名的 VPS 服务商 DigitalOcean 出现了一次删除生产数据库的事故。删库导致 DigitalOcean 的控制面板和 API 无法正常使用,时间长达 4 小时 56 分。DigitalOcean 官博撰文致歉,并说明了事故前后过程:“ 在 2017 年 4 月 5 日 10:24 AM EDT,我们开始收到公共服务功能失效的警报。在警报最初的 3 分钟,我们发现主数据库已经被删除了。4 分钟后,我们开始从一台有延迟的数据库副本着手恢复。在接下来的 4 个小时中,我们复制并把数据恢复到主备副本。服务中断这么长时间,主要是因为从副本把数据恢复到在线服务器这个过程非常耗时。” 此次事故的根本原因是工程师驱动的配置错误。有个用于自动化测试的程序,错误使用了生产证书。
无论是主观还是无意,数据库被删除,都是互联网公司难以承受之重,Fintech公司尤其无法接受跟钱相关的数据丢失,技术团队必须要防患于未然。
首先要防止的是,数据库被开发人员误删。
开发人员是否需要连接生产数据?有人说需要,有人说不需要。不同的情况下有不同的道理。这里我们分开来讨论。如果开发人员不需要直接连接数据库,是最好不过的了,就杜绝了数据被开发人员删除的危险,也没有数据被泄露的风险,也不会因为敲出了一个select * from xxx造成负载异常升高。
如果开发人员需要连接呢?通常需要做到以下两点:
其次,需要防止数据被管理员删除。事实上,Verelox的数据就是被不开心的系统管理员恶意删除的。管理员不能使用root账号直接在操作系统层面操作数据文件,尽量使用客户端从远端连接到数据库进行维护。由于意外失误,像Gitlab管理员一样,在昏昏欲睡的时候,rm -rf清掉整个硬盘的事故也太多了,需要使用堡垒机等工具配合屏蔽这类高危命令。最后,尽量减少使用图形工具,因为太多的图形工具,会隐含的具有某些功能,如autocommit,设置字符集等。
第三,如何防止数据被程序删除呢?通常,架构设计上需要注意,重要数据永远不要直接删除,标记为“删除”状态。不能给程序的用户all privileges。Insert、delete、update各类命令的权限单独赋予。
第四,我们也要防黑客。应用的网络进行分层设计。接入层,应用层,数据层。数据层只对固定的应用服务器开放。数据库永远只放在内网,监听在内网IP上。
第五,必须有周密的备份,即使管理员跑路也不怕。数据的物理备份和逻辑备份相互补充,文件不小心被删除的,用物理备份恢复;表被drop掉的,用逻辑备份恢复。备份也经常需要演练。因为一方面要保证我们的备份可用;另外一个方面我们也需要对多久可以恢复负责。对CTO及运维负责人而言,备份情况也需要每天检查。
最后,请各位读者牢记强哥的独家私藏小秘籍:
当然,最好的办法还是好好照顾自家运维人员,开心工作开心生活,减少人肉运维,不要疲劳驾驶,也不要闹到通过删库报复公司报复社会的程度。
运维不易,请多多关爱。
如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!
赞40
添加新评论26 条评论
2021-01-12 16:59
2020-06-12 12:27
2019-12-18 15:17
2019-08-08 15:35
2019-04-30 17:20
2019-03-14 14:50
2019-02-01 16:07
2019-01-17 11:23
2018-11-23 14:23
sap_vb: @匹马戍梁州 做技术的人品或者说是具有正确的职业道德是很重要的。 听说过很多报复公司的。中国人真的需要改变了
2018-09-05 17:03
2018-09-05 17:03
2018-08-02 16:51
2018-08-02 14:45
2018-06-25 15:34
2018-06-20 17:13
2018-06-07 14:31
2018-05-02 14:17
2018-04-18 08:55
2018-04-12 19:03
2018-03-12 17:21
2018-02-13 17:10
2017-11-29 12:56
2017-09-11 10:52
2017-09-11 10:04
2017-09-11 09:46
2017-06-15 12:20