English

多麽痛的領悟!順豐誤删數據庫,人靠不住,隻能靠技術

昨日,從順豐傳出來的這封郵件傳遍IT圈,簡意是:一(yī)位高級運維人員(yuán)搞錯了一(yī)條命令,誤删了某個數據庫,數據無法恢複,後果太嚴重了,順豐隻好讓他被動跑路。

大(dà)家在群裏展開(kāi)熱烈讨論:

僅僅是因爲敲錯一(yī)條命令或小(xiǎo)失誤而導緻數據丢失,嚴重影響業務連續性的事件也不在少數:

20172月,Gitlab.com的某同學工(gōng)作至深夜,在解決ddos攻擊過程中(zhōng),命令錯誤地敲在了生(shēng)産環境上,導緻300GB數據被删除,雖然極力挽回,但最後仍然丢了6個小(xiǎo)時的數據。


20173月,AWS也曾發生(shēng)過類似的誤操作,某工(gōng)程師在調查Northern Virginia RegionS3的一(yī)個和賬務系統相關的問題,因爲有一(yī)條命令搞錯了,導緻了移除了大(dà)量的S3的控制系統。


20184月,Kuriko由于機房運維人員(yuán)的rm -rf /*命令,導緻宿主機上所有數據丢失,Kuriko使盡一(yī)切辦法,嘗試恢複原有數據以及獲取備份資(zī)料,但恢複可能較小(xiǎo)。



要避免以上問題,小(xiǎo)編給出三點建議:

相信科技的力量,而不隻是管理

事件中(zhōng),有人認爲最應該解雇的是運維主管,應該設置更多的審批流程和權限,甚至用價值觀來教導工(gōng)程師等等。

小(xiǎo)編認爲,這些手段不是不好,但會導緻企業的運營效率降低,增加人員(yuán)成本,而且不能從根本上解決問題。

作爲技術人員(yuán),解決問題的最好方式是通過技術手段,而不隻是使用更多的人肉手段。人類區别于動物(wù)的差别在于會發明和使用現代化的工(gōng)具。

我(wǒ)們應當更多的相信技術而不是管理。相信技術會用技術來解決問題,相信管理,那就隻會有制度、流程和價值觀來解決問題。

推行自動化的數據保護技術

一(yī)個老運維說,誤删數據庫事件在自己的職業生(shēng)涯裏,碰見過不少于10次,特别是在多個終端操作的時候,特别容易出錯。備份固然重要,但更重要是知(zhī)道如何備份。

人都會有犯錯的時候,誤操作會導緻數據丢失。但也有很大(dà)一(yī)部分(fēn)誤操作,是發生(shēng)在數據恢複的過程中(zhōng),更可怕地會導緻數據永久丢失。透過敲代碼的方式來實現數據保護是靠不住的,所以竭盡全力推動運維自動化,應該是所有運維人最應該幹的事。

最重要的是選擇對的工(gōng)具!!

鼎甲自動化的數據保護、數據管理工(gōng)具,确保企業在IT運維過程中(zhōng),數據零丢失,系統高可用,業務不中(zhōng)斷。

數據保護平台——DBackup

中(zhōng)國郵政兩大(dà)省級公司(廣東、江蘇),已經透過尖端的技術,做好了自動化的數據保護工(gōng)作,防患于未然。

透過鼎甲數據保護平台DBackup,可以保障企業的IT系統數據,在遭遇人爲誤操作、病毒攻擊、軟硬件故障、自然災難時,能得到完整、準确、快速的恢複。

運維人員(yuán)隻需要提前設置好備份策略,DBackup便可以實時、自動化地對數據進行備份,包括操作系統、數據庫、應用、文件、虛拟機等各類數據,無需運維人員(yuán)手動開(kāi)展,杜絕誤操作。

此外(wài),一(yī)旦遭遇故障導緻數據丢失。透過DBackup,可以一(yī)鍵快速恢複到任意時間點的數據,同樣無需複雜(zá)的人手工(gōng)作,保證業務的連續穩定,徹底杜絕以上事件的發生(shēng)。

CDM數據副本管理工(gōng)具——InfoSemper

DBackup結合CDM數據副本管理工(gōng)具InfoSemper,更是超越傳統數據保護的價值,激活數據副本潛能。

中(zhōng)國郵政江蘇省公司,率先透過InfoSemper,使數據副本不隻用于數據備份和恢複,更是可以自動化地進行快速共享,給不同人員(yuán)在開(kāi)發測試、報表分(fēn)析、商(shāng)業智能等場景中(zhōng)使用。關鍵是數據副本共享的速度非常快,可達分(fēn)鍾級數TB的速度,共享過程絲毫不會影響業務的連續性和穩定性。


運維人員(yuán)從此解放(fàng)雙手,避免繁瑣的數據管理工(gōng)作。

我(wǒ)們都知(zhī)道能備份的數據不一(yī)定能恢複,做備份但不可恢複,更是耍流氓。透過InfoSemper,可以作爲數據恢複演練的手段,定期驗證數據恢複的有效性,保證數據零風險。

透過以上神器,100%能保證數據的安全性。

此外(wài),說一(yī)個題外(wài)話(huà),一(yī)個高級工(gōng)程師的價值不在于寫過多少代碼,而是踩過多少坑,受過教訓,積累了寶貴經驗。





聯系我(wǒ)們