再議58到家數(shù)據(jù)庫軍規(guī)

2018-09-06 17:14 更新
上一篇《58到家數(shù)據(jù)庫30條軍規(guī)解讀》引發(fā)了廣泛的討論,某些軍規(guī)部分同學(xué)有疑惑,補(bǔ)充一文說明。

軍規(guī):必須使用UTF8字符集

和DBA負(fù)責(zé)人確認(rèn)后,糾正為“新庫默認(rèn)使用utf8mb4字符集”。

這點(diǎn)感謝網(wǎng)友的提醒,utf8mb4是utf8的超集,emoji表情以及部分不常見漢字在utf8下會表現(xiàn)為亂碼,故需要升級至utf8mb4。

默認(rèn)使用這個字符集的原因是:“標(biāo)準(zhǔn),萬國碼,無需轉(zhuǎn)碼,無亂碼風(fēng)險”,并不“節(jié)省空間”。


一個潛在坑:阿里云上RDS服務(wù)如果要從utf8升級為utf8mb4,需要重啟實(shí)例,所以58到家并沒有把所有的數(shù)據(jù)庫升級成這個字符集,而是“新庫默認(rèn)使用utf8mb4字符集”。

自搭的Mysql可以完成在線轉(zhuǎn)換,而不需要重啟數(shù)據(jù)庫實(shí)例。

軍規(guī):數(shù)據(jù)表、數(shù)據(jù)字段必須加入中文注釋

這一點(diǎn)應(yīng)該沒有疑問。

不過也有朋友提出,加入注釋會方便黑客,建議“注釋寫在文檔里,文檔和數(shù)據(jù)庫同步更新”。這個建議根據(jù)經(jīng)驗(yàn)來說是不太靠譜的:

(1)不能怕bug就不寫代碼,怕黑客就不寫注釋,對吧?

(2)文檔同步更新也不太現(xiàn)實(shí),還是把注釋寫好,代碼可讀性做好更可行,互聯(lián)網(wǎng)公司的文檔管理?呆過互聯(lián)網(wǎng)公司的同學(xué)估計(jì)都清楚。


軍規(guī):禁止使用存儲過程、視圖、觸發(fā)器、Event

軍規(guī):禁止使用外鍵,如果有外鍵完整性約束,需要應(yīng)用程序控制

軍規(guī):禁止大表使用JOIN查詢,禁止大表使用子查詢

很多網(wǎng)友提出,這些軍規(guī)不合理,完全做到不可能。


如原文所述,58到家數(shù)據(jù)庫30條軍規(guī)的背景是“并發(fā)量大、數(shù)據(jù)量大的互聯(lián)網(wǎng)業(yè)務(wù)”,這類業(yè)務(wù)架構(gòu)設(shè)計(jì)的重點(diǎn)往往是吞吐量,性能優(yōu)先(和錢相關(guān)的少部分業(yè)務(wù)是一致性優(yōu)先),對數(shù)據(jù)庫性能影響較大的數(shù)據(jù)庫特性較少使用。這類場景的架構(gòu)方向是“解放數(shù)據(jù)庫CPU,把復(fù)雜邏輯計(jì)算放到服務(wù)層”,服務(wù)層具備更好的擴(kuò)展性,容易實(shí)現(xiàn)“增機(jī)器就擴(kuò)充性能”,數(shù)據(jù)庫擅長存儲與索引,勿讓數(shù)據(jù)庫背負(fù)過重的任務(wù)。

關(guān)于這個點(diǎn),再有較真的柳巖小編就不回復(fù)了哈,任何事情都沒有百分之百,但58到家的數(shù)據(jù)庫使用確實(shí)沒有存儲過程、視圖、觸發(fā)器、外鍵、用戶自定義函數(shù),針對業(yè)務(wù)特性設(shè)計(jì)架構(gòu),等單庫吞吐量到了幾千上萬,就明白這些軍規(guī)的重要性啦。

軍規(guī):只允許使用內(nèi)網(wǎng)域名,而不是ip連接數(shù)據(jù)庫

這一點(diǎn)應(yīng)該也沒有疑問。

不只是數(shù)據(jù)庫,緩存(memcache、redis)的連接,服務(wù)(service)的連接都必須使用內(nèi)網(wǎng)域名,機(jī)器遷移/平滑升級/運(yùn)維管理…太多太多的好處,如果朋友你還是采用ip直連的,趕緊升級到內(nèi)網(wǎng)域名吧


軍規(guī):禁止使用小數(shù)存儲國幣

有朋友問存儲前乘以100,取出后除以100是否可行,個人建議“盡量少的使用除法”。


曾經(jīng)踩過這樣的坑,100元分3天攤銷,每天攤銷100/3元,結(jié)果得到3個33.33。后來實(shí)施對賬系統(tǒng),始終有幾分錢對不齊,郁悶了很久(不是幾分錢的事,是業(yè)務(wù)方質(zhì)疑的眼神讓研發(fā)很不爽),最后發(fā)現(xiàn)是除法惹的禍。

解決方案:使用“分”作為單位,這樣數(shù)據(jù)庫里就是整數(shù)了。


案例:SELECT uid FROM t_user WHERE phone=13812345678 會導(dǎo)致全表掃描,而不能命中phone索引

這個坑大家沒踩過么?

phone是varchar類型,SQL語句帶入的是整形,故不會命中索引,加個引號就好了

SELECT uid FROM t_user WHERE phone=’13812345678’


軍規(guī):禁止使用負(fù)向查詢NOT、!=、<>、!<、!>、NOT IN、NOT LIKE等,會導(dǎo)致全表掃描

此軍規(guī)爭議比較大,部分網(wǎng)友反饋不這么做很多業(yè)務(wù)實(shí)現(xiàn)不了,稍微解釋一下:

一般來說,WHERE過濾條件不會只帶這么一個“負(fù)向查詢條件”,還會有其他過濾條件,舉個例子:查詢沈劍已完成訂單之外的訂單(好拗口):

SELECT oid FROM t_order WHERE uid=123 AND status != 1;


訂單表5000w數(shù)據(jù),但uid=123就會迅速的將數(shù)據(jù)量過濾到很少的級別(uid建立了索引),此時再接上一個負(fù)向的查詢條件就無所謂了,掃描的行數(shù)本身就會很少。

但如果要查詢所有已完成訂單之外的訂單:

SELECT oid FROM t_order WHERE status != 1;

這就掛了,立馬CPU100%,status索引會失效,負(fù)向查詢導(dǎo)致全表掃描。


末了,除了《58到家數(shù)據(jù)庫30條軍規(guī)解讀》中提到的基礎(chǔ)規(guī)范、命名規(guī)范、表設(shè)計(jì)規(guī)范、字段設(shè)計(jì)規(guī)范、索引設(shè)計(jì)規(guī)范、SQL使用規(guī)范,還有一個行為規(guī)范的軍規(guī):

(31)禁止使用應(yīng)用程序配置文件內(nèi)的帳號手工訪問線上數(shù)據(jù)庫

(32)禁止非DBA對線上數(shù)據(jù)庫進(jìn)行寫操作,修改線上數(shù)據(jù)需要提交工單,由DBA執(zhí)行,提交的SQL語句必須經(jīng)過測試

(33)分配非DBA以只讀帳號,必須通過VPN+跳板機(jī)訪問授權(quán)的從庫

(34)開發(fā)、測試、線上環(huán)境隔離


為什么要制定行為規(guī)范的軍規(guī)呢,大伙的公司是不是有這樣的情況:

任何研發(fā)、測試都有連接線上數(shù)據(jù)庫的帳號?

是不是經(jīng)常有這類誤操作?

(1)本來只想update一條記錄,where條件搞錯,update了全部的記錄

(2)本來只想delete幾行記錄,結(jié)果刪多了,四下無人,再insert回去

(3)以為drop的是測試庫,結(jié)果把線上庫drop掉了

(4)以為操作的是分庫x,結(jié)果SecureCRT開窗口太多,操作成了分庫y

(5)寫錯配置文件,壓力測試壓到線上庫了,生成了N多臟數(shù)據(jù)

無數(shù)的事情,結(jié)果就是打電話給DBA,讓他們幫忙擦屁股。

所謂的“業(yè)務(wù)靈活性”都是扯淡,為什么要有行為規(guī)范?不讓你帶刀,不是限制你,而是保護(hù)你的安全。要相信DBA是專業(yè)的,讓專業(yè)的人干專業(yè)的事情。別把DBA看做你的對立面,多和他們溝通業(yè)務(wù)場景,溝通請求讀寫比,溝通訪問模式,他們真的能幫助到你,這是我?guī)BA團(tuán)隊(duì)的一些感觸。


誰都可能刪除全庫,能找回?cái)?shù)據(jù)的,真的只有DBA。


以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號