摘要：?前言 CloudDBA是阿里云數(shù)據(jù)庫團隊開發(fā)的智能診斷和優(yōu)化平臺，可以幫助用戶更好使用阿里云數(shù)據(jù)庫。CloudDBA不斷提升算法和規(guī)則，更好的匹配更多用戶場景，剛剛上線了SQL過濾功能，用來解決某類SQL給系統(tǒng)帶來的沖擊。

1 前言

CloudDBA是阿里云數(shù)據(jù)庫團隊開發(fā)的智能診斷和優(yōu)化平臺，可以幫助用戶更好使用阿里云數(shù)據(jù)庫。
CloudDBA不斷提升算法和規(guī)則，更好的匹配更多用戶場景，剛剛上線了SQL過濾功能，用來解決某類SQL給系統(tǒng)帶來的沖擊。

2 功能描述

匹配用戶設(shè)置的關(guān)鍵字和并發(fā)數(shù)，對某類SQL(SELECT/UPDATE/DELETE)進行按并發(fā)數(shù)限流，當(dāng)這一類SQL的并發(fā)小于并發(fā)數(shù)的進到Server層，大于并發(fā)數(shù)的丟棄。
該功能只能用來救急，不適合長時間運行。

3 對業(yè)務(wù)的影響

3.1 收益

限制了問題SQL后，保障DB Server端能正常響應(yīng)正常業(yè)務(wù)的語句，保障大部分的業(yè)務(wù)正常運轉(zhuǎn)

3.2 弊端

如果設(shè)置了SQL防火墻，該SQL被限制后，應(yīng)用端會收到1317錯誤，即

query?execution?was?interrupted

4 適用場景

如果業(yè)務(wù)方能夠接受舍小(小部分業(yè)務(wù)損失)保大(大部分業(yè)務(wù)正常運轉(zhuǎn))，可以進行限流；
如果不能接受上述報錯，就要接受整個業(yè)務(wù)被拖垮的可能。

4.1 能解決的場景

4.1.1 某類SQL并發(fā)急劇上升，影響正常業(yè)務(wù)

比如緩存穿透，或者異常調(diào)用，可能會造成原來并發(fā)不大的SQL語句，并發(fā)量突然上升

4.1.2 有數(shù)據(jù)傾斜SQL，影響正常業(yè)務(wù)

比如大促時拉取某個特別大的數(shù)據(jù)，造成整體系統(tǒng)繁忙

4.1.3 未創(chuàng)建索引SQL，影響正常業(yè)務(wù)

比如新上線SQL調(diào)用量特別大，又沒有創(chuàng)建索引，造成整體系統(tǒng)繁忙

4.2 處理誤區(qū)

4.2.1 切換主備

以前碰到上述情況，見有的運維人員是切換主備嘗試解決上述問題，主備的配置是一樣的，如果主庫有問題，同樣的請求到備庫也是同樣的問題，所以切換是解決不了問題的。

4.2.2 kill問題語句

kill語句是可以減少系統(tǒng)壓力，未嘗不是一種處理手段。但是，請求是不斷進來的，不停kill語句手都酸了吧？

4.3 可以嘗試的解決方法

上面提到這個功能只是應(yīng)急手段那么如何才能解決該類問題呢？

• 提高緩存命中率

• 使用只讀實例

• 快速加索引

5 使用方式

5.1 路徑

RDS控制臺->找到具體實例->CloudDBA->問題診斷->SQL過濾

5.2 找到要限制的SQL語句

通過"問題診斷"里面，觀察到某類SQL執(zhí)行特別慢，并發(fā)又特別多時，這條語句可能就是問題SQL,經(jīng)過再三確認(rèn)(根據(jù)經(jīng)驗，跟業(yè)務(wù)開發(fā)，跟老板)后就可以限制并發(fā)啦。
例如：

想限制下面這類語句：

SELECT?*?FROM?sbtest4?WHERE?top_cmt_id=99738?AND?status?in?(1,3)??and?parent_cmt_id?>=?0?order?by?add_time?desc?limit?0,20

就要執(zhí)行下面的步驟

5.3 創(chuàng)建過濾規(guī)則

5.3.1 SQL類型

是限制SELECT語句還是限制UPDATE語句還是限制DELETE語句，安全起見默認(rèn)支持SELECT語句，建議您也優(yōu)先設(shè)置SELECT語句

5.3.2 最大并發(fā)度

該次限制的SQL最大允許在Server端跑多少個

5.3.3 限流時間

允許SQL過濾最大執(zhí)行時間;超過了指定時間，就會自動終止該限制

5.3.4 SQL關(guān)鍵詞

SQL過濾的匹配關(guān)鍵詞，多個關(guān)鍵詞之間以~分隔，不要有空格之類的特殊字符
接著上面的例子,SQL關(guān)鍵詞我可以這樣拼寫

SELECT~FROM~sbtest4~WHERE~top_cmt_id~status~parent_cmt_id~order~add_time~desc

5.4 重置/終止過濾規(guī)則

當(dāng)遇到設(shè)置規(guī)則錯誤，或者想提前終止SQL過濾，可以執(zhí)行該操作。

5.5 查看過濾歷史記錄

凡是對該實例執(zhí)行過SQL過濾功能的，都可以在這里查到記錄，方便排查問題。

6 注意事項

• 該功能只能用來救急，不適合長時間運行

• 安全起見默認(rèn)支持SELECT語句，建議您也優(yōu)先限制SELECT語句

• 該功能只能運行在MySQL 5.6版本

• 該功能是內(nèi)核層面上的改進，無論是使用高安全鏈路還是普通鏈路都可以使用

• 可以設(shè)置多個SQL過濾(根據(jù)不同的關(guān)鍵詞)

• 如果同一類型的SQL關(guān)鍵詞設(shè)置了多次，限制的并發(fā)按這幾個并發(fā)的和限制

• 要限制的SQL語句匹配越嚴(yán)格越精準(zhǔn),對業(yè)務(wù)影響最小

如果設(shè)置的不夠精準(zhǔn)，例如SQL關(guān)鍵詞是

SELECT~FROM~sbtest4

那匹配上述規(guī)則的SQL語句，哪怕是正常業(yè)務(wù)的，也可能被限制掉了

• 被限制后的SQL在應(yīng)用端會出現(xiàn)

1317?query?execution?was?interrupted

• 該限制只對被設(shè)置的實例生效，不影響主賬號下面的其他實例

• 該限制規(guī)則只對新鏈接有效，如果想使用該規(guī)則，在設(shè)置過規(guī)則后，需要把老鏈接手動kill(在CloudDBA里可做)

如果您在使用CloudDBA過程中有什么問題，或者好建議，歡迎進群

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。