一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

淺談mysql自有方式采集獲取監(jiān)控?cái)?shù)據(jù)

數(shù)據(jù)分析與開發(fā) ? 來源:安甲舒 ? 2023-05-18 10:04 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作者:安甲舒

對于當(dāng)前數(shù)據(jù)庫的監(jiān)控方式有很多,分為數(shù)據(jù)庫自帶、商用、開源三大類,每一種都有各自的特色;而對于 mysql 數(shù)據(jù)庫由于其有很高的社區(qū)活躍度,監(jiān)控方式更是多種多樣,不管哪種監(jiān)控方式最核心的就是監(jiān)控?cái)?shù)據(jù),獲取得到全面的監(jiān)控?cái)?shù)據(jù)后就是靈活的展示部分。

那我們今天就介紹一下完全采用 mysql 自有方式采集獲取監(jiān)控?cái)?shù)據(jù),在單體下達(dá)到最快速、方便、損耗最小。 本次文章完全使用 mysql 自帶的 show 命令實(shí)現(xiàn)獲取,從 connects、buffercache、lock、SQL、statement、Database throughputs、serverconfig7 大方面全面獲取監(jiān)控?cái)?shù)據(jù)。

1 連接數(shù)(Connects)

最大使用連接數(shù):show status like ‘Max_used_connections’

當(dāng)前打開的連接數(shù):show status like ‘Threads_connected’

2 緩存(bufferCache)

未從緩沖池讀取的次數(shù):show status like ‘Innodb_buffer_pool_reads’

從緩沖池讀取的次數(shù):show status like ‘Innodb_buffer_pool_read_requests’

緩沖池的總頁數(shù):show status like ‘Innodb_buffer_pool_pages_total’

緩沖池空閑的頁數(shù):show status like ‘Innodb_buffer_pool_pages_free’

緩存命中率計(jì)算:(1-Innodb_buffer_pool_reads/Innodb_buffer_pool_read_requests)*100%

緩存池使用率為:((Innodb_buffer_pool_pages_total-Innodb_buffer_pool_pages_free)/Innodb_buffer_pool_pages_total)*100%

3 鎖(lock)

鎖等待個數(shù):show status like ‘Innodb_row_lock_waits’

平均每次鎖等待時間:show status like ‘Innodb_row_lock_time_avg’

查看是否存在表鎖:show open TABLES where in_use>0;有數(shù)據(jù)代表存在鎖表,空為無表鎖

備注:鎖等待統(tǒng)計(jì)得數(shù)量為累加數(shù)據(jù),每次獲取得時候可以跟之前得數(shù)據(jù)進(jìn)行相減,得到當(dāng)前統(tǒng)計(jì)得數(shù)據(jù)

4 SQL

查看 mysql 開關(guān)是否打開:show variables like ‘slow_query_log’,ON 為開啟狀態(tài),如果為 OFF,set global slow_query_log=1 進(jìn)行開啟

查看 mysql 閾值:show variables like ‘long_query_time’,根據(jù)頁面?zhèn)鬟f閾值參數(shù),修改閾值 set global long_query_time=0.1

查看 mysql 慢 sql 目錄:show variables like ‘slow_query_log_file’

格式化慢 sql 日志:mysqldumpslow -s at -t 10 /export/data/mysql/log/slow.log
注:此語句通過 jdbc 執(zhí)行不了,屬于命令行執(zhí)行。
意思為:顯示出耗時最長的 10 個 SQL 語句執(zhí)行信息,10 可以修改為 TOP 個數(shù)。顯示的信息為:執(zhí)行次數(shù)、平均執(zhí)行時間、SQL 語句

備注:當(dāng) mysqldumpslow 命令執(zhí)行失敗時,將慢日志同步到本地進(jìn)行格式化處理。

5 statement

insert 數(shù)量:show status like ‘Com_insert’

delete 數(shù)量:show status like ‘Com_delete’

update 數(shù)量:show status like ‘Com_update’

select 數(shù)量:show status like ‘Com_select’

6 吞吐(Database throughputs)

發(fā)送吞吐量:show status like ‘Bytes_sent’

接收吞吐量:show status like ‘Bytes_received’

總吞吐量:Bytes_sent+Bytes_received

7 數(shù)據(jù)庫參數(shù)(serverconfig)

show variables c53eb55c-f4c9-11ed-90ce-dac502259ad0.png

8 慢 SQL

慢 SQL 指的是 MySQL 慢查詢,具體指運(yùn)行時間超過 long_query_time 值的 SQL。 我們常聽 MySQL 中有二進(jìn)制日志 binlog、中繼日志 relaylog、重做回滾日志 redolog、undolog 等。針對慢查詢,還有一種慢查詢?nèi)罩?slowlog,用來記錄在 MySQL 中響應(yīng)時間超過閥值的語句。 慢 SQL 對實(shí)際生產(chǎn)業(yè)務(wù)影響是致命的,所以測試人員在性能測試過程中,對數(shù)據(jù)庫 SQL 語句執(zhí)行情況實(shí)施監(jiān)控,給開發(fā)提供準(zhǔn)確的性能優(yōu)化意見顯得尤為重要。那怎么使用 Mysql 數(shù)據(jù)庫提供的慢查詢?nèi)罩緛肀O(jiān)控 SQL 語句執(zhí)行情況,找到消耗較高的 SQL 語句,以下詳細(xì)說明一下慢查詢?nèi)罩镜氖褂貌襟E:

確保打開慢 SQL 開關(guān) slow_query_log

c5587398-f4c9-11ed-90ce-dac502259ad0.png

設(shè)置慢 SQL 域值 long_query_time
這個 long_query_time 是用來定義慢于多少秒的才算 “慢查詢”,注意單位是秒,我通過執(zhí)行 sql 指令 set long_query_time=1 來設(shè)置了 long_query_time 的值為 1, 也就是執(zhí)行時間超過 1 秒的都算慢查詢,如下:

c56f4d2a-f4c9-11ed-90ce-dac502259ad0.png

查看慢 SQL 日志路徑

c580af02-f4c9-11ed-90ce-dac502259ad0.png

通過慢 sql 分析工具 mysqldumpslow 格式化分析慢 SQL 日志
mysqldumpslow 慢查詢分析工具,是 mysql 安裝后自帶的,可以通過./mysqldumpslow —help 查看使用參數(shù)說明

c5990868-f4c9-11ed-90ce-dac502259ad0.png 常見用法:

取出使用最多的 10 條慢查詢
./mysqldumpslow -s c -t 10 /export/data/mysql/log/slow.log

取出查詢時間最慢的 3 條慢查詢
./mysqldumpslow -s t -t 3 /export/data/mysql/log/slow.log

注意:使用 mysqldumpslow 的分析結(jié)果不會顯示具體完整的 sql 語句,只會顯示 sql 的組成結(jié)構(gòu); 假如: SELECTFROM sms_send WHERE service_id=10 GROUP BY content LIMIT 0, 1000; mysqldumpslow 命令執(zhí)行后顯示:
Count: 2 Time=1.5s (3s) Lock=0.00s (0s) Rows=1000.0 (2000), vgos_dba[vgos_dba]@[10.130.229.196]SELECTFROM sms_send WHERE service_id=N GROUP BY content LIMIT N, N mysqldumpslow 的分析結(jié)果詳解:

Count:表示該類型的語句執(zhí)行次數(shù),上圖中表示 select 語句執(zhí)行了 2 次。

Time:表示該類型的語句執(zhí)行的平均時間(總計(jì)時間)

Lock:鎖時間 0s。

Rows:單次返回的結(jié)果數(shù)是 1000 條記錄,2 次總共返回 2000 條記錄。

通過這個工具就可以查詢出來哪些 sql 語句是慢 SQL,從而反饋研發(fā)進(jìn)行優(yōu)化,比如加索引,該應(yīng)用的實(shí)現(xiàn)方式等。 常見慢 SQL 排查

不使用子查詢
SELECTFROM t1 WHERE id (SELECT id FROM t2 WHERE name=’hechunyang’);
子查詢在 MySQL5.5 版本里,內(nèi)部執(zhí)行計(jì)劃器是這樣執(zhí)行的:先查外表再匹配內(nèi)表,而不是先查內(nèi)表 t2,當(dāng)外表的數(shù)據(jù)很大時,查詢速度會非常慢。
在 MariaDB10/MySQL5.6 版本里,采用 join 關(guān)聯(lián)方式對其進(jìn)行了優(yōu)化,這條 SQL 會自動轉(zhuǎn)換為 SELECT t1.FROM t1 JOIN t2 ON t1.id = t2.id;

但請注意的是:優(yōu)化只針對 SELECT 有效,對 UPDATE/DELETE 子 查詢無效, 生產(chǎn)環(huán)境盡量應(yīng)避免使用子查詢。

避免函數(shù)索引
SELECTFROM t WHERE YEAR(d) >= 2016;
由于 MySQL 不像 Oracle 那樣?持函數(shù)索引,即使 d 字段有索引,也會直接全表掃描。
應(yīng)改為 > SELECTFROM t WHERE d >= ‘2016-01-01’;

用 IN 來替換 OR 低效查詢
慢 SELECTFROM t WHERE LOC_ID = 10 OR LOC_ID = 20 OR LOC_ID = 30;
高效查詢 > SELECTFROM t WHERE LOC_IN IN (10,20,30);

LIKE 雙百分號無法使用到索引
SELECTFROM t WHERE name LIKE ‘%de%’;
使用 SELECTFROM t WHERE name LIKE ‘de%’;

分組統(tǒng)計(jì)可以禁止排序
SELECT goods_id,count() FROM t GROUP BY goods_id;
默認(rèn)情況下,MySQL 對所有 GROUP BY col1,col2… 的字段進(jìn)?排序。如果查詢包括 GROUP BY,想要避免排序結(jié)果的消耗,則可以指定 ORDER BY NULL 禁止排序。
使用 SELECT goods_id,count () FROM t GROUP BY goods_id ORDER BY NULL;

禁止不必要的 ORDER BY 排序
SELECT count(1) FROM user u LEFT JOIN user_info i ON u.id = i.user_id WHERE 1 = 1 ORDER BY u.create_time DESC;
使用 SELECT count (1) FROM user u LEFT JOIN user_info i ON u.id = i.user_id;

9 總結(jié)

任何東西不應(yīng)過重關(guān)注其外表,要注重內(nèi)在的東西,往往絢麗的外表下會有對應(yīng)的負(fù)擔(dān)和損耗。

mysql 數(shù)據(jù)庫的監(jiān)控支持通過 SQL 方式從 performance_schema 庫中訪問對應(yīng)的表數(shù)據(jù),前提是初始化此庫并開啟監(jiān)控?cái)?shù)據(jù)寫入。

對于監(jiān)控而言,不在于手段的多樣性,而需要明白監(jiān)控的本質(zhì),以及需要的監(jiān)控項(xiàng)內(nèi)容,找到符合自身項(xiàng)目特色的監(jiān)控方式。

在選擇監(jiān)控工具對 mysql 監(jiān)控時,需要關(guān)注監(jiān)控工具本身對于數(shù)據(jù)庫服務(wù)器的消耗,不要影響到其自身的使用。

編輯:黃飛

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)庫
    +關(guān)注

    關(guān)注

    7

    文章

    3922

    瀏覽量

    66156
  • MySQL
    +關(guān)注

    關(guān)注

    1

    文章

    856

    瀏覽量

    27886

原文標(biāo)題:MYSQL 最樸素的監(jiān)控方式

文章出處:【微信號:DBDevs,微信公眾號:數(shù)據(jù)分析與開發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    MYSQL集群高可用和數(shù)據(jù)監(jiān)控平臺實(shí)現(xiàn)方案

    該項(xiàng)目共分為2個子項(xiàng)目,由MYSQL集群高可用和數(shù)據(jù)監(jiān)控平臺兩部分組成。
    的頭像 發(fā)表于 05-28 10:10 ?532次閱讀
    <b class='flag-5'>MYSQL</b>集群高可用和<b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>監(jiān)控</b>平臺實(shí)現(xiàn)方案

    請問MySQL數(shù)據(jù)庫如何監(jiān)控主從故障是否正常?

    監(jiān)控腳本 不同步時發(fā)送郵件[code]#!/bin/bash. /etc/init.d/functionsfunction check(){rep_file=/tmp/rep$(date +%F
    發(fā)表于 06-27 16:26

    linux監(jiān)控平臺搭建

    的支持,其中Nagios不需要數(shù)據(jù)庫,而其他2種都需要MySQL的支持,用來存儲數(shù)據(jù)的。Nagios最大特點(diǎn)是監(jiān)控一目了然,它監(jiān)控的某個指標(biāo)
    發(fā)表于 07-09 08:17

    監(jiān)控數(shù)據(jù)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

    以是德數(shù)據(jù)采集電路板和圖形編程軟件為基礎(chǔ),業(yè)已設(shè)計(jì)并實(shí)施了基于計(jì)算機(jī)的、以全新方式監(jiān)控太陽能光伏發(fā)電系統(tǒng)的數(shù)據(jù)采集系統(tǒng)。
    發(fā)表于 11-04 14:43

    如何利用labview獲取MySQL數(shù)據(jù)庫表中某一列的最大值

    如題,想獲取MySQL數(shù)據(jù)庫表中的data7那一列的最大值,下面是程序框圖一直報(bào)語法錯誤,但是該語句在mysql command line client是好的請問我的程序問題出在哪里?
    發(fā)表于 12-06 21:37

    淺談專業(yè)的數(shù)據(jù)采集系統(tǒng)

    方式來分析并展示龐雜數(shù)據(jù)的分析結(jié)果。通過提供曲線、折現(xiàn)、餅圖等多種展現(xiàn)手段,讓用戶了解自己目前所進(jìn)行的工作的優(yōu)勢和弊端,滿足趨勢分析、實(shí)時監(jiān)控、風(fēng)險預(yù)警、潛在信息分析等多種業(yè)務(wù)的展示需求。 納米軟件
    發(fā)表于 03-24 10:01 ?1467次閱讀

    如何獲取采集服務(wù)器Kubernetes監(jiān)控指標(biāo)

    對比 node-exporter用于采集服務(wù)器層面的運(yùn)行指標(biāo),包括機(jī)器的loadavg、filesystem、meminfo等基礎(chǔ)監(jiān)控,類似于傳統(tǒng)主機(jī)監(jiān)控維度的zabbix-agent
    的頭像 發(fā)表于 09-26 10:13 ?1550次閱讀

    解析Kubernetes監(jiān)控指標(biāo)獲取方式對比

    對比 node-exporter用于采集服務(wù)器層面的運(yùn)行指標(biāo),包括機(jī)器的loadavg、filesystem、meminfo等基礎(chǔ)監(jiān)控,類似于傳統(tǒng)主機(jī)監(jiān)控維度的zabbix-agent
    的頭像 發(fā)表于 09-26 10:45 ?1646次閱讀

    MySQL監(jiān)控-Datadog數(shù)據(jù)監(jiān)控調(diào)研

    大多系統(tǒng)的后端的存儲都有MySQL的身影,MySQL運(yùn)行的是否健康,直接影響著整個系統(tǒng)的運(yùn)行,數(shù)據(jù)庫的瓶頸往往也是整個系統(tǒng)的瓶頸,其重要性不言而喻,所以對于MySQL
    發(fā)表于 11-24 17:53 ?4137次閱讀

    基于mysql自有方式采集獲取監(jiān)控數(shù)據(jù)

    我們常聽 MySQL 中有二進(jìn)制日志 binlog、中繼日志 relaylog、重做回滾日志 redolog、undolog 等。針對慢查詢,還有一種慢查詢?nèi)罩?slowlog,用來記錄在 MySQL 中響應(yīng)時間超過閥值的語句。
    發(fā)表于 12-30 10:56 ?526次閱讀

    MySQL高級進(jìn)階:索引優(yōu)化

    MySQL官方對于索引的定義:索引是幫助MySQL高效獲取數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)。
    的頭像 發(fā)表于 06-11 11:13 ?851次閱讀
    <b class='flag-5'>MySQL</b>高級進(jìn)階:索引優(yōu)化

    PLC遠(yuǎn)程監(jiān)控數(shù)據(jù)采集系統(tǒng)的原理及組成

    介紹PLC遠(yuǎn)程監(jiān)控數(shù)據(jù)采集系統(tǒng)的原理及組成。 一、 PLC遠(yuǎn)程監(jiān)控數(shù)據(jù)采集系統(tǒng)的原理 PLC遠(yuǎn)程監(jiān)控
    的頭像 發(fā)表于 01-22 16:46 ?2467次閱讀
    PLC遠(yuǎn)程<b class='flag-5'>監(jiān)控</b>與<b class='flag-5'>數(shù)據(jù)采集</b>系統(tǒng)的原理及組成

    工業(yè)智能網(wǎng)關(guān)采集能耗數(shù)據(jù)對接到MySQL數(shù)據(jù)

    在工業(yè)生產(chǎn)中,對能耗數(shù)據(jù)的有效采集和管理對于企業(yè)的能源優(yōu)化和成本控制至關(guān)重要。利用工業(yè)智能網(wǎng)關(guān)將能耗數(shù)據(jù)采集并對接到MySQL數(shù)據(jù)庫,能夠?qū)?/div>
    的頭像 發(fā)表于 02-26 13:56 ?508次閱讀
    工業(yè)智能網(wǎng)關(guān)<b class='flag-5'>采集</b>能耗<b class='flag-5'>數(shù)據(jù)</b>對接到<b class='flag-5'>MySQL</b><b class='flag-5'>數(shù)據(jù)</b>庫

    數(shù)據(jù)采集MYSQL和SQLSERVER數(shù)據(jù)庫可以實(shí)現(xiàn)哪些功能

    ,確保企業(yè)各項(xiàng)數(shù)據(jù)資產(chǎn)得到合理存儲與管理,方便隨時調(diào)取、搜索,有助于提升管理水平與工作效率。 1.實(shí)時監(jiān)控與預(yù)警? 通過將生產(chǎn)設(shè)備數(shù)據(jù)采集MySQL或SQLServer
    的頭像 發(fā)表于 05-07 15:32 ?171次閱讀

    MySQL數(shù)據(jù)采集網(wǎng)關(guān)是什么?有什么功能?

    MySQL數(shù)據(jù)采集網(wǎng)關(guān)是一種用于連接、采集、處理并傳輸數(shù)據(jù)MySQL
    的頭像 發(fā)表于 05-26 15:20 ?178次閱讀