一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

mysql磁盤碎片整理

京東云 ? 來源:jf_75140285 ? 作者:jf_75140285 ? 2024-08-27 15:26 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

背景

數(shù)據(jù)結(jié)轉(zhuǎn)過程中經(jīng)常進行 delete 操作,產(chǎn)生空白空間,如果進行新的插入操作,MySQL將嘗試利用這些留空的區(qū)域,但仍然無法將其徹底占用,于是造成了數(shù)據(jù)的存儲位置不連續(xù),以及物理存儲順序與理論上的排序順序不同,久而久之就產(chǎn)生了碎片。

碎片治理思路

根據(jù)線上處理經(jīng)驗總結(jié)比對4種處理磁盤碎片優(yōu)缺點

?

治理方案 優(yōu)勢 缺點 備注
將數(shù)據(jù)量巨大的表設計成分區(qū)表,按時間分區(qū) 通過結(jié)轉(zhuǎn)分區(qū)數(shù)據(jù),刪除分區(qū)釋放磁盤碎片,磁盤IO抖動秒級別,對線上業(yè)務影響小 ?
估算數(shù)據(jù)量,每個分區(qū)不超過3億數(shù)據(jù)350G為佳;庫存流水,訂單表這些表應該在創(chuàng)建時就應該設計成分區(qū)表,避免以后磁盤碎片痛點
重建表存儲引擎,重新組織數(shù)據(jù)(ALTER TABLE tablename ENGINE=InnoDB;) ?
整理過程加鎖,周期長,且對線上業(yè)務影響較大:10億數(shù)據(jù)量,1000G,tp99會持續(xù)超過60s 謹慎操作
主從切換(DBA可使用一個磁盤更大的干凈的庫,進行主從切換) ?
涉及面廣,牽扯范圍較大,處理時長在分鐘級 謹慎操作
創(chuàng)建臨時表進行數(shù)據(jù)雙寫最后進行數(shù)據(jù)庫表名切換 零延遲,無抖動,對線上無任何影響 需要磁盤空間較大 ?

?

創(chuàng)建分區(qū)表

wKgaombNf52AKKGpABCZGfhqC9I055.png

上述分區(qū)表,在某一分區(qū)內(nèi)數(shù)據(jù)結(jié)轉(zhuǎn)完成后,

ALTER TABLE warehouse_stock_flow drop PARTITION p24;

當然不是所有的表都是可以創(chuàng)建分區(qū)表的。如果某一張數(shù)據(jù)表在很長一段時間內(nèi)沒有進行數(shù)據(jù)結(jié)轉(zhuǎn),且無法創(chuàng)建分區(qū)表的話,可以利用以下方法。

?

表名切換

如果某一張數(shù)據(jù)表在很長一段時間內(nèi)沒有進行數(shù)據(jù)結(jié)轉(zhuǎn),可以創(chuàng)建臨時表,通過大數(shù)據(jù)將某一結(jié)轉(zhuǎn)周期內(nèi)數(shù)據(jù)推送至臨時表,在代碼層面進行數(shù)據(jù)的雙寫,最后再通過表名更換的方式進行表名轉(zhuǎn)換。其實,治理磁盤碎片最好的方法就是刪除表,不同業(yè)務對數(shù)據(jù)的要求不同。如果有可能的話新建一個臨時表。

利用rename語句對數(shù)據(jù)庫表信息進行修改,不會鎖表,可以達到零延遲,無抖動,對線上無任何影響。

wKgZombNf56AMgbUAAQwDHqV6Cg590.png

rename table xx_record to xx_record_temp1,xx_temp to xx_record,xx_record_temp1 to xx_record_temp;

總結(jié)

不管是使用云還是商城數(shù)據(jù)庫,只要使用mysql,必然會遇到Mysql碎片問題痛點,數(shù)據(jù)量大的業(yè)務表應該設計成分區(qū)表方便磁盤碎片整理,降低維護成本和業(yè)務影響。碎片清理前后,IO性能會上升,SQL執(zhí)行效率更快。所以,在日常運維工作中,應對碎片進行定期清理,保證數(shù)據(jù)庫有穩(wěn)定的性能和充足的空間。

擴展

提到提高IO性能,在緊急情況下還可以考慮開啟刷盤(設置 sync_binlog=0;innodb_flush_log_at_trx_commit=0),但開啟刷盤會有數(shù)據(jù)丟失風險(集團數(shù)據(jù)庫模板配置參數(shù)默認sync_binlog=1;innodb_flush_log_at_trx_commit=1)。

附件

mysql數(shù)據(jù)庫核心參數(shù)介紹:https://www.cnblogs.com/klvchen/p/10861850.html?

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)庫
    +關(guān)注

    關(guān)注

    7

    文章

    3926

    瀏覽量

    66197
  • 磁盤碎片整理
    +關(guān)注

    關(guān)注

    0

    文章

    2

    瀏覽量

    5556
  • MySQL
    +關(guān)注

    關(guān)注

    1

    文章

    860

    瀏覽量

    27919
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    晶圓甩干機如何降低碎片

    在半導體制造過程中,晶圓甩干機發(fā)揮著至關(guān)重要的作用。然而,晶圓甩干過程中的碎片問題一直是影響生產(chǎn)效率和產(chǎn)品質(zhì)量的關(guān)鍵因素之一。晶圓作為半導體器件的載體,其完整性對于后續(xù)的制造工藝至關(guān)重要。即使是極小
    的頭像 發(fā)表于 03-25 10:49 ?377次閱讀

    VMWare Linux系統(tǒng)磁盤擴容

    當我們在VMware Linux虛擬機安裝軟件的時候,發(fā)現(xiàn)磁盤不夠了,可以考慮給磁盤擴容,而不是重建虛擬機。
    的頭像 發(fā)表于 02-17 14:01 ?691次閱讀
    VMWare Linux系統(tǒng)<b class='flag-5'>磁盤</b>擴容

    使用插件將Excel連接到MySQL/MariaDB

    使用插件將 Excel 連接到 MySQL/MariaDB 適用于 MySQL 的 Devart Excel 插件允許您將 Microsoft Excel 連接到 MySQL 或 MariaDB
    的頭像 發(fā)表于 01-20 12:38 ?614次閱讀
    使用插件將Excel連接到<b class='flag-5'>MySQL</b>/MariaDB

    適用于MySQL和MariaDB的.NET連接器

    支持 ORM 的適用于 MySQL 和 MariaDB 的 .NET 連接器 dotConnect for MySQL 是一種高性能 ADO.NET 數(shù)據(jù)提供程序,可在開發(fā) MySQL 的應用程序
    的頭像 發(fā)表于 01-16 14:17 ?480次閱讀
    適用于<b class='flag-5'>MySQL</b>和MariaDB的.NET連接器

    MySQL數(shù)據(jù)庫的安裝

    MySQL數(shù)據(jù)庫的安裝 【一】各種數(shù)據(jù)庫的端口 MySQL :3306 Redis :6379 MongoDB :27017 Django :8000 flask :5000 【二】MySQL 介紹
    的頭像 發(fā)表于 01-14 11:25 ?562次閱讀
    <b class='flag-5'>MySQL</b>數(shù)據(jù)庫的安裝

    什么是raid磁盤冗余陣列

    什么是raid 磁盤冗余陣列 這是由多塊獨立磁盤(多為硬盤)組合的一個超大容量磁盤組。 ? 大白話的解釋磁盤冗余陣列,就是將很多塊硬盤組合成一個整體,不同的RAID級別,可以實現(xiàn)不同的
    的頭像 發(fā)表于 12-16 16:41 ?918次閱讀
    什么是raid<b class='flag-5'>磁盤</b>冗余陣列

    MySQL還能跟上PostgreSQL的步伐嗎

    Percona 的老板 Peter Zaitsev最近發(fā)表一篇博客,討論了MySQL是否還能跟上PostgreSQL的腳步。Percona 作為MySQL 生態(tài)扛旗者,Percona 開發(fā)了知名
    的頭像 發(fā)表于 11-18 10:16 ?563次閱讀
    <b class='flag-5'>MySQL</b>還能跟上PostgreSQL的步伐嗎

    詳解MySQL多實例部署

    詳解MySQL多實例部署
    的頭像 發(fā)表于 11-11 11:10 ?634次閱讀

    MySQL編碼機制原理

    前言 一位讀者在本地部署 MySQL 測試環(huán)境時碰到一個問題,我覺得挺有代表性的,所以寫篇文章介紹一下,看完相信你會對 MySQL 的編碼機制有最本質(zhì)的了解,本文的目錄結(jié)構(gòu)如下 讀者問題簡介
    的頭像 發(fā)表于 11-09 11:01 ?580次閱讀

    適用于MySQL的dbForge架構(gòu)比較

    dbForge Schema Compare for MySQL 是一種工具,用于輕松有效地比較和部署 MySQL 數(shù)據(jù)庫結(jié)構(gòu)和腳本文件夾差異。該工具提供了 MySQL 數(shù)據(jù)庫架構(gòu)中所有差異的全面視圖。
    的頭像 發(fā)表于 10-28 09:41 ?570次閱讀
    適用于<b class='flag-5'>MySQL</b>的dbForge架構(gòu)比較

    配置MySQL主從復制和讀寫分離

    配置MySQL主從復制和讀寫分離
    的頭像 發(fā)表于 10-23 11:44 ?813次閱讀
    配置<b class='flag-5'>MySQL</b>主從復制和讀寫分離

    Jtti:MySQL初始化操作如何設置root密碼

    MySQL初始化時,可以通過以下步驟設置root密碼: 打開命令行工具,使用以下命令啟動MySQL服務: ? sudo service mysql start ? 使用以下命令登錄MySQL
    的頭像 發(fā)表于 08-08 16:45 ?837次閱讀

    Linux磁盤IO詳細解析

      在講解磁盤IO前,先簡單說下什么是磁盤。磁盤是可以持久化存儲的設備,根據(jù)存儲介質(zhì)的不同,常見磁盤可以分為兩類:機械磁盤和固態(tài)
    的頭像 發(fā)表于 08-05 15:49 ?1093次閱讀
    Linux<b class='flag-5'>磁盤</b>IO詳細解析

    MySQL知識點匯總

    大家好,這部分被稱為DQL部分,是每個學習MySQL必須要學會的部分,下面就讓我來介紹MySQL中的其他部分。
    的頭像 發(fā)表于 08-05 15:27 ?654次閱讀
    <b class='flag-5'>MySQL</b>知識點匯總

    華納云:如何修改MySQL的默認端口

    MySQL是世界上最流行的開源關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一。在某些情況下,由于安全性、網(wǎng)絡策略或端口沖突的原因,數(shù)據(jù)庫管理員可能需要更改MySQL服務的默認監(jiān)聽端口。本文將指導您如何在不同的操作系統(tǒng)上
    的頭像 發(fā)表于 07-22 14:56 ?538次閱讀
    華納云:如何修改<b class='flag-5'>MySQL</b>的默認端口