一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Sharding JDBC 實戰(zhàn):分布式事務處理

jf_ro2CN3Fa ? 來源:CSDN ? 2022-12-22 15:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

  • 1. 什么是全局事務呢?
  • 2. 2pc提交協(xié)議
  • 3. XA事務存在的問題
  • 4. CAP理論
  • 5. Sharding-JDBC分布式事務支持
  • 6. 項目地址

在我們使用Sharding JDBC分庫分表的時候,會帶來另外一個問題,就是分布式事務問題,如下圖所示。用戶采購商品業(yè)務,整個業(yè)務包含3個微服務:

  • 庫存服務: 扣減給定商品的庫存數(shù)量。
  • 訂單服務: 根據(jù)采購請求生成訂單。
  • 賬戶服務: 用戶賬戶金額扣減。

這三個業(yè)務操作應該屬于同一個事務,但是這些數(shù)據(jù)卻分配在不同的數(shù)據(jù)庫上,所以沒辦法采用數(shù)據(jù)庫的事務來保證數(shù)據(jù)一致性。

d9316416-81b9-11ed-8abf-dac502259ad0.png

這個時候,要解決分布式事務問題,就需要引入全局事務。

1. 什么是全局事務呢?

全局事務是一個DTP模型的事務,所謂DTP模型指的是 X/Open DTP (X/Open Distributed Transaction Processing Reference Model),是 X/Open 這個組織定義的一套分布式事務的標準。

X/Open,即現(xiàn)在的open group,是一個獨立的組織,主要負責制定各種行業(yè)技術標準。

官網地址:http://www.opengroup.org/

X/Open組織主要由各大知名公司或者廠商進行支持,這些組織不光遵循X/Open組織定義的行業(yè)技術標準,也參與到標準的制定。

X/Open了定義了規(guī)范和API接口,由這個廠商進行具體的實現(xiàn),這個標準提出了使用二階段提交(2PC –Two-Phase-Commit)來保證分布式事務的完整性。后來J2EE也遵循了X/OpenDTP規(guī)范,設計并實現(xiàn)了java里的分布式事務編程接口規(guī)范-JTA,如下圖所示,表示一個X/Open DTP模型。

d9499f7c-81b9-11ed-8abf-dac502259ad0.png

X/Open DTP模型定義了三個角色和兩個協(xié)議,其中三個角色分別如下:

  • AP(Application Program ,表示應用程序,也可以理解成使用DTP模型的程序
  • RM(Resource Manager) ,資源管理器,這個資源可以是數(shù)據(jù)庫, 應用程序通過資源管理器對資源進行控制,資源管理器必須實現(xiàn)XA定義的接口
  • TM(Transaction Manager) ,表示事務管理器,負責協(xié)調和管理全局事務,事務管理器控制整個全局事務,管理事務的生命周期,并且協(xié)調資源。

兩個協(xié)議分別是:

XA協(xié)議: XA 是X/Open DTP定義的資源管理器和事務管理器之間的接口規(guī)范,TM用它來通知和協(xié)調相關RM事務的開始、結束、提交或回滾。

目前Oracle、Mysql、DB2都提供了對XA的支持;XA接口是雙向的系統(tǒng)接口,在事務管理器(TM ) 以及多個資源管理器之間形成通信的橋梁(XA不能自動 提交)

  • https://dev.mysql.com/doc/refman/8.0/en/xa.html
  • https://dev.mysql.com/doc/refman/8.0/en/xa-statements.html

XA協(xié)議的語法,主流的數(shù)據(jù)庫都支持 XA協(xié)議,從而能夠實現(xiàn)跨數(shù)據(jù)庫事務。

XA{START|BEGIN}xid[JOIN|RESUME]--負責開啟或者恢復一個事務分支,并且管理XID到調用線程
XAENDxid[SUSPEND[FORMIGRATE]]--負責取消當前線程與事務分支的關聯(lián)
XAPREPARExid--負責詢問RM是否準備好了提交事務分支
XACOMMITxid[ONEPHASE]--知RM提交事務分支
XAROLLBACKxid--通知RM回滾事務分支
XARECOVER[CONVERTXID]

TX協(xié)議: 全局事務管理器與資源管理器之間通信的接口

在分布式系統(tǒng)中,每一個機器節(jié)點雖然都能夠明確知道自己在進行事務操作過程中的結果是成功還是失敗,但卻無法直接獲取到其他分布式節(jié)點的操作結果。

因此當一個事務操作需要跨越多個分布式節(jié)點的時候,為了保持事務處理的ACID特性,就需要引入一個“協(xié)調者”(TM)來統(tǒng)一調度所有分布式節(jié)點的執(zhí)行邏輯,這些被調度的分布式節(jié)點被稱為AP。TM負責調度AP的行為,并最終決定這些AP是否要把事務真正進行提交到(RM)。

基于 Spring Boot + MyBatis Plus + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序,支持 RBAC 動態(tài)權限、多租戶、數(shù)據(jù)權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://github.com/YunaiV/ruoyi-vue-pro
  • 視頻教程:https://doc.iocoder.cn/video/

2. 2pc提交協(xié)議

在X/OpenDTP模型中,一個分布式事務所涉及的SQL邏輯都執(zhí)行完成,并到了(RM)要最后提交事務的關鍵時刻,為了避免分布式系統(tǒng)所固有的不可靠性導致提交事務意外失敗,TM 果斷決定實施兩步走的方案,這個就稱為二階提交,如下圖所示。

二階段提交,是計算機網絡尤其是在數(shù)據(jù)庫領域內,為了使基于分布式系統(tǒng)架構下的所有節(jié)點在進行事務處理過程中能夠保持原子性和一致性而設計的一種算法。通常,二階段提交協(xié)議也被認為是一種一致性協(xié)議,用來保證分布式系統(tǒng)數(shù)據(jù)的一致性。

目前,絕大部分的關系型數(shù)據(jù)庫都是采用二階段提交協(xié)議來完成分布式事務處理的,利用該協(xié)議能夠非常方便地完成所有分布式事務AP的協(xié)調,統(tǒng)一決定事務的提交或回滾,從而能夠有效保證分布式數(shù)據(jù)一致性,因此2pc也被廣泛運用在許多分布式系統(tǒng)中。

d973a128-81b9-11ed-8abf-dac502259ad0.png

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序,支持 RBAC 動態(tài)權限、多租戶、數(shù)據(jù)權限、工作流、三方登錄、支付、短信、商城等功能

  • 項目地址:https://github.com/YunaiV/yudao-cloud
  • 視頻教程:https://doc.iocoder.cn/video/

3. XA事務存在的問題

上述基于XA協(xié)議的全局事務,是屬于強一致性事務,因為在全局事務中,只要有任何一個RM出現(xiàn)異常,都會導致全局事務回滾。同時,本地事務在Prepare階段鎖定資源時,如果有其他事務要要修改相同的數(shù)據(jù),就必須要等待前面的事務完成,這本身是無可厚非的設計,但是由于多個RM節(jié)點是跨網絡,一旦出現(xiàn)網絡延遲,就導致該事務一直占用資源使得整體性能下降。

另外,在XA COMMIT階段,如果其中一個RM因為網絡超時沒有收到數(shù)據(jù)提交的指令,會導致數(shù)據(jù)不一致,為了解決這個問題,很多開源分布式事務框架都會提供重試機制來保證數(shù)據(jù)一致性。

4. CAP理論

說到強一致性的問題,必然要提到CAP理論。

CAP的含義:

  • C:Consistency 一致性 同一數(shù)據(jù)的多個副本是否實時相同。
  • A:Availability 可用性 可用性:一定時間內 & 系統(tǒng)返回一個明確的結果 則稱為該系統(tǒng)可用。
  • P:Partition tolerance 分區(qū)容錯性 將同一服務分布在多個系統(tǒng)中,從而保證某一個系統(tǒng)宕機,仍然有其他系統(tǒng)提供相同的服務。

CAP理論告訴我們,在分布式系統(tǒng)中,C、A、P三個條件中我們最多只能選擇兩個。那么問題來了,究竟選擇哪兩個條件較為合適呢?

對于一個業(yè)務系統(tǒng)來說,分區(qū)容錯性是必須要滿足的條件。業(yè)務系統(tǒng)之所以使用分布式系統(tǒng),主要原因有兩個:

  • 提升整體性能 當業(yè)務量猛增,單個服務器已經無法滿足我們的業(yè)務需求的時候,就需要使用分布式系統(tǒng),使用多個節(jié)點提供相同的功能,從而整體上提升系統(tǒng)的性能,這就是使用分布式系統(tǒng)的第一個原因。
  • 實現(xiàn)分區(qū)容錯性 單一節(jié)點 或 多個節(jié)點處于相同的網絡環(huán)境下,那么會存在一定的風險,萬一該機房斷電、該地區(qū)發(fā)生自然災害,那么業(yè)務系統(tǒng)就全面癱瘓了。為了防止這一問題,采用分布式系統(tǒng),將多個子系統(tǒng)分布在不同的地域、不同的機房中,從而保證系統(tǒng)高可用性。

所以我們需要根據(jù)自己的業(yè)務需求,選擇采取CP還是AP。

5. Sharding-JDBC分布式事務支持

了解了X/Open DTP模型的全局事務解決方案,就必然需要一個成熟的技術中間件來簡化我們對于分布式事務的開發(fā)邏輯,而Sharding-JDBC提供了分布式事務解決方案。

Sharding-JDBC支持以下四種事務模型,實際上這些分布式事務模式都是集成開源的事務組件做的集成。

  • Atomikos事務
  • Narayana事務
  • Bitronix事務
  • Seata事務

Apache ShardingSphere 默認的 XA 事務管理器為 Atomikos,下面我們通過Atomikos來配置一個分布式事務的使用模型。

5.1 Atomikos事務

Atomikos是為Java平臺提供的開源的事務管理工具,它包含收費和開源兩個版本,開源版本基本能滿足我們的需求。

Atomikos實現(xiàn)了JTA/XA規(guī)范中的事務管理器(Transaction Manager)應該實現(xiàn)的相關接口。

JTA,即Java Transaction API,JTA允許應用程序執(zhí)行分布式事務處理——在兩個或多個網絡計算機資源上訪問并且更新數(shù)據(jù),JDBC驅動程序的JTA支持極大地增強了數(shù)據(jù)訪問能力。

  • TransactionManager : 常用方法,可以開啟、回滾、獲取事務。begin(),rollback()…
  • XAResouce : 資源管理,通過Session來進行事務管理。commit(xid)…
  • XID : 每一個事務都分配一個特定的XID

JTA是如何實現(xiàn)多數(shù)據(jù)源的事務管理呢?

主要的原理是兩階段提交,以上面的請求業(yè)務為例,當整個業(yè)務完成了之后只是第一階段提交,在第二階段提交之前會檢查其他所有事務是否已經提交,如果前面出現(xiàn)了錯誤或是沒有提交,那么第二階段就不會提交,而是直接rollback操作,這樣所有的事務都會做Rollback操作。

5.2 實戰(zhàn)

5.2.1 項目搭建

使用IDEA直接創(chuàng)建Spring boot 項目即可。

5.2.2 依賴

由于使用XA事務,所以除了Sharding依賴外還需要引入事務依賴。

<dependency>
<groupId>org.apache.shardingspheregroupId>
<artifactId>shardingsphere-jdbc-core-spring-boot-starterartifactId>
<version>5.0.0-alphaversion>
dependency>
<dependency>
<groupId>com.zaxxergroupId>
<artifactId>HikariCPartifactId>
<version>3.4.2version>
dependency>
<dependency>
<groupId>org.freemarkergroupId>
<artifactId>freemarkerartifactId>
dependency>

<dependency>
<groupId>org.apache.shardingspheregroupId>
<artifactId>shardingsphere-transaction-xa-coreartifactId>
<version>5.0.0-alphaversion>
dependency>

5.2.3 配置

接下來就是配置相關數(shù)據(jù)庫連接信息以及分片規(guī)則;

在這里主要做的是創(chuàng)建了兩個數(shù)據(jù)源(數(shù)據(jù)源最好設置兩臺服務器的數(shù)據(jù)庫)以及設置好了相應的分庫規(guī)則。

server.port=8080
spring.mvc.view.prefix=classpath:/templates/
spring.mvc.view.suffix=.html

spring.shardingsphere.props.sql-show=true
spring.shardingsphere.datasource.names="ds-0,ds-1"
spring.shardingsphere.datasource.common.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.common.driver-class-name=com.mysql.jdbc.Driver

spring.shardingsphere.datasource.ds-0.jdbc-url=jdbc//localhost:3306/shard01?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-0.username=root
spring.shardingsphere.datasource.ds-0.password=123456

spring.shardingsphere.datasource.ds-1.jdbc-url=jdbc//localhost:3306/shard02?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8
spring.shardingsphere.datasource.ds-1.username=root
spring.shardingsphere.datasource.ds-1.password=123456

spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-column=user_id
spring.shardingsphere.rules.sharding.default-database-strategy.standard.sharding-algorithm-name=database-inline
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.type=INLINE
spring.shardingsphere.rules.sharding.sharding-algorithms.database-inline.props.algorithm-expression=ds-$->{user_id % 2}

spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.column=order_id
spring.shardingsphere.rules.sharding.tables.t_order.key-generate-strategy.key-generator-name=snowflake

spring.shardingsphere.rules.sharding.key-generators.snowflake.type=SNOWFLAKE
spring.shardingsphere.rules.sharding.key-generators.snowflake.props.worker-id=123

5.2.4 事務一致性注解

Sharding jdbc解決事務一致性可以直接通過@ShardingTransactionType(TransactionType.XA)注解實現(xiàn),我們只需要在對應的方法上加上即可。

比如下圖,由于我們在配置文件中是通過user_id進行分庫的,然后我們在這里通過隨機數(shù),會根據(jù)分片規(guī)則往兩個數(shù)據(jù)庫中插入數(shù)據(jù)。

當i=4的時候,我們人為的制造異常,如果我們不采用全局事務的話,則之前插入的數(shù)據(jù)還會再數(shù)據(jù)庫中。所以這個時候我們只需要加上@ShardingTransactionType(TransactionType.XA)注解即可,XA屬于強一致性。

d999c59c-81b9-11ed-8abf-dac502259ad0.png

6. 項目地址

https://gitee.com/cl1429745331/sharding-jdbc-demo



審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)庫

    關注

    7

    文章

    3927

    瀏覽量

    66236
  • 分布式
    +關注

    關注

    1

    文章

    997

    瀏覽量

    75408
  • JDBC
    +關注

    關注

    0

    文章

    25

    瀏覽量

    13627

原文標題:Sharding JDBC 實戰(zhàn):分布式事務處理

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    曙光存儲領跑中國分布式存儲市場

    近日,賽迪顧問發(fā)布《中國分布式存儲市場研究報告(2025)》,指出2024 年中國分布式存儲市場首次超過集中式存儲,規(guī)模達 198.2 億元,增速 43.7%。
    的頭像 發(fā)表于 05-19 16:50 ?484次閱讀

    MCU分布式模塊化自動測量單元:數(shù)據(jù)傳輸與處理能力如何?

    在現(xiàn)代工程監(jiān)測中,MCU分布式模塊化自動測量單元(MCU)以其靈活的配置和強大的數(shù)據(jù)處理能力,成為了各類安全監(jiān)測項目的理想選擇。本文將深入探討MCU的工作原理、數(shù)據(jù)傳輸方式以及其在實際應用中的優(yōu)勢
    的頭像 發(fā)表于 03-12 14:09 ?407次閱讀
    MCU<b class='flag-5'>分布式</b>模塊化自動測量單元:數(shù)據(jù)傳輸與<b class='flag-5'>處理</b>能力如何?

    分布式日志追蹤ID實戰(zhàn)

    作者:京東物流 張小龍 本文通過介紹分布式應用下各個場景的全局日志ID透傳思路,以及介紹分布式日志追蹤ID簡單實現(xiàn)原理和實戰(zhàn)效果,從而達到通過提高日志查詢排查問題的效率。 背景 開發(fā)排查系統(tǒng)問題用得
    的頭像 發(fā)表于 01-20 10:16 ?636次閱讀

    分布式云化數(shù)據(jù)庫有哪些類型

    分布式云化數(shù)據(jù)庫有哪些類型?分布式云化數(shù)據(jù)庫主要類型包括:關系型分布式數(shù)據(jù)庫、非關系型分布式數(shù)據(jù)庫、新SQL分布式數(shù)據(jù)庫、以列方式存儲數(shù)據(jù)、
    的頭像 發(fā)表于 01-15 09:43 ?482次閱讀

    基于ptp的分布式系統(tǒng)設計

    在現(xiàn)代分布式系統(tǒng)中,精確的時間同步對于確保數(shù)據(jù)一致性、系統(tǒng)穩(wěn)定性和性能至關重要。PTP(Precision Time Protocol)是一種網絡協(xié)議,用于在分布式系統(tǒng)中實現(xiàn)高精度的時間同步
    的頭像 發(fā)表于 12-29 10:09 ?567次閱讀

    HarmonyOS Next 應用元服務開發(fā)-分布式數(shù)據(jù)對象遷移數(shù)據(jù)文件資產遷移

    === AbilityConstant.LaunchReason.CONTINUATION) { // ... // 調用封裝好的分布式數(shù)據(jù)對象處理函數(shù) this.handleDistributedData(want
    發(fā)表于 12-24 10:11

    HarmonyOS Next 應用元服務開發(fā)-分布式數(shù)據(jù)對象遷移數(shù)據(jù)權限與基礎數(shù)據(jù)

    === AbilityConstant.LaunchReason.CONTINUATION) { // ... // 調用封裝好的分布式數(shù)據(jù)對象處理函數(shù) this.handleDistributedData(want
    發(fā)表于 12-24 09:40

    分布式通信的原理和實現(xiàn)高效分布式通信背后的技術NVLink的演進

    大型模型的大小已經超出了單個 GPU 的范圍。所以就需要實現(xiàn)跨多個 GPU 的模型訓練,這種訓練方式就涉及到了分布式通信和 NVLink。 當談及分布式通信和 NVLink 時,我們進入了一個引人入勝且不斷演進的技術領域,下面我們將簡單介紹
    的頭像 發(fā)表于 11-18 09:39 ?1297次閱讀
    <b class='flag-5'>分布式</b>通信的原理和實現(xiàn)高效<b class='flag-5'>分布式</b>通信背后的技術NVLink的演進

    分布式光纖測溫解決方案

    分布式光纖測溫解決方案
    的頭像 發(fā)表于 11-12 01:02 ?565次閱讀
    <b class='flag-5'>分布式</b>光纖測溫解決方案

    淺談屋頂分布式光伏發(fā)電技術的設計與應用

    【摘要】為了緩解城市用電緊張袁降低人們的用電成本,可以在工業(yè)園區(qū)、辦公樓屋頂?shù)葓鏊鶓梦蓓?b class='flag-5'>分布式光伏發(fā)電技術進行就近轉換、并網發(fā)電袁充分利用建筑物屋頂?shù)奶栙Y源。概述屋頂分布式光伏發(fā)電技術,分析屋頂
    的頭像 發(fā)表于 11-11 15:10 ?1851次閱讀
    淺談屋頂<b class='flag-5'>分布式</b>光伏發(fā)電技術的設計與應用

    Spring事務實現(xiàn)原理

    作者:京東零售 范錫軍 1、引言 spring的spring-tx模塊提供了對事務管理支持,使用spring事務可以讓我們從復雜的事務處理中得到解脫,無需要去處理獲得連接、關閉連接、
    的頭像 發(fā)表于 11-08 10:10 ?1156次閱讀
    Spring<b class='flag-5'>事務</b>實現(xiàn)原理

    分布式光纖測溫是什么?應用領域是?

    時,該處的散射光特性會受到影響。通過高速信號采集與數(shù)據(jù)處理技術,可以準確地定位發(fā)生溫度變化的位置,并給出實時的溫度信息。簡而言之,分布式光纖測溫技術將整條傳輸光纖作為傳感器,光纖上的每一點都兼具“傳”和“感”
    的頭像 發(fā)表于 10-24 15:30 ?1263次閱讀
    <b class='flag-5'>分布式</b>光纖測溫是什么?應用領域是?

    分布式輸電線路故障定位中的分布式是指什么

    所謂分布式指的是產品的部署方式,是相對于集中式而言的。 一、部署方式 分散安裝:分布式輸電線路故障定位系統(tǒng)中的采集裝置需要安裝在輸電線路的多個位置,通常是每隔一定距離設置一個監(jiān)測點,以確保對整條線路
    的頭像 發(fā)表于 10-16 11:39 ?690次閱讀
    <b class='flag-5'>分布式</b>輸電線路故障定位中的<b class='flag-5'>分布式</b>是指什么

    分布式功能安全的創(chuàng)新與突破

    近日,Imagination推出全新性能最高且具有高等級功能安全性的汽車GPUIP——ImaginationDXSGPU,并且是Imagination第一款帶有“分布式安全機制”的處理器。下載白皮書
    的頭像 發(fā)表于 09-20 08:09 ?516次閱讀
    <b class='flag-5'>分布式</b>功能安全的創(chuàng)新與突破

    探秘IO分布式模塊設計:讓大數(shù)據(jù)處理更高效

    隨著互聯(lián)網的飛速發(fā)展,大數(shù)據(jù)、云計算、人工智能等技術逐漸成為時代的主流。在這個數(shù)據(jù)爆炸的時代,如何高效地處理海量數(shù)據(jù)成為企業(yè)面臨的重大挑戰(zhàn)。IO分布式模塊設計作為一種有效的解決方案,越來越受到關注。本文將帶您了解IO分布式模塊設
    的頭像 發(fā)表于 07-26 13:54 ?1075次閱讀
    探秘IO<b class='flag-5'>分布式</b>模塊設計:讓大數(shù)據(jù)<b class='flag-5'>處理</b>更高效