一般情況下 Kubernetes 可以通過(guò) ReplicaSet 以一個(gè) Pod 模板創(chuàng)建多個(gè) pod 副本,但是它們都是無(wú)狀態(tài)的,任何時(shí)候它們都可以被一個(gè)全新的 pod 替換。然而有狀態(tài)的 pod 需要另外的方案確保當(dāng)一個(gè)有狀態(tài)的 pod 掛掉后,這個(gè) pod 實(shí)例需要在別的節(jié)點(diǎn)上重建,但是新的實(shí)例必須與被替換的實(shí)例擁有相同的名稱、網(wǎng)絡(luò)標(biāo)識(shí)和狀態(tài)。這就是 Statefulset 管理 pod 的手段。
對(duì)于容器集群,有狀態(tài)服務(wù)的挑戰(zhàn)在于,通常集群中的任何節(jié)點(diǎn)都并非100%可靠的,服務(wù)所需的資源也會(huì)動(dòng)態(tài)地更新改變。當(dāng)節(jié)點(diǎn)由于故障或服務(wù)由于需要更多的資源而無(wú)法繼續(xù)運(yùn)行在原有節(jié)點(diǎn)上時(shí),集群管理系統(tǒng)會(huì)為該服務(wù)重新分配一個(gè)新的運(yùn)行位置,從而確保從整體上看,集群對(duì)外的服務(wù)不會(huì)中斷。若采用本地存儲(chǔ),當(dāng)服務(wù)漂移后數(shù)據(jù)并不會(huì)隨著服務(wù)轉(zhuǎn)移到新的節(jié)點(diǎn),重啟服務(wù)就會(huì)出現(xiàn)數(shù)據(jù)丟失的困境。
本文目的是通過(guò)一個(gè) mysql 的主從集群搭建,深入了解 kubernetes 的 statfulset 管理。為了降低實(shí)驗(yàn)的外部依賴,存儲(chǔ)層面上,我采用的是本地存儲(chǔ),當(dāng)然生產(chǎn)上不建議這樣做,生產(chǎn)環(huán)境的存儲(chǔ)推薦官方介紹到的的 gce、nfs、ceph等存儲(chǔ)方案,因?yàn)檫@些方案支持動(dòng)態(tài)供給的特性,允許開發(fā)人員通過(guò) pvc 的定義,快速實(shí)現(xiàn)數(shù)據(jù)有效存儲(chǔ),所以你絕不應(yīng)該把一個(gè)宿主機(jī)上的目錄當(dāng)作 PV 使用, 只是本文用于實(shí)驗(yàn)需要,采用 Local Persistent Volume 的手段,目的只是為了驗(yàn)證 Statefulset 的狀態(tài)管理功能。
實(shí)驗(yàn)環(huán)境
kubernetes Master
kubernetes Node(測(cè)試演示,所有的副本都會(huì)在其上運(yùn)行)
kubernetes DNS 服務(wù)已開啟
實(shí)驗(yàn)?zāi)康?/p>
搭建一個(gè)主從復(fù)制(Master-Slave)的 MySQL 集群
從節(jié)點(diǎn)可以水平擴(kuò)展
所有的寫操作只能在主節(jié)點(diǎn)上執(zhí)行
讀操作可以在主從節(jié)點(diǎn)上執(zhí)行
從節(jié)點(diǎn)能同步主節(jié)點(diǎn)的數(shù)據(jù)
本地存儲(chǔ)原理
為了快速搭建測(cè)試環(huán)境,我們這里使用了本地存儲(chǔ),也就是說(shuō),用戶希望 Kubernetes 能夠直接使用宿主機(jī)上的本地磁盤目錄,而不依賴于遠(yuǎn)程存儲(chǔ)服務(wù),來(lái)提供持久化的容器 Volume。不過(guò)這里有個(gè)難點(diǎn):我們把存儲(chǔ)固定在一個(gè)節(jié)點(diǎn)上,但是pod在調(diào)度的時(shí)候,是飄來(lái)飄去的,怎么能讓pod通過(guò)pvc也能固定在pv上?
給這個(gè) Pod 加上一個(gè) nodeAffinity 行不行?
當(dāng)然行,但是這變相破壞了開發(fā)人員對(duì)資源對(duì)象的定義規(guī)范了,開發(fā)人員應(yīng)該不需要時(shí)刻考慮調(diào)度的細(xì)節(jié)。調(diào)度的改動(dòng)應(yīng)該交給運(yùn)維就行。所以我們?yōu)榱藢?shí)現(xiàn)本地存儲(chǔ),我們采用了 延遲綁定 的方法。方法很簡(jiǎn)單,我們都知道 storageclass 一般由運(yùn)維人員設(shè)計(jì),我們只需要在storageclass 指定 no-provisioner。這是因?yàn)?Local Persistent Volume 目前尚不支持 Dynamic Provisioning,所以它沒(méi)辦法在用戶創(chuàng)建 PVC 的時(shí)候,就自動(dòng)創(chuàng)建出對(duì)應(yīng)的 PV。與此同時(shí),這個(gè) StorageClass 還定義了一個(gè) volumeBindingMode=WaitForFirstConsumer 的屬性。它是 Local Persistent Volume 里一個(gè)非常重要的特性,即:延遲綁定
kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: local-storage provisioner: kubernetes.io/no-provisioner volumeBindingMode: WaitForFirstConsumer
實(shí)驗(yàn)步驟
一、先在node (實(shí)驗(yàn)用的node節(jié)點(diǎn)IP是172.31.170.51 )節(jié)點(diǎn)上,預(yù)先分配幾個(gè)pv (不建議在生產(chǎn)上這樣操作)
01-persistentVolume-1.yaml
apiVersion: v1 kind: PersistentVolume metadata: name: example-mysql-pv spec: capacity: storage: 15Gi volumeMode: Filesystem accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Delete storageClassName: local-storage local: path: /data/svr/projects/mysql nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - 172.31.170.51
01-persistentVolume-2.yaml
apiVersion: v1 kind: PersistentVolume metadata: name: example-mysql-pv-2 spec: capacity: storage: 15Gi volumeMode: Filesystem accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Delete storageClassName: local-storage local: path: /data/svr/projects/mysql2 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - 172.31.170.51
01-persistentVolume-3.yaml
apiVersion: v1 kind: PersistentVolume metadata: name: example-mysql-pv-3 spec: capacity: storage: 15Gi volumeMode: Filesystem accessModes: - ReadWriteOnce persistentVolumeReclaimPolicy: Delete storageClassName: local-storage local: path: /data/svr/projects/mysql3 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - 172.31.170.51
記住,這是在生產(chǎn)上不推薦的做法,我只是實(shí)驗(yàn)用途才這樣手動(dòng)預(yù)先創(chuàng)建,正規(guī)的做法應(yīng)該通過(guò)storageclass采用 Dynamic Provisioning, 而不是 Static Provisioning 機(jī)制生產(chǎn)PV。
kubectl apply -f 01-persistentVolume-{1..3}.yaml persistentvolume/example-mysql-pv1 created persistentvolume/example-mysql-pv2 created persistentvolume/example-mysql-pv3 created
二、創(chuàng)建 StorageClass
02-storageclass.yaml
kind: StorageClass apiVersion: storage.k8s.io/v1 metadata: name: local-storage provisioner: kubernetes.io/no-provisioner volumeBindingMode: WaitForFirstConsumer
執(zhí)行創(chuàng)建
kubectl apply -f 02-storageclass.yaml storageclass.storage.k8s.io/local-storage created
三、創(chuàng)建Namespace
03-mysql-namespace.yaml
apiVersion: v1 kind: Namespace metadata: name: mysql labels: app: mysql
執(zhí)行創(chuàng)建
kubectl apply -f 03-mysql-namespace.yaml namespace/mysql created
四、使用 ConfigMap 為 Master/Slave 節(jié)點(diǎn)分配不同的配置文件
04-mysql-configmap.yaml
apiVersion: v1 kind: ConfigMap metadata: name: mysql namespace: mysql labels: app: mysql data: master.cnf: | # Master配置 [mysqld] log-bin=mysqllog skip-name-resolve slave.cnf: | # Slave配置 [mysqld] super-read-only skip-name-resolve log-bin=mysql-bin replicate-ignore-db=mysql
創(chuàng)建執(zhí)行
kubectl apply -f 04-mysql-configmap.yaml configmap/mysql created
五、創(chuàng)建mysql密碼Secret
05-mysql-secret.yaml
apiVersion: v1 kind: Secret metadata: name: mysql-secret namespace: mysql labels: app: mysql type: Opaque data: password: MTIzNDU2 # echo -n "123456" | base64
創(chuàng)建執(zhí)行
kubectl apply -f 05-mysql-secret.yaml secret/mysql-secret created
六、使用 Service 為 MySQL 提供讀寫分離
06-mysql-services.yaml
apiVersion: v1 kind: Service metadata: name: mysql namespace: mysql labels: app: mysql spec: ports: - name: mysql port: 3306 clusterIP: None selector: app: mysql --- apiVersion: v1 kind: Service metadata: name: mysql-read namespace: mysql labels: app: mysql spec: ports: - name: mysql port: 3306 selector: app: mysql
用戶所有寫請(qǐng)求,必須以 DNS 記錄的方式直接訪問(wèn)到 Master 節(jié)點(diǎn),也就是 mysql-0.mysql 這條 DNS 記錄。
用戶所有讀請(qǐng)求,必須訪問(wèn)自動(dòng)分配的 DNS 記錄可以被轉(zhuǎn)發(fā)到任意一個(gè) Master 或 Slave 節(jié)點(diǎn)上,也就是 mysql-read 這條 DNS 記錄
kubectl apply -f 06-mysql-services.yaml $ kubectl get svc -n mysql NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE mysql ClusterIP None3306/TCP 20s mysql-read ClusterIP 10.0.0.63 3306/TCP 20s
七、使用 StatefulSet 搭建 MySQL 主從集群
mysql-statefulset.yaml
apiVersion: apps/v1 kind: StatefulSet metadata: name: mysql namespace: mysql labels: app: mysql spec: selector: matchLabels: app: mysql serviceName: mysql replicas: 2 template: metadata: labels: app: mysql spec: initContainers: - name: init-mysql image: mysql:5.7 env: - name: MYSQL_ROOT_PASSWORD valueFrom: secretKeyRef: name: mysql-secret key: password command: - bash - "-c" - | set -ex # 從 Pod 的序號(hào),生成 server-id [[ $(hostname) =~ -([-9]+)$ ]] || exit 1 ordinal=${BASH_REMATCH[1]} echo [mysqld] > /mnt/conf.d/server-id.cnf # 由于 server-id 不能為 ,因此給 ID 加 100 來(lái)避開它 echo server-id=$((100 + $ordinal)) >> /mnt/conf.d/server-id.cnf # 如果 Pod 的序號(hào)為 ,說(shuō)明它是 Master 節(jié)點(diǎn),從 ConfigMap 里把 Master 的配置文件拷貝到 /mnt/conf.d 目錄下 # 否則,拷貝 ConfigMap 里的 Slave 的配置文件 if [[ ${ordinal} -eq ]]; then cp /mnt/config-map/master.cnf /mnt/conf.d else cp /mnt/config-map/slave.cnf /mnt/conf.d fi volumeMounts: - name: conf mountPath: /mnt/conf.d - name: config-map mountPath: /mnt/config-map - name: clone-mysql image: gcr.io/google-samples/xtrabackup:1.0 env: - name: MYSQL_ROOT_PASSWORD valueFrom: secretKeyRef: name: mysql-secret key: password command: - bash - "-c" - | set -ex # 拷貝操作只需要在第一次啟動(dòng)時(shí)進(jìn)行,所以數(shù)據(jù)已經(jīng)存在則跳過(guò) [[ -d /var/lib/mysql/mysql ]] && exit # Master 節(jié)點(diǎn)(序號(hào)為 )不需要這個(gè)操作 [[ $(hostname) =~ -([-9]+)$ ]] || exit 1 ordinal=${BASH_REMATCH[1]} [[ $ordinal == ]] && exit # 使用 ncat 指令,遠(yuǎn)程地從前一個(gè)節(jié)點(diǎn)拷貝數(shù)據(jù)到本地 ncat --recv-only mysql-$(($ordinal-1)).mysql 3307 | xbstream -x -C /var/lib/mysql # 執(zhí)行 --prepare,這樣拷貝來(lái)的數(shù)據(jù)就可以用作恢復(fù)了 xtrabackup --prepare --target-dir=/var/lib/mysql volumeMounts: - name: data mountPath: /var/lib/mysql subPath: mysql - name: conf mountPath: /etc/mysql/conf.d containers: - name: mysql image: mysql:5.7 env: # - name: MYSQL_ALLOW_EMPTY_PASSWORD # value: "1" - name: MYSQL_ROOT_PASSWORD valueFrom: secretKeyRef: name: mysql-secret key: password ports: - name: mysql containerPort: 3306 volumeMounts: - name: data mountPath: /var/lib/mysql subPath: mysql - name: conf mountPath: /etc/mysql/conf.d resources: requests: cpu: 500m memory: 1Gi livenessProbe: exec: command: ["mysqladmin", "ping", "-uroot", "-p${MYSQL_ROOT_PASSWORD}"] initialDelaySeconds: 30 periodSeconds: 10 timeoutSeconds: 5 readinessProbe: exec: command: ["mysqladmin", "ping", "-uroot", "-p${MYSQL_ROOT_PASSWORD}"] initialDelaySeconds: 5 periodSeconds: 2 timeoutSeconds: 1 - name: xtrabackup image: gcr.io/google-samples/xtrabackup:1.0 ports: - name: xtrabackup containerPort: 3307 env: - name: MYSQL_ROOT_PASSWORD valueFrom: secretKeyRef: name: mysql-secret key: password command: - bash - "-c" - | set -ex cd /var/lib/mysql # 從備份信息文件里讀取 MASTER_LOG_FILE 和 MASTER_LOG_POS 這 2 個(gè)字段的值,用來(lái)拼裝集群初始化 SQL if [[ -f xtrabackup_slave_info ]]; then # 如果 xtrabackup_slave_info 文件存在,說(shuō)明這個(gè)備份數(shù)據(jù)來(lái)自于另一個(gè) Slave 節(jié)點(diǎn) # 這種情況下,XtraBackup 工具在備份的時(shí)候,就已經(jīng)在這個(gè)文件里自動(dòng)生成了 "CHANGE MASTER TO" SQL 語(yǔ)句 # 所以,只需要把這個(gè)文件重命名為 change_master_to.sql.in,后面直接使用即可 mv xtrabackup_slave_info change_master_to.sql.in # 所以,也就用不著 xtrabackup_binlog_info 了 rm -f xtrabackup_binlog_info elif [[ -f xtrabackup_binlog_info ]]; then # 如果只是存在 xtrabackup_binlog_info 文件,說(shuō)明備份來(lái)自于 Master 節(jié)點(diǎn),就需要解析這個(gè)備份信息文件,讀取所需的兩個(gè)字段的值 [[ $(cat xtrabackup_binlog_info) =~ ^(.*?)[[]]+(.*?)$ ]] || exit 1 rm xtrabackup_binlog_info # 把兩個(gè)字段的值拼裝成 SQL,寫入 change_master_to.sql.in 文件 echo "CHANGE MASTER TO MASTER_LOG_FILE='${BASH_REMATCH[1]}', MASTER_LOG_POS=${BASH_REMATCH[2]}" > change_master_to.sql.in fi # 如果存在 change_master_to.sql.in,就意味著需要做集群初始化工作 if [[ -f change_master_to.sql.in ]]; then # 但一定要先等 MySQL 容器啟動(dòng)之后才能進(jìn)行下一步連接 MySQL 的操作 echo "Waiting for mysqld to be ready(accepting connections)" until mysql -h 127.0.0.1 -uroot -p${MYSQL_ROOT_PASSWORD} -e "SELECT 1"; do sleep 1; done echo "Initializing replication from clone position" # 將文件 change_master_to.sql.in 改個(gè)名字 # 防止這個(gè) Container 重啟的時(shí)候,因?yàn)橛终业搅?change_master_to.sql.in,從而重復(fù)執(zhí)行一遍初始化流程 mv change_master_to.sql.in change_master_to.sql.orig # 使用 change_master_to.sql.orig 的內(nèi)容,也就是前面拼裝的 SQL,組成一個(gè)完整的初始化和啟動(dòng) Slave 的 SQL 語(yǔ)句 mysql -h 127.0.0.1 -uroot -p${MYSQL_ROOT_PASSWORD} << EOF $(< change_master_to.sql.orig), MASTER_HOST='mysql-0.mysql.mysql', MASTER_USER='root', MASTER_PASSWORD='${MYSQL_ROOT_PASSWORD}', MASTER_CONNECT_RETRY=10; START SLAVE; EOF fi # 使用 ncat 監(jiān)聽(tīng) 3307 端口。 # 它的作用是,在收到傳輸請(qǐng)求的時(shí)候,直接執(zhí)行 xtrabackup --backup 命令,備份 MySQL 的數(shù)據(jù)并發(fā)送給請(qǐng)求者 exec ncat --listen --keep-open --send-only --max-conns=1 3307 -c "xtrabackup --backup --slave-info --stream=xbstream --host=127.0.0.1 --user=root --password=${MYSQL_ROOT_PASSWORD}" volumeMounts: - name: data mountPath: /var/lib/mysql subPath: mysql - name: conf mountPath: /etc/mysql/conf.d volumes: - name: conf emptyDir: {} - name: config-map configMap: name: mysql volumeClaimTemplates: - metadata: name: data spec: accessModes: - "ReadWriteOnce" storageClassName: local-storage resources: requests: storage: 3Gi
整體的statefulset有兩個(gè)replicas,一個(gè)Master, 一個(gè)Slave,然后使用 init-mysql 這個(gè) initContainers 進(jìn)行配置文件的初始化。接著使用 clone-mysql 這個(gè) initContainers 進(jìn)行數(shù)據(jù)的傳輸;同時(shí)使用 xtrabackup 這個(gè) sidecar 容器進(jìn)行SQL初始化和數(shù)據(jù)傳輸功能
創(chuàng)建 StatefulSet
kubectl apply -f 07-mysql-statefulset.yaml $ kubectl get po -n mysql NAME READY STATUS RESTARTS AGE mysql-0 2/2 Running 70s mysql-1 /2 Pending 5s
可以看到,StatefulSet 啟動(dòng)成功后,會(huì)有兩個(gè)Pod運(yùn)行。
接下來(lái),我們可以嘗試向這個(gè)MySQL集群發(fā)起請(qǐng)求,執(zhí)行一些SQL操作來(lái)驗(yàn)證它是否正常
服務(wù)驗(yàn)證
驗(yàn)證主從狀態(tài)
kubectl -n mysql exec mysql-1 -c mysql -- bash -c "mysql -uroot -p123456 -e 'show slave status G'" mysql: [Warning] Using a password on the command line interface can be insecure. *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: mysql-0.mysql.mysql Master_User: root Master_Port: 3306 Connect_Retry: 10 Master_Log_File: mysqllog.000003 Read_Master_Log_Pos: 154 Relay_Log_File: mysql-1-relay-bin.000002 Relay_Log_Pos: 319 Relay_Master_Log_File: mysqllog.000003 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: Replicate_Ignore_DB: mysql Replicate_Do_Table: Replicate_Ignore_Table: Replicate_Wild_Do_Table: Replicate_Wild_Ignore_Table: Last_Errno: 0 Last_Error: Skip_Counter: 0 Exec_Master_Log_Pos: 154 Relay_Log_Space: 528 Until_Condition: None Until_Log_File: Until_Log_Pos: 0 Master_SSL_Allowed: No Master_SSL_CA_File: Master_SSL_CA_Path: Master_SSL_Cert: Master_SSL_Cipher: Master_SSL_Key: Seconds_Behind_Master: 0 Master_SSL_Verify_Server_Cert: No Last_IO_Errno: 0 Last_IO_Error: Last_SQL_Errno: 0 Last_SQL_Error: Replicate_Ignore_Server_Ids: Master_Server_Id: 100 Master_UUID: 1bad4d64-6290-11ea-8376-0242ac113802 Master_Info_File: /var/lib/mysql/master.info SQL_Delay: 0 SQL_Remaining_Delay: NULL Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates Master_Retry_Count: 86400 Master_Bind: Last_IO_Error_Timestamp: Last_SQL_Error_Timestamp: Master_SSL_Crl: Master_SSL_Crlpath: Retrieved_Gtid_Set: Executed_Gtid_Set: Auto_Position: 0 Replicate_Rewrite_DB: Channel_Name: Master_TLS_Version:
接下來(lái),我們通過(guò)Master容器創(chuàng)建數(shù)據(jù)庫(kù)和表、插入數(shù)據(jù)庫(kù)
kubectl -n mysql exec mysql- -c mysql -- bash -c "mysql -uroot -p123456 -e 'create database test’" kubectl -n mysql exec mysql- -c mysql -- bash -c "mysql -uroot -p123456 -e 'use test;create table counter(c int);’" kubectl -n mysql exec mysql- -c mysql -- bash -c "mysql -uroot -p123456 -e 'use test;insert into counter values(123)’"
然后,我們觀察Slave節(jié)點(diǎn)是否都同步到數(shù)據(jù)了
kubectl -n mysql exec mysql-1 -c mysql -- bash -c "mysql -uroot -p123456 -e 'use test;select * from counter’" c 123
當(dāng)看到輸出結(jié)果,主從同步正常了
擴(kuò)展從節(jié)點(diǎn)
在有了 StatefulSet 以后,你就可以像 Deployment 那樣,非常方便地?cái)U(kuò)展這個(gè) MySQL 集群,比如
kubectl -n mysql scale statefulset mysql -—replicas=3 $ kubectl get po -n mysql NAME READY STATUS RESTARTS AGE mysql- 2/2 Running 22m mysql-1 2/2 Running 22m mysql-2 2/2 Running 20s
SQL復(fù)制全屏
這時(shí)候,一個(gè)新的mysql-2就創(chuàng)建出來(lái)了,我們繼續(xù)驗(yàn)證新擴(kuò)容的節(jié)點(diǎn)是否都同步到主節(jié)點(diǎn)的數(shù)據(jù)
kubectl -n mysql exec mysql-2 -c mysql -- bash -c "mysql -uroot -p123456 -e 'use test;select * from counter’" c 123
當(dāng)看到輸出結(jié)果,主從同步正常了。也就是說(shuō)從 StatefulSet 為我們新創(chuàng)建的 mysql-2 上,同樣可以讀取到之前插入的記錄。也就是說(shuō),我們的數(shù)據(jù)備份和恢復(fù),都是有效的。
鏈接:https://www.cnblogs.com/hahaha111122222/p/15592876.html
-
集群
+關(guān)注
關(guān)注
0文章
97瀏覽量
17342 -
MySQL
+關(guān)注
關(guān)注
1文章
840瀏覽量
27332 -
kubernetes
+關(guān)注
關(guān)注
0文章
237瀏覽量
8908
原文標(biāo)題:實(shí)驗(yàn)步驟
文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
阿里云上Kubernetes集群聯(lián)邦
使用Helm 在容器服務(wù)k8s集群一鍵部署wordpress
Kubernetes Ingress 高可靠部署最佳實(shí)踐
阿里云宣布推出Serverless Kubernetes服務(wù) 30秒即可完成應(yīng)用部署
求MySQL集群配置的思路分享?
如何部署基于Mesos的Kubernetes集群

如何在小型集群中部署Xilinx FPGA卡
如何解決Kubernetes中部署故障及技巧

評(píng)論