服務(wù)器存儲(chǔ)數(shù)據(jù)恢復(fù)環(huán)境：
一臺(tái)EVA某型號(hào)控制器+EVA擴(kuò)展柜+FC磁盤。

服務(wù)器存儲(chǔ)故障&檢測(cè)：
磁盤故障導(dǎo)致該EVA存儲(chǔ)中LUN不可用，導(dǎo)致上層應(yīng)用無(wú)法正常使用。

服務(wù)器存儲(chǔ)數(shù)據(jù)恢復(fù)過(guò)程：
1、將所有磁盤做好標(biāo)記后從擴(kuò)展柜中取出。硬件工程師對(duì)所有磁盤做物理故障檢測(cè)，并沒(méi)有發(fā)現(xiàn)有磁盤存在物理故障。使用壞道檢測(cè)工具檢測(cè)也沒(méi)有發(fā)現(xiàn)有磁盤存在大量壞道。以只讀方式將所有硬盤進(jìn)行扇區(qū)級(jí)全盤鏡像。鏡像完成后將所有磁盤按照原樣還原到原擴(kuò)展柜中，后續(xù)的數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)都基于鏡像文件進(jìn)行，避免對(duì)原始磁盤數(shù)據(jù)造成二次破壞。
2、基于鏡像文件分析所有磁盤底層文件。由于沒(méi)有檢測(cè)到有磁盤存在物理故障或者大量壞道，由此推斷故障是由于磁盤讀寫不穩(wěn)定引起的。EVA控制器通常會(huì)將讀寫性能不穩(wěn)定的磁盤認(rèn)定為壞盤并踢出磁盤組。一旦某個(gè)LUN的同一個(gè)條帶中的掉盤數(shù)量到達(dá)極限，這個(gè)LUN將變得不可用。EVA存儲(chǔ)中包含這些掉線盤的LUN都會(huì)受影響。部分磁盤出現(xiàn)故障可能會(huì)導(dǎo)致整個(gè)存儲(chǔ)無(wú)法正常使用。
3、EVA存儲(chǔ)的LUN都是以RAID條目的形式存放數(shù)據(jù)的，EVA存儲(chǔ)將每個(gè)磁盤的不同塊組成一個(gè)RAID條目。RAID條目的類型可以有很多種，在恢復(fù)數(shù)據(jù)之前需要分析出組成LUN的RAID條目類型以及RAID條目是由哪些盤的哪些塊所組成。這些信息都存放在LUN_MAP中，每個(gè)LUN都有一份LUN_MAP。EVA存儲(chǔ)將LUN_MAP分別存放在不同的磁盤中，使用一個(gè)索引來(lái)指定其位置。在每個(gè)磁盤中找這個(gè)指向LUN_MAP的索引就可以找到現(xiàn)存LUN的信息了。
4、脫離EVA磁盤組的磁盤中存放一些舊的數(shù)據(jù)，在生成數(shù)據(jù)的時(shí)候需要將這些磁盤都排除掉。由于本案例LUN中RAID都是RAID5陣列，只需要將一個(gè)LUN的RAID條目通過(guò)RAID5的校驗(yàn)算法算出校驗(yàn)值，再和原校驗(yàn)值做比較就可以判斷這個(gè)條目中是否有掉線盤。將一個(gè)LUN的所有LUN_MAP都校驗(yàn)一遍就可以知道這個(gè)LUN中哪些RAID條目中有掉線盤。在這些RAID條目中都存在的那塊磁盤一定就是掉線盤。排除掉線盤，根據(jù)LUN_MAP恢復(fù)所有LUN的數(shù)據(jù)即可。
5、北亞企安數(shù)據(jù)恢復(fù)工程師編寫掃描LUN_MAP的程序掃描全部LUN_MAP，結(jié)合人工分析得出最精確的LUN_MAP。編寫檢測(cè)RAID條目的程序檢測(cè)所有LUN中掉線的磁盤，結(jié)合人工分析排除掉線的磁盤。編寫LUN數(shù)據(jù)恢復(fù)程序，結(jié)合LUN_MAP恢復(fù)所有LUN數(shù)據(jù)。
6、恢復(fù)出所有LUN的數(shù)據(jù)后人工核對(duì)每個(gè)LUN，確認(rèn)是否和用戶方描述的一致。
恢復(fù)出來(lái)的部分LUN數(shù)據(jù)：

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

7、分析恢復(fù)出來(lái)的LUN，重組ASM磁盤組，解析ASM磁盤組。
分析每個(gè)LUN前端的結(jié)構(gòu)數(shù)據(jù)，根據(jù)ASM磁盤組結(jié)構(gòu)來(lái)區(qū)分哪些LUN是屬于ASM磁盤組的。分析后發(fā)現(xiàn)共有2套ASM磁盤組。
每個(gè)磁盤組包含的LUN中的分區(qū)的情況：

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

使用ASM結(jié)構(gòu)解析工具解析和修復(fù)每個(gè)磁盤組，解析出ASM磁盤組中存放的所有數(shù)據(jù)庫(kù)文件。

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

8、分別按照文件類型分組導(dǎo)出解析出的數(shù)據(jù)庫(kù)文件&初步檢測(cè)導(dǎo)出的文件。

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

9、根據(jù)用戶方的描述，所有LUN的數(shù)據(jù)分成兩部分：一部分是Vmware的虛擬機(jī)；一部分是ORACLE上的ASM磁盤組數(shù)據(jù)，ASM磁盤組中存放的是Oracle的dbf數(shù)據(jù)庫(kù)文件。人工核對(duì)哪些LUN是存放Vmware數(shù)據(jù)，哪些LUN是存放ASM磁盤組數(shù)據(jù)，然后將LUN掛載到不同的驗(yàn)證環(huán)境中驗(yàn)證恢復(fù)的數(shù)據(jù)是否完整。
10、將所有符合vmware虛擬機(jī)的LUN里面的虛擬機(jī)文件都生成出來(lái)，然后通過(guò)NFS共享的方式掛載到虛擬主機(jī)上，再將虛擬機(jī)一個(gè)一個(gè)的添加到清單。
恢復(fù)的部分虛擬機(jī)文件：

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

11、通過(guò)NFS將所有虛擬機(jī)都添加到虛擬主機(jī)以后，將所有虛擬機(jī)都加電開(kāi)機(jī)，系統(tǒng)都能正常啟動(dòng)。驗(yàn)證虛擬機(jī)里面的數(shù)據(jù)都沒(méi)有問(wèn)題。
部分虛擬機(jī)：

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

12、根據(jù)甲方工程師提供的環(huán)境信息搭載Oracle數(shù)據(jù)庫(kù)驗(yàn)證環(huán)境。
a. 環(huán)境檢測(cè)
# uname -all
然后檢查各部分存儲(chǔ)空間信息，保證空間足夠。
b. 檢測(cè)安裝依賴包
根據(jù)安裝說(shuō)明“ b19068.pdf ”，檢查 oracle10g 所需的補(bǔ)丁包。
檢測(cè)：
# swlist-l bundle |grep "GOLD"
# swlist-l patch |grep PHNE_31097
如果沒(méi)有檢測(cè)到的，需要到官方網(wǎng)站下載并安裝。 安裝補(bǔ)丁包：
swinstall -s /patchCD/GOLDQPK11i -x autoreboot=true -x patch_match_target=true
c. 創(chuàng)建用戶及組
#groupadd dba
#useradd -g dba -d /home/oracle oracle/frombyte
#passwd oracle
d. 創(chuàng)建目錄并修改權(quán)限
創(chuàng)建目錄：
#mkdir –p/opt/oracle/product/10.2/oracledb/
#chown -R oracle:dba/opt/oracle
修改權(quán)限：
#chown oracle:dba/usr/oracle_inst/database/frombyte.com
#chmod 755/usr/oracle_inst/database/frombyte.com
e. 設(shè)置環(huán)境變量
vi /home/oracle/.profile
f. 安裝oracle
Oracle的安裝要求起圖形界面，所以要先測(cè)試圖像界面能正常啟動(dòng)。
#exoprt DISPLAY=192.168.0.1.0:0
$./runInstaller
圖像界面起來(lái)之后，先只安裝軟件，不安裝實(shí)例。
g. 測(cè)試數(shù)據(jù)庫(kù)連接
#su - oracle
$sqlplus / as syssdba
13、通過(guò)oracle官方檢測(cè)工具DBV對(duì)導(dǎo)出的數(shù)據(jù)文件進(jìn)行物理結(jié)構(gòu)檢測(cè)。

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

經(jīng)過(guò)驗(yàn)證，確認(rèn)所有文件結(jié)構(gòu)正確，沒(méi)有結(jié)構(gòu)性損壞。
14、因?yàn)樵瓉?lái)數(shù)據(jù)庫(kù)實(shí)例有2個(gè)且使用的ASM存儲(chǔ)，所以要按照原來(lái)配置和命名創(chuàng)建數(shù)據(jù)庫(kù)實(shí)例。修改控制文件中的路徑，讓oracle識(shí)別到這些數(shù)據(jù)庫(kù)數(shù)據(jù)文件，然后啟動(dòng)數(shù)據(jù)庫(kù)。
dmis數(shù)據(jù)庫(kù)啟動(dòng)截圖：

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

gsm數(shù)據(jù)庫(kù)啟動(dòng)截圖：

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

整個(gè)啟動(dòng)過(guò)程正常，沒(méi)有任何報(bào)錯(cuò)，基本上可以判斷數(shù)據(jù)庫(kù)恢復(fù)完好。
15、驗(yàn)證所有數(shù)據(jù)沒(méi)有問(wèn)題后，將vmware虛擬機(jī)文件和Oracle數(shù)據(jù)庫(kù)文件拷貝至兩塊硬盤中，然后移交給用戶方。
用戶方將數(shù)據(jù)上傳至后臺(tái)，經(jīng)過(guò)檢測(cè)，程序可正常運(yùn)行。用戶方認(rèn)可數(shù)據(jù)恢復(fù)結(jié)果。
運(yùn)行情況：

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

運(yùn)行規(guī)定：

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

運(yùn)行變更摘要：

北亞企安數(shù)據(jù)恢復(fù)—EVA存儲(chǔ)數(shù)據(jù)恢復(fù)

審核編輯 黃宇