????????????????HP 磁盤陣列柜 DS2405

HP DS2405 盤柜更換硬盤操作手冊(cè) (2011-12-20 22:24) 1 目的 為了保障系統(tǒng)安全穩(wěn)定的運(yùn)行，HP DS2405 盤柜的報(bào)錯(cuò)盤的拓?fù)浣Y(jié)構(gòu)和主機(jī)的磁盤劃分和業(yè)務(wù)情況，對(duì)此次磁盤故障進(jìn)行更換方案的準(zhǔn)備，包括磁盤報(bào)錯(cuò)的分析，磁盤更換前的數(shù)據(jù)備份工作，備件準(zhǔn)備，人員和時(shí)間安排，可能面臨的風(fēng)險(xiǎn)以及遇到意外情況下的回退方案等，特撰寫此操作手冊(cè)。 2 了解運(yùn)行環(huán)境，定位錯(cuò)誤硬盤 系統(tǒng)運(yùn)行環(huán)境：HP rp4440 主機(jī)，操作系統(tǒng)版本為B11.11，主機(jī)名：s21 和s22，分別直連兩臺(tái)共享盤柜DS2405，DS2405 分別配備十四塊36G15K 硬盤。 （1）其中盤柜的的十四塊磁盤通過LVM管理軟件統(tǒng)一管理，具體配置如下： 系統(tǒng)使用的pv 信息如下 /dev/vg00 /dev/dsk/c2t1d0 /dev/dsk/c3t0d0 /dev/vgdata /dev/dsk/c5t8d0 /dev/dsk/c5t9d0 /dev/dsk/c5t10d0 /dev/dsk/c5t11d0 /dev/dsk/c5t12d0 /dev/dsk/c5t13d0 /dev/dsk/c5t14d0 /dev/dsk/c6t8d0 /dev/dsk/c6t9d0 /dev/dsk/c6t10d0 /dev/dsk/c6t11d0 /dev/dsk/c6t12d0 /dev/dsk/c6t13d0 /dev/dsk/c6t14d0 /dev/vgdp /dev/dsk/c5t1d0 /dev/dsk/c5t2d0 /dev/dsk/c5t3d0 /dev/dsk/c5t4d0 /dev/dsk/c5t5d0 /dev/dsk/c5t6d0 /dev/dsk/c5t7d0 /dev/dsk/c6t1d0 /dev/dsk/c6t2d0 /dev/dsk/c6t3d0 /dev/dsk/c6t4d0 /dev/dsk/c6t5d0 /dev/dsk/c6t6d0 /dev/dsk/c6t7d0 /dev/vglock B]j^ /dev/dsk/c5t0d0 /dev/dsk/c6t0d0 其中Vgdata 中使用的pv 信息如下： --- Physical volume groups --- PVG Name pvg0 PV Name /dev/dsk/c5t8d0 PV Name /dev/dsk/c5t9d0 PV Name /dev/dsk/c5t10d0 PV Name /dev/dsk/c5t11d0 PV Name /dev/dsk/c5t12d0 PV Name /dev/dsk/c5t13d0 PV Name /dev/dsk/c5t14d0 PVG Name pvg1 PV Name /dev/dsk/c6t8d0 PV Name /dev/dsk/c6t9d0 PV Name /dev/dsk/c6t10d0 PV Name /dev/dsk/c6t11d0 PV Name /dev/dsk/c6t12d0 PV Name /dev/dsk/c6t13d0 PV Name /dev/dsk/c6t14d0 Vgdata 共使用十四塊磁盤，其中c5t8d0 至c5t14d0 在PVG0 中，對(duì)應(yīng) ds2405-1 的后半部分磁盤，而 c6t8d0 至c6t14d0 在PVG1 中，對(duì)應(yīng)ds2405-2 的后半部分，PVG0 和PVG1 做PVG 條帶化后鏡像，報(bào)錯(cuò)的硬盤為c6t8d0 在PVG0 中，目前故障硬盤在系統(tǒng)的狀態(tài)為claimed，還沒有完全壞掉，通過lvdisplay 查看可以看到有stale 狀態(tài)的壞塊，需及時(shí)對(duì)此盤進(jìn)行更換。 目前系統(tǒng)運(yùn)行在有風(fēng)險(xiǎn)的環(huán)境中，測(cè)試對(duì)此硬盤讀寫，寫入數(shù)據(jù)失敗，需要及時(shí)進(jìn)行處理從而使系統(tǒng)重新在良好環(huán)境中運(yùn)行。 （2）根據(jù)報(bào)錯(cuò)信息定位故障硬盤： 使用root 權(quán)限登陸服務(wù)器，查看syslog 和event.log 發(fā)現(xiàn)有磁盤的嚴(yán)重報(bào)錯(cuò)，其中syslog 中報(bào)有EMS檢測(cè)到的硬件告警信息，event.log 有Disk at hardware path 0/6/1/0/4/0.8.0.255.0.8.0 : Device connectivity or hardware failure，而 0/6/1/0/4/0.8.0.255.0.8.0 對(duì)應(yīng)的磁盤為c6t8d0。 3 更換前的準(zhǔn)備工作 （1）數(shù)據(jù)備份 配置信息備份：vgdisplay –v;lvlnboot –v;ioscan –fn;bdf;cat /etc/lvmpvg;cat /etc/lvmtab 由于vgdata 是通過lvm來管理，已經(jīng)做了鏡像，目前壞盤對(duì)業(yè)務(wù)無影響，可在線換盤然后進(jìn)行數(shù)據(jù)同步。 （2）操作時(shí)間，人員安排及備件準(zhǔn)備 申請(qǐng)下更換硬盤的具體時(shí)間后，工程師會(huì)在約定的時(shí)間帶備件到現(xiàn)場(chǎng)，對(duì)備件PN 進(jìn)行檢查后準(zhǔn)備下一步的確認(rèn)工作。 （3）操作前確認(rèn) 檢查和確認(rèn)故障硬盤的位置,確認(rèn)沒有其他硬件報(bào)錯(cuò),cat /opt/resmon/log/event.log。 確認(rèn)沒有NFS 使用此主機(jī), more /etc/exports。 （4）VA 上面使用使用的磁盤每個(gè)最小分區(qū)為520byte，多余的8byte 用來保存raid 校驗(yàn)等信息 DS2405 上面使用的磁盤的每個(gè)最小分區(qū)為512byte，當(dāng)VA上面的一個(gè)壞時(shí)，我們可以使用相同型號(hào)的DS2405 上面的盤進(jìn)行更換，此時(shí)新盤插入到VA 上面后，會(huì)自動(dòng)被格式化為520 的，不需要認(rèn)為干預(yù)改為520 的 當(dāng)DS2405 上面的一個(gè)壞時(shí)，我們用相同型號(hào)的VA 上面的盤進(jìn)行更換時(shí)，需要首先使用JBODfmt 命令將此硬盤格式化為512 的，然后才能被系統(tǒng)使用，否則機(jī)器檢測(cè)到盤但是無法使用。在給DS2405 更換盤時(shí)，不要使用520 的磁盤，否則，如果現(xiàn)場(chǎng)沒有安裝command view SDM（經(jīng)過測(cè)試，不同系統(tǒng)需要不同版本的軟件，現(xiàn)場(chǎng)能找到合適此系統(tǒng)版本的軟件的可能行一般不大），會(huì)發(fā)生系統(tǒng)無法使用新更換的磁盤。 使用swlist |grep CMDVIEWSDM 檢查是否裝有CMDVIEWSDM軟件。 4 更換方法和步驟 （1）在sdp21 主機(jī)上確認(rèn)lv 信息：檢查vgdata 中使用到的所有l(wèi)v 的狀態(tài)。 （2）在sdp21 主機(jī)上再次確認(rèn)故障盤的位置及屬性： dd if=/dev/rdsk/c6t9d0 of=/dev/null bs=10240k dd if=/dev/rdsk/c6t7d0 of=/dev/null bs=10240k diskinfo /dev/rdsk/c6t7d0 diskinfo /dev/rdsk/c6t9d0 檢查目前磁盤的塊大小。 （3）在ds2405 第9 槽位更換硬盤：拔出故障盤（需等待10 秒左右），可用fcmsutil /dev/td0 devstat all | grep Loop 進(jìn)行確認(rèn)，然后插入新盤。 （4）在s21 和s22 主機(jī)上識(shí)別新盤、驗(yàn)證新盤的正確性 ioscan –fnCdisk 如果失敗，在s21 和s22 主機(jī)上分別執(zhí)行如下操作： 確認(rèn)c6t8d0 對(duì)應(yīng)的光纖鏈路為/dev/fcd1 Dmesg 確認(rèn)/dev/fcd1 對(duì)應(yīng)的node id，然后執(zhí)行 fcmsutil /dev/fcd1 replace_dsk dmesg(node id) ioscan 檢查是否正常識(shí)別出磁盤，如果失敗繼續(xù)定位原因，已經(jīng)在測(cè)試環(huán)境測(cè)試通過。 （5）確認(rèn)磁盤的可用性，檢查新加磁盤的塊大小。 diskinfo /dev/rdsk/c6t8d0 vendor: HP 36.4G product id: ST336753FC type: direct access size: 70000000 Kbytes bytes per sector: 520 如果為520，則需要在s21 和s22 上執(zhí)行操作，系統(tǒng)必須裝有CMDVIEWSDM 軟件后新盤執(zhí)行格式化，塊大小會(huì)變?yōu)?12。 在s21 和s22 上執(zhí)行：Armdiscover 掃描系統(tǒng)認(rèn)到的磁盤 :/# JBODdsp -i sdp21 Product ID: HP 36.4G-ST336605FC Device Type: Disk Alias: Unique ID: 20000004cf7279e7 Serial Number: 3FP152EZ Management Path: n4000:/dev/dsk/c7t0d0 Product ID: HP 73.4G-ST373453FC Device Type: Disk Alias: Unique ID: 20000011c639fff6 Serial Number: 3HW2JJ12 Management Path: n4000:/dev/dsk/c7t8d0 Product ID: HP-A5236A Device Type: Enclosure Controller Alias: fc10 Unique ID: HPA5236AUSSA10028830-----------------獲得此號(hào)碼。 Serial Number: USSA10028830 Management Path: n4000:/dev/rscsi/c7t10d0 然后使用命令 #JBODdsp HPA5236AUSSA10028830 可以查詢到磁盤node id #JBODdsp HPA5236AUSSA10028830 Vendor: HP Product ID: A5236A Product Firmware: HP06 Serial Number: USSA10028830 Midplane S/N: Node Unique ID: 50060b00000940df------------------獲得此號(hào)。 Port Unique ID: HPA5236AUSSA10028830 Status: Critical 最后使用命令#JBODfmt -f 50060b00000940df 對(duì)磁盤進(jìn)行塊大小的重新格式化（-f 默認(rèn)為512byte）。 系統(tǒng)會(huì)提示你format is started，接下來就是等待（近20 分鐘），硬盤燈成綠色閃爍，閃爍完畢。 Diskinfo 進(jìn)行確認(rèn)。 （5）在s21 上對(duì)vgdata 配置信息恢復(fù)：vgcfgrestore -n vgvgdata /dev/rdsk/c6t8d0 vgchange -a y /dev/vgdata （6）lvdisplay 查看是否已經(jīng)開始同步，如果沒有自動(dòng)同步則：vgsync /dev/vgdata。 （7）驗(yàn)證 lvdisplay –v lvname 查看使用c6t8d0 的所有l(wèi)v 的同步狀態(tài)，直至所有的lv 都同步完。 查看event.log 和syslog.log 確認(rèn)沒有硬盤新的報(bào)錯(cuò)，查看bdf，ioscan 確認(rèn)運(yùn)行正常。 5 風(fēng)險(xiǎn)及解決方案 因?yàn)槟壳按疟P做有鏡像，一塊盤故障不會(huì)影響系統(tǒng)正常運(yùn)行和啟動(dòng)，但考慮到設(shè)備老化等原因，也不排除其他的意外出現(xiàn)。此次硬盤更換操作存在的風(fēng)險(xiǎn)如下： 更換過程中設(shè)備無法識(shí)別新?lián)Q上的硬盤。 更換的過程中更換新硬盤后無法正常完成數(shù)據(jù)同步。 更換的過程中有其他硬件故障引起設(shè)備宕機(jī)，數(shù)據(jù)丟失等。 更換之后系統(tǒng)無法正常運(yùn)行，文件系統(tǒng)損壞等。 針對(duì)以上的風(fēng)險(xiǎn)，可以有以下的解決方案： 如果設(shè)備無法識(shí)別新?lián)Q上的硬盤，則檢查新硬盤狀態(tài)，檢查SCSI 線連接等，一旦發(fā)現(xiàn)硬件有問題立即申請(qǐng)新備件。 如果更換新硬盤后無法正常完成數(shù)據(jù)同步，則需要檢查和硬盤連接同一總線的其他外設(shè)SCIS 設(shè)備，一旦發(fā)現(xiàn)有沖突，可暫時(shí)對(duì)其他總線設(shè)備拔除后再同步。 如果有其他硬件故障引起設(shè)備宕機(jī)，數(shù)據(jù)丟失等情況，則及時(shí)定位故障部件申請(qǐng)備件，如果是硬盤損壞引起數(shù)據(jù)丟失，則首先申請(qǐng)新的硬盤備件進(jìn)行更換，更換完之后通過備份磁帶對(duì)操作系統(tǒng)數(shù)據(jù)進(jìn)行恢復(fù)。 如果更換之后系統(tǒng)無法正常運(yùn)行，文件系統(tǒng)損壞，首先查明原因，如果是操作系統(tǒng)軟件原因則根據(jù)系統(tǒng)報(bào)錯(cuò)進(jìn)行分析解決，如果一時(shí)定位不出原因則可通過系統(tǒng)重啟后進(jìn)單用戶模式對(duì)系統(tǒng)進(jìn)行相應(yīng)的文件系統(tǒng)修復(fù)，如果仍然無法修復(fù)則從操作系統(tǒng)備份磁帶進(jìn)行恢復(fù)。 6 回退方案 現(xiàn)場(chǎng)操作前準(zhǔn)備操作系統(tǒng)備份的磁帶及系統(tǒng)光盤，一旦有段時(shí)間內(nèi)無法解決的問題可通過磁帶恢復(fù)或者光盤啟動(dòng)后修復(fù)。