LSI-SAS-RAID卡命令行操作手册

【实例简介】
LSI-SAS-RAID卡提升操作指南，LSI-SAS-RAID的操作手册，可以参照学习命令行的方式
中科曙光 计算法定永来 Sugon 前言 LSI SAS RAID卡以其优越的数据读写性能,坚固的硬件稳定性得到了国内外各服务器厂商的大规 模使用,做为国内服务器第一品牌的曙光 SUGON公司自然也大量应用了这一全球领先的优秀芯片 在我们售后服务工程师的日常工作中,大量的工作均涉及到磁盘及RA|D的操作,需要进行大量 的RAD配置、变更及修复工作。大部分的工程师遇到这样的问题,会重启服务器,在服务器上电自 检过程中,通过使用<Ctr>+<H>的快捷组合键进入LS阵列卡的 Webbios界血进行操作,诚然这是 种很好的方式,但是带来的问题也不少,首先,无法实时监控RAD状态,当RAD组中有磁盘发 生故障时,维护人员无法第一时间获悉,故障只能在重启过程的自检时才能看到,报警声音也只能 在进行设备硬件巡检时才可能听得到:其次就是维护时设备需要停机,这就意味着用户业务必须中 断,这对于服务器在计算机网络中所扮演的角色,显然是无法接受的。 有方法来解决这个问题吗?当然有,LS的工程师显然为我们考虑到了这些情况并开发了同样优 秀的软件工具,来遥免上述问题的产生,这就是我们即将重点介绍的 LSI MegaC命令行工具,它可 以在线监控RAD状态并可以在线进行修复操作。卜面让我们来一步一步揭廾它神秘的面纱吧,你- 定会喜欢上它的。过一周的真机测试,终于形成下面的文档,由于平时白天工作量太大,文档都 是在睡觉前几小时的时间里通过SsH远程实验获得的薮据并加以整理形成的,虽经反复校验,但仍 然可能存在错误之处,如发现错误请根椐实际情况进行处理,并麻烦通知作者及时史正。 部分名词及参数速查表 MegaCli[MegaCl64]软件程序名,主命令,需要加参数执行, MegaMI4为64位系统下的程序 查看主程序版本 aO(-ALL] 阵列卡0【全部的阵列卡】 r15-610;50;60JRAD1【RADS;RAD6 RAIDSO: RAID60】,使用此参数指定要创建的RAD级别 [252:1;252:2 [机柜D:插糟号],中括号内信息是指定某个机柜的某块磁盘,多个磁盘之间 用“;”号间隔,示例指定了252机柜的1号与2号盘 -array 阵列0,多个磁盘组合成的RAD,一个阵列可以分多割多个逻辑磁盘 -IO[-IALL 逻辑磁盘θ【全部逻辑磁盘】,一个磁盘组(阵列)可以分割多个逻辑磁盘 Virtual drive: 0 虚拟磁盘0,在系统中査看是一个独立的磁盘,一个虚拟磁盘号对应一个逻 辑磁盘号 -PList 显示物理磁慍信息列表 LDInfo 显示逻辑磁盘信息列表 Cfg LdAdd 做RAD1或5或6等,直接使用此参数创建逻辑磁盘 Cfg SpanAdd 创建RAD5+0等,使用此参数创建多个SPAN并自动组合成相应RAID级别 中科曙光 计算法定永来 Sugon 、测试环境 服务器: Suwon天阔l640rG*1高性能存储服务器 阵列卡:LS| MegaRA|DSAS8708EM2*3 硬盘: HITACHI HUS156060VLS600600 GB SAS*24 操作系统: Red Hat Enterprise Linux Server release56X64 测试软件: LSI MegaCLI SAS RAID Management Tool Ver8.05.06Aug28,2012 软件获取 21、软件下载地址及兼容列表 测试的工具软件MegaC可以在wwsi.com下载到,请从此网站获取与阵列卡型号相对应的软 件版本,测试的软件版本兼容了大多数曙光目前常用的LS|系列外插阵列卡,具体支持芯片信息,可 以从下载的软件包中的 README文件中得到。 22、软件说明 从LS网站上下载得到的是 Megali各种系统版本的个集合,打开解压后的目录,即可以看到该软 件的不同系统分类,请按需要提取安发使用即可。 三、软件安装 注:本文是以以64位 Linux系统环境为例进行工具软件使用介绍,由于文中会涉及大量的命令 行操作方式,黑色背景的文字是操作过程演示,对其中的文木颜色定义为:绿色为可执行程序命令流, 是我们手动输入的:红色为功能参数解释性文字内容:白色为完成命令后系统返回内容的显示,或 是操作界面显示的内容,这些内容都不是我们输入的相关字符;。 请注意主程序前面加了“./”,这是不可以省略的,主命令“,/ LegaL64”严格区分大小写:主 命令后面的参数(即前面有“-”的参数)不区分大小写。 MegaMI工具常用的使用坯境有三种,第一是DOS,第二是 Windows,第三是LNUX,卜面就 这三种系统下的 MegaC安装使用进行简单说明。 31、Do5系统下的工具安装使用 对于DoS系统,请复制该软件的DOS版本,放到可以引导到纯Dos环境的U盘中,然后通过U 盘引导服务器到Dos环境,进入该工只的目录,直接执行即可,U盘必须是FT32文件系统,其它 文件系统因为不受DO5支持可能会造成进入DOS后无法浏览到 MegaLi T具,以下为实操示例 MegaLi工具放在U盘根目录卜面的 MEGACL文件夹中 C:\>ed MegaLi C: \MEGACLI> Me gaCli -v MegaClI SAs RAID Managcment Tool Vcr 8.05. 06 Aug 28, 2012 (c) Copyright 2011, LSI Corporation, All Rights Reserved Exit code: Ox00 中科曙光 计算法定永来 Sugon 32、 Windows系统下的工具安装使用 对于 Windows系统,请复制该软件的 Windows版本,放到‰ windir% i System32\下,然后以管理员身 份打开“命令提示符窗口”,输入命令即可运行该软件。 C:\Users\Administrator>MegaC1i64-V MegaCLI SAS RAID Management Tool Ver. 05. 06 Aug 28, 2012 (c)Copyright 2011, LSI Corporation, All Rights Reserved Exit code: Ox00 33、Lnux系统下的工具安装使用 对于 Linux系统,该软件提供的是一个rpm安装包,我们需要安装后才能使用,安装方法如下: rot@ suwon」#1 Megali-8.05.06-1. noarch.rpm圳 legaLly安装程序包 A troot@sugon ]* rpm -iwh MegaC1i-80506-1noarch rpm eparing..#井############圩##其####拌杆###「100%1 l: Megali#坤#荘####艹袢#艹#坤#枓##艹#艹###袢#艹###杆#[100%] rot@ suwon"]#cd/opt/ Megaraid/ Megali/#进入 Megali安装目录 root@sugon Me gaCli.#Is install. log libstorelibir-2 so libstorelibir-2 sO 13. 05-0 MegaCl164 Lrootosugon MegaCli.#. /MegaC1i64-V McgaCLI SAS RAID Management Tool Ver 8.05. 06 Aug 28, 2012 (c)Copyright 2011, LSI Corporation, All Rights Reserved Exit code: OX00 以上即是三种常用的 Megali使用系统环境下面的安装方法,安装完毕后,我们即可以执行该 程序,通过加入不同的运行参数,实现各种所需功能,参数不区分大小写。 四、获取基本信息 41、获取软件帮助信息 Root@sugon Me gaLli 42、获取阵列卡相关信息 [root@sugon MegaCli]#./MegaC1i64-Cfgdsply-aALL grep -E"Adapter Product Memory BBU: Serial Adapter: 0 #阵列卡0 Product Name: MegaRAID SAS 8708EM2 Memory: 256MB BBL: Absent Serial no:SP⊥689038 Adapter: I #阵列卡1# Product Name: MegaRAID SAS 8708EM2 6MB BBL: Absent Serial No: SP11802313 #通过上面信息可以看到,服务器上共插了2块 LSI MegaRAID SAS 8708E卡,阵列卡未配置BBU电泡,缓存为256MB,实际有3块,受文档篇幅限制未列出第3块卡内容# 中科曙光 计算法定永来 Sugon 43、获取阵列卡相关软硬件版本信息 root@sugon MegaCli]#. /MegaC1i64 -adpallinfo-a0 grep -"Adapter Product Version Date FW Serial 该命令行的a0指查看0号RA1D卡,如果查看1号RA1卡,则为a1,以此类推,如果为aAL,则是查看本机上 有的RAID卡,以下所有命令流的此参数功能用法均与此相同# Adapter #0 ersions Product Name MegaRAId Sas 8708EM2 Scrial no FW Package Build: I1.0.1-0017 Mfg. Date 05/11/11 Rework date 00/00/00 Image Versions in Flash FW Version 40.62-0665 BIOS Version 2.07.00 Webbios Version 2.2-19-c10-Rcl Preboot cli version: 01. 40-009: #%00008 Boot block version 1.. 01-0011 Serial debugger Pr Current Size of FW Cache O MB Supported Adapter Operations Adapter #1 Versions Product name MegaRA ID SAS 8708EM2 Serial no SP11689038 FW Package Build: 11. 0.1-0017 Mfg. Date 05/11/11 Rework date 00/00/00 Image Versions in Flash ersion 1.40.62-0665 44、获取阵列卡上连接的硬盘信息 Troot@sugon McgaCli1#. /MegaC1i64-PDList -a0 grep -E"Adapter ID: Slot Error S M.A.R. T lock Firmware Adapter #o Enclosure device id: 252 #机柜D,一台服务器和安装的多张卡上的该信息一样 Slot number: 0 使盘插槽0# Media Error Count: 0 日该插槽硬盘 Media错误计数0,如果该值很大,则硬盘即将坏 Other error count: 0 日该插槽硬盘其它错误计数0,如果该值很大,则硬盘即将坏 Firmware statc: Online, Spun UI 当前硬盘为RAID组中在线状态 Device firmware level: A510 Locked: Unlocked 硬盘未锁定状态 Drive has flagged a s.M.A.R. t alert:No#s.M.A.R.T报警标记未标记 Enclosure device id: 252 Slot number 1 日硬盘插槽1# Media Error Count: 0 Other error count: 0 Firmware state: offline 当前硬盘为RAID组中为离线状态,说明需检修# Device firmware leve A510 Locked Unlocked Drive has flagged a S.M.A.R. t alert:Yes#s.M.A.R.T报警标记已标记,说明这块硬盘需要更换 中科曙光 计算法定永来 Sugon 45、获取阵列卡上的阵列信息 root@sugon Me gaCli#. /MegaC1i64-LDInfo -LALL-aALL grep -E Adapter Virtual Level Size Mirror State Strip \umber Depth Cache Adapter0- Virtual drive information:#阵列卡0的虚拟憾盘信息 Adapter0: No Virtual Drive Configured.阵列卡0上未配置虚拟磁盘 Adapter1- Virtual drive in formation:#阵列卡1上的虚拟磁盘信息# Virtual Drive: 0(Target Id: 0) 阵列卡1上的虚拟磁盘0址 RAID Level Primary-5, Secondary0, RAID Level Qualifier-3#这里可以看到是一个RAID50 lee 3.268TB Parity size 557.86lGiH 0 ptimal#这里显示阵列 Optima状态正常,如果是 Degraded,则阵列中有硬盘掉线 Strip size 1.0MB Number of Drives 这里可以看到一共有7个硬盘 Span depth 世这里可以看到只 Span,结合以上信息,可以判断实际是一个RAID5# Default Cache Policy: WritcBack, RcadAhcadNonc, Cached, Write Cache OK if Bad BBU Current Cache Policy: WriteBack, ReadAheadnone,Cεched, Write cache ok if Bad bBu#当前为回写模式 Disk cache Policy Enabled Is VD Cached NO Adapter2 Virtual drive information:#阵列卡2的虚拟磁盘信息 Virtual Drive:0(Target Id: 0) #阵列卡2上的虚拟磁盘 RAID Level : Primary-1, Secondary-0, RAID Level Qualifier0#这里可以看到是一个RAD10# 1.088TB Dat. 1.088T State Optimal Strip size 1.0MB Number of driv span: 2 这里可以看到每个Span的磁盘驱动器数是2# Span depth 世这里可能看到有2个Span,结合以上信息,可以判断实际是一个RAID10 Default Cache Policy: Write Through, ReadAheadNone, Cached, NoWrite Cache if Bad BBU Current Cache Policy: WriteThrough, ReadAheadNone, Cached, No Write Cache if Bad BBL Disk Cache Policy Enabled 五、创建阵列并设置相关参数 51、使用2块磁盘创建一个RAD1并设置读写策略启动选项等 root(@sugon Me gaCl i_#./MegaCl164-CfgldAdd-r1 1252: 0, 252: 1] [WB] [NORA] [Cached] [CachedBadBBU] -strpsz 5121-a0 Adapter 0: Created VD O Adapter 0: Configured the Adapter!! =r1是创建一个 RAIDI,其它级别类推:252:0指252机柜上的0槽上的硬盘:wB是回写:NORA是读簧略: Cached 是打开磁盘缓存:( achedbadbBl是即便B电池故障或不存在,仍然回写:- strps?512是条带为512K。 Root@sugon Me gaCli.#./MegaC1i64 adpBootDrive-set-L0 a0 Boot Virtual Drive is set to #0 (target id #o)on Adapter 0 将创建的RAID设置为操作系统引导安装盘:-L0-a0是指0号RAID卡上的逻辑磁盘0,如要设置其它逻辑磁盘为 启动磁盘的,以此类推 52、删除一个已经创建的RAD 实例为将阵列下0上的逻辑憾盘0删除 rcot@sugon MegaCli#/MegaCli64-CfgLdDel-L0-ao Adapter 0: Deleted Virtual Drive-o(target id-0) 删除成功# root@sugon MegaCli #./MegaC1i61-CfgCIr -a0 #清除阵列卡0上的所有的RAID配置# 中科曙光 计算法定永来 Sugon 52、使用6块硬盘创建一个RAD50并设置读写策略 Root@sugon MegaCli]#. /MegaCl164-CfgSpanAdd -r50-Array0[252: 2, 252: 3, 252: 4]-Arrayl [252: 5, 252: 6, 252: 7 B] LNORA] [Cached. [CachedBadBBU [-strpsz 512]-al Adapter 0: Created VD Adapter 0: Configured the Adapter! 52机柜的21314号盘与5\617号盘分别组成一个RA1D5然后两个RAID5组合成RAID50,RAID10及60以此类推 Trcotasugon MogaCli1# /MegaCli64-CfgSpanAdd-r10-Array0[ 252: 2, 252: 31-Array1[ 252: 4, 252: 5] [WB1 [NORAI Cached] [Cached BadBBU] [-strpsz 512]-a0 面这个例子是252机柜的23号盘与415号盘分别组成一个RA1然后两个RAD组合成RAID10# Adapter 0: Created VD Adapter 0: Configured the Adapter!! 53、创建一个带有专用热备硬盘的RAD5 Root@sugon MegaCli]#./MegaCli64-CfgLdAdd-r5 [252: 0, 252: 1, 252: 3. [WB] [NORA] [Cached_ [Cached BadBBU] -strpsz 512]-HSP[252: 7]-a0 Adapter o: Created VD O Adaptor:0: Set Physical Drive at Enclld-252 SlotId-7 as Hot Spare Success Adapter (: Configured the Adapter!! -HPS[252:7]是指创建阵列后将252机柜的7号盘设置成这个阵列的专用热备盘。创建其它阵列级别以此类推 54、将阵列卡上所有空闲硬盘批量建一个RAD5 root@sugon MegaCli_#. /MegaCli64-CfgAllFreeDrv -r5 -wb -ra-cached-cachedbadbbu-a0 Adapter 0: Created VD O Adapter 0: Configured the Adapter 55、将阵列卡上所有硬盘以单盘形式批量创建RADo Lroot@sugon Me gaCli.#. /MegaC1i64-CfgEachDskRaido -wb -ra -cached -cachedbadbbu -a0 Adapter 0: Created VD 0 Configured physical device at Encl-252: Slot-1 Adapter 0: Created VD I Configured physical device at Enc1-252: Slot-5 Adapter (: Created VD 2 Configured physical device at Encl-252: Slot-6 Adapter 0: Created VD Configured physical device at Enc1-252: Slot-7 56、阵列初始化 561、初始化新创建的RAD阵列(会清除硬盘上的数据) 创建完阵列后,可以对阵列进行初始化,如果条件允许,最好能进行次完全的初始化过程。 root @sugon Me gac Megac1i64-lDInit -start -10 -a0 #阵列快速初始化# Root@sugon Me gaCli. #./MegaC1i64-LDInit-start-Full-LO-a0 #阵列完全初始化# Lrot@ sugon Megali#./ Megali64- LImit- ProgDsply-LALL-aALL#初始化进度查看# root @sugon Me gacl MMegaCl164-LDInit -abort -LO -a0 取消阵列初始化过程 562、查看初始化进度及禁用RAID初始化 创建完阼列后,一般后台的初始化在5分钟后自动进行,有些情况我们必须婪用掉这一过程,比如 在恢复一个崩溃的RAD组时就需要禁用自动初始化,以下是与后台初始化相关的一些常用改置。 LrootOsugon MegaCli.#. /MegaCli64-LDBI progdsply-L0 -a0 root@sugon MegaCli #. /MegaC1164-LDBI -abort -LO -a0 结束正在进行的后台初始化 root@sugon MegaCli #./MegaCli64-LDBI -dsbl -LO -a0 禁止后台初始化 Troot@sugon MegaCli # /MegaC1i164-LDBI -getsctting -L0 -a0 #查看后台初始化设置# 中科曙光 计算法定永来 Sugon 5.7、创建磁盘阵列时指定逻辑磁盘容量 在创建磁盘阵列时,默认使用阵列全部容量创建一个逻辑磁盘,在系统中査看就是这个阵列就 是一个磁盘,磁盘空量也全部阵列的容量。但当阵列全部容量大于2TB,由于操作系统无法安装在 大于2TB的磁盘上,因此要在这个阵列上安裝操作系统,这时就需要先创建一个小」2TB的逻辑磁 盘来安装系统,剩余的容量就可以根据我们的需要进行自定义创建了 571、创建指定容量的逻辑磁盘 root@sugon Megacli#,/ Megac1i64- CfgLdAdd-r51252:0,252:1,252:2,252:3,252:4,252:5,252:6JW」LNRA Cached] [CachedBadBBU] [-strpsz 512][-sz 100GB]-a0 使得252机柜的0、1、2、3、4、5、6号盘创建RAID5,并创建一个100GB的逻辑磁盘用来安装系统 Adapter 0: Created VD 0 Adapter0: Configured the Adapter!#逻辑磁盘0创建成功# rot@ sugon Megac'l订]#./ Megali64- CfgldAdd-r5[252:0,252:1,252:2,252:3,252:4,252:5,252:6][wB][NORA [Cached] [CachedBadBBU] [-strpsz 512] -a0 使得252机柜的0、1、2、3、4、5、6号盘创建RAID5,不指定逻辑磁盘容量,即使用剩余全部空间创建逻辑磁盘 Adapter 0: Created Adaptor0: Configured the Adapter!#使用全部剩余空间创建的逻辑磁盘1创建成功 Trcot@sugon McgaCli # /MegaC1164-LDInfo-LAll -a0 #查看一下刚才创建的RAID及逻辑磁盘# Adapter 0-- Virtual Drive Information Virtual drive:0( arget Id:0)#逻辑磁盐0(虚拟磁盘0)信思 RAID Level Secondary-0, RAID Level Qualifier-3 Size :99.999GB Parity size 16.666GB State Optimal Strip Size :512K Number of drives Span Depth Virtual drive:1( Target Id:1)逻辑磁盘1(虚拟磁盘1)信息# RAID Leve l I'rimary-5, Secondary-O, RAlD)Level Qualifier-3 3.170TB Parity size 541,194GB Optimal Strip size 512KB Number of Drives Span depth 572、删除阵列卡上的指定的逻辑磁盘 Root @sugon Me gaCl i.#. /MegaCli64-CfgldDel-10 -a0 #删除阵列卡0上的逻辑磁盐# Adapter 0: Deleted Virtual Drive-o(target id-0) 除阵列卡0上的逻辑磁盘0成功 root@sugon MegaCli#./MegaC1i641-CfgLdDel -11 -aO #删除阵列卡0上的逻辑磁盘1# Adapter o ted Virtual Drive-1(target id-1) 删除降列卡0上的逻辑磁盘1成功 [rcot@ sugon MegaLi#. MMegaCli64 CfgLdDel-LA11-a0#删除阵列卡0上的全部逻辑磁盘 Adapter 0: Deleted Virtual Drive-0(target id-0) Adapter 0: Deleted Virtual Drivc-2(target id-2) 中科曙光 计算法定永来 Sugon 六、阵列在线扩容及阵列在线迁移 LS大多下外插RAID卡均支持RAD在线扩容及阵列在线迁移而不损坏原数据,但是在执行扩容 及迁栘前,做好阵刎上原有数据备份仍然是必须要执行的操作,因为在扩容或迁移过程中,一旦发 生意外如磁盘组中的硬盘损坏等等成操作失败,将会造成数据丢失的严重后果。 61、阵列在线扩容 RAID5在线扩容一块硬盘实例解析,假设我们已经用阵列卡0的0、1、2号硬盘做了RAID5,现在用 3号空闲磁盘对这个RAD5进行扩容。 rcot@sugon MegaCli #. /MegaCli64-LDRecon -Start -r5-Add-Phys Drv[252: 3] -Lo -ac Start Reconstruction of Virtual Drive Success.#显小扩容成功,仅当扩容后台进度完成后,新的硬盘容量 才可以查看得到,未完成进度前,磁盘容量仍然是之前的容量,其它级别的阵列在线扩容,请依此类推。 62、查看在线扩容进度 查看进度有两种方法,一种是显示当前进度百分比,·种是动态显示进度百分比 [rot@ sugon MegaLi#./ Megali64 DRecon-ShowProg-L0-a0#当前扩容后台进度显示 Reconstruction on VD #o (target id #o)Completed 5% in 14 Minut rcot@ sugon Megali#,/ Megali64- LDRecon- ProgDsply-L0-a0动态显示后台扩容进度 Progress of Virtual Drives Virtual drive井 Percent Complete Time elp #*米*林*本05%水*本*本本本本本本*水**水00:15:50 Press <esc, key to quit 按ESC退出动态显示界面 63、阵列在线迁移 阵列的在线迁移,是指在无损数据的前提下进行阵列级别在线变更,阵列级别并不是可以随意 变更的,有许多前提与限制条件需要特别注意,操作前仍然是必须进行异地的数据完仝备份工作。 631、以RAID5在线迁移到RAD6的实例解析,假设我们已经用阵列卡0的0、1、2号硬盘做了RAD5 3号憾盘空闲,由」RAD5向RAID6辽栘甩,必须至少增加一块硬盘。因此我们在迁移里,将3号 磁盘加入到新的RAD6组中。 Troot@sugon McgaCli # /McgaC1i164-ldrccon -start -r6 -add -physdrv[ 252: 31-10-a0 Start Reconstruction of Virtual Drive Success 显示迁移成功,迁移后台进度完成后,新的级别才生效,迁移后台进度未完成里,RAID仍然是之前的级别# 63.2、以RAD5迁移到RAID0的实例解析,假设我们已经用阵列卡0的0、1、2号硬盘做了RAID5, 由于是阵列级别降级,因此无需增加硬盐即可完成降级。 root@sugon Megaci MMegaC1i64-ldreconstart-r0-10-a0 Start reconstruction of virtual Drive Success 多成功,迁移 度完成后,新的级别才生效,迁移后台进度未完成里,RAID仍然是之前的级别# 从RAD5降级到RAID0里,我们甚至可以减掉一块硬盘。 Root@sugon MegaCli.#./MegaC1i64-LDRecon-Start -r0-Rmy-Phys Drv [252: 3]-LO-a0 Start reconstruction of virtual Drive Success 显小迁移成功,迁移后台进度完成后,新的级别才生效,迁移后台进度未完成里,RAID仍然是之前的级别# 查看迁移后台进度的方法与查看在线扩容进度方法是样的。 【实例截图】
【核心代码】