简介:本资源是一份面向IT运维工程师、系统管理员及服务器硬件维护人员的实战操作指南,聚焦IBM x3650 M4服务器主板更换这一高风险、高精度的硬件升级任务,系统解决更换过程中易忽略的兼容性、数据安全与阵列配置恢复等核心问题。文档以Step-by-Step方式详述从关机检查、线缆标记、主板拆卸到新板安装、阵列卡(LSI MegaRAID M5110e)配置清除与验证的全流程,特别强调硬盘隔离上电、WebBIOS中Ctrl+H进入清除配置、三次重启验证等关键防护动作。资源为单文件Word文档(.docx),内容完整覆盖告警排查、带外管理登录、RAID信息识别、CPU/内存迁移顺序、排线定位拍照等细节,包体大小12.08MB,结构清晰、图文提示明确。目前已有5135人学习下载,可直接用于现场作业参考、新人培训材料或故障处置SOP补充。
1. 更换 IBM x3650 M4 主板:一次不插硬盘的开机,比装系统还容易翻车
你信不信?在某高校数据中心,一位运维同事花两小时重装系统没报错,却在更换 IBM x3650 M4 主板后卡在“Ctrl+H 进不去 WebBIOS”整整一上午——不是阵列卡坏了,也不是新主板有缺陷,而是他忘了拔掉那块被 RAID 控制器缓存标记为“已失效”的热备盘。服务器一加电就自锁在 BIOS 初始化阶段,连 POST 都不响。这种事在 IBM x3650 M4 上真不少见:它用的是 ServeRAID M5110e(LSI 2108 芯片),阵列配置信息既存在主板南桥的 NVRAM 里,也写在每块硬盘的保留扇区中。新主板上电时若检测到旧硬盘残留的元数据冲突,会直接拒绝加载虚拟驱动器,甚至不进 BIOS 界面。这不是玄学,是 IBM 工程师埋下的硬件级一致性校验逻辑。本文专为正在拆机、手边摆着新主板、但还没敢按电源键的你而写——不讲理论,只列动作;不画流程图,只告诉你第 7 步拧哪颗螺丝、Ctrl+H 按不出来的三秒自救法、以及为什么“先清配置再插硬盘”不是建议,而是必须执行的原子操作。适合所有要亲手更换 x3650 M4 主板的系统工程师、IDC 现场支持人员,或接手老旧生产环境的 DevOps 同学。
2. 拆机前必做五件事:从告警灯到管理口,一个都不能跳
2.1 查物理状态:告警灯、线缆、螺丝,三者缺一不可
IBM x3650 M4 前面板右侧有一组状态指示灯(System Status, Power, UID, Health),背后还有电源模块状态灯(SP1/SP2)。更换前必须逐个确认:
- System Status 灯:绿色常亮表示运行中,琥珀色闪烁表示有硬件告警(如内存 ECC 错、CPU 温度高);
- Power 灯:绿色常亮表示主电源供电正常,熄灭则需检查 PDU 输出或电源线接触;
- UID 灯(蓝色):若常亮,说明服务器处于定位模式,需先通过 IMM 管理口关闭该灯,避免误触;
- Health 灯:琥珀色常亮即存在未清除的硬件事件,必须进 IMM 查看 Event Log 并确认是否与待换主板相关(如 “Motherboard FRU failure”)。
提示:别只看前面板!绕到服务器后方,检查 SP1/SP2 电源模块状态灯是否同步亮起;网口旁的 Link/Act 灯是否熄灭(确认网线已断开);光纤模块 TX/RX 灯是否全灭(防激光灼伤)。任何一盏灯异常,都意味着故障源可能不在主板本身。
2.2 记阵列信息:RAID 类型、盘序、槽位,必须手写拍照双备份
x3650 M4 默认使用集成 ServeRAID M5110e 控制器(PCIe x8 插槽,但物理焊在主板上),其 RAID 配置无法通过操作系统导出完整元数据。必须在关机前获取三项硬信息:
- RAID 级别与容量:登录 IMM 管理界面(https://<IMM_IP>),进入Storage → RAID Configuration,截图保存 “Virtual Drive” 表格,重点记录:
VD #(虚拟磁盘编号)RAID Level(如 RAID 5, RAID 10)Size(总容量,单位 GB)State(Optimal / Degraded / Failed)
- 物理盘映射关系:在同一页面点击Physical Drives,记录每块硬盘的:
Slot #(背板槽位号,如 Slot 0, Slot 1)Model(型号,如 ST9146803SS)Firmware(固件版本,如 SN05)State(Online / Predictive Failure)
- 背板连接拓扑:x3650 M4 使用 24Gbps SAS 背板(Part No. 00D2922),分上下两层共 16 个 2.5" 槽位。需确认:
- 是否启用扩展背板(如加装了 00D2923);
- 硬盘是否跨背板组 RAID(常见于 RAID 10 跨 2 组);
- 热备盘(Hot Spare)所在槽位(通常标为 “Global HS”)。
注意:不要依赖
mdadm -D /dev/md0或cat /proc/mdstat—— 这些仅显示 Linux 软 RAID,而 x3650 M4 全部走硬件 RAID,系统层看到的只是/dev/sda这类块设备,无阵列结构信息。
2.3 备管理口凭证:IMM 地址、用户、密码,必须验证可用性
x3650 M4 的带外管理由 IMM(Integrated Management Module)提供,其 IP 地址独立于操作系统网卡。务必提前验证:
- 用笔记本直连 IMM 网口(非系统网口),浏览器访问
https://<IMM_IP>; - 输入默认账号
USERID/PASSW0RD(注意是数字 0,非字母 O); - 进入后立即检查:
- Security → User Accounts:确认管理员账户未被锁定;
- Configuration → Network Settings:记录 IMM 的子网掩码、网关,避免新主板上电后 IMM IP 冲突;
- Event Log:筛选最近 24 小时事件,确认无 “Motherboard sensor failure” 类错误。
若客户修改过 IMM 密码且未告知,切勿尝试暴力破解——x3650 M4 的 IMM 有 5 次失败锁定机制,锁定后需断电 30 分钟才能重试。此时应要求客户提供 IMM 密码重置 U 盘(IBM Bootable Media Creator 制作),或联系 IBM 支持获取 FRU 密钥。
2.4 问清系统层状态:OS 版本、服务清单、关机授权链
x3650 M4 常部署 RHEL 6/7、CentOS 6/7 或 Windows Server 2008 R2/2012 R2。必须书面确认:
- 操作系统版本及内核:
uname -r(Linux)或systeminfo | findstr "OS Name"(Windows),因旧版内核可能不兼容新主板的 ACPI 表; - 关键服务清单:数据库(Oracle/MySQL)、中间件(WebLogic/Tomcat)、监控代理(Zabbix Agent)等,需客户签字确认已停用;
- 关机方式授权:明确由谁执行关机——若客户要求“必须由我司工程师操作”,则需其提供 root/Administrator 权限及 sudo/远程桌面凭证;若允许“通过 IMM 远程关机”,则提前在 IMM 中启用Power Control → Remote Power On/Off功能。
提示:严禁在未确认应用停用的情况下强制断电!某次某公司 ERP 数据库未正常关闭,导致 Oracle redo log 损坏,重建控制文件耗时 4 小时。
2.5 执行标准关机:绿灯闪烁才是真关机,不是黑屏就完事
x3650 M4 的电源状态灯(Power LED)是唯一可信关机信号:
- 正确流程:
- 在 OS 层执行
shutdown -h now(Linux)或shutdown /s /t 0(Windows); - 观察前面板Power LED:从绿色常亮 → 绿色缓慢闪烁(约 1Hz)→ 完全熄灭;
- 等待System Status LED变为琥珀色常亮(表示主板已断电,但 IMM 仍供电);
- 在 OS 层执行
- 错误认知:
- 屏幕黑了 ≠ 关机完成(可能卡在 kernel panic);
- 风扇停了 ≠ 关机完成(部分风扇由 IMM 独立控制);
- IMM 网页能打开 ≠ 主机已关(IMM 是独立 SOC,主机断电后仍可访问)。
若等待 5 分钟 Power LED 仍为绿色常亮,说明 OS 未正常退出,需立即通过 IMM 进入Power Control → Power Off强制断电,并记录该异常用于后续根因分析。
3. 拆卸与安装:从拔电源到扣主板,每一步都有扭矩和方向
3.1 拔线缆:拍三张照,记两个位置,慢字诀保命
x3650 M4 后部线缆密集,错误插回会导致 IMM 失联、网卡不识别甚至主板短路:
- 第一步:全景拍照
用手机从正后方 45° 拍摄整机背部,重点覆盖:- 电源模块 SP1/SP2 的卡扣朝向(x3650 M4 电源模块有防呆缺口,SP1 缺口朝左,SP2 朝右);
- 网线插入的 RJ45 接口编号(主板网口标为 “LAN1/LAN2”,IMM 网口标为 “IMM”);
- 光纤模块的 LC 接口颜色(单模黄/多模橙)及弯曲半径(≥3cm)。
- 第二步:按顺序拔线
严格遵循“先弱电、后强电”顺序:- IMM 网线(最左侧蓝色接口);
- 系统网线(LAN1/LAN2,通常为黑色);
- 光纤线(LC 接口,轻压卡扣垂直拔出,禁止弯折);
- 串口线(DB9,若存在);
- 最后拔电源线:先拔 SP1/SP2 模块上的 C14 电源线,再拔模块本体(双手拇指按压模块顶部释放卡扣,垂直向外平滑抽出)。
注意:SP1 和 SP2 模块外观相同,但内部固件版本可能不同(查看模块标签上的 FRU Part No.)。务必用马克笔在模块侧面标注 “SP1/SP2”,避免装反。
3.2 拉服务器:导轨解锁、重心前移、单人可操作
x3650 M4 标配滑动导轨(Part No. 00D2920),拆卸时易因重心偏移倾倒:
- 解锁步骤:
- 拉出服务器至导轨行程 2/3 处;
- 用一字螺丝刀插入导轨前端的Release Lever孔洞,向下按压(力道约 3kg);
- 听到“咔哒”声后,双手托住服务器底部两侧(避开硬盘托架),身体前倾,将服务器重心移至双脚前方,缓慢拉出。
- 安全要点:
- 禁止单手提服务器顶部把手(易导致背部线缆拉扯);
- 禁止在未解锁状态下硬拉(导轨锁舌会变形);
- 若服务器卡滞,检查导轨末端是否有异物阻挡(如扎带残余)。
3.3 开机盖:先松侧板,再掀顶盖,防静电是底线
x3650 M4 机盖为免工具设计,但静电放电(ESD)是主板更换头号杀手:
- 防静电准备:
- 戴防静电手环并接地(夹在机柜金属框架上);
- 若无手环,触摸机柜裸露金属面 3 秒释放静电;
- 工作台铺防静电垫,禁用化纤衣物。
- 开盖步骤:
- 松开机箱右侧板卡扣(位于侧板后端,向下按压后向后滑动);
- 取下右侧板,露出内部结构;
- 用手指捏住顶盖前端中央凹槽,向上轻抬 15° 后向前平推(顶盖有滑轨导向,禁止左右晃动);
- 顶盖完全脱离后,置于防静电垫上。
提示:顶盖内侧贴有 IBM 保修标签,撕毁将丧失保修。若标签破损,需拍照留存原始状态。
3.4 拍主板:CPU、内存、排线,三张特写定乾坤
在拆任何部件前,必须对主板进行结构化拍照:
- 第一张:全局俯视
相机垂直于主板,覆盖全部区域,重点拍清:- CPU 插槽位置(x3650 M4 为双 CPU,Socket R2,编号 CPU1/CPU2);
- 内存插槽分布(共 24 个 DDR3 DIMM 插槽,分 A/B/C 三通道,每通道 2 根);
- PCIe 插槽编号(x16/x8/x4,对应 M5110e、网卡、HBA 卡位置)。
- 第二张:CPU 区域特写
聚焦 CPU1 散热器,拍清:- 散热器固定扣具朝向(x3650 M4 用杠杆式扣具,L 形臂指向 CPU 边缘);
- CPU 盖板缺口位置(Intel CPU 三角标记对应插槽缺角);
- 散热硅脂涂抹状态(均匀薄层,无气泡、无干裂)。
- 第三张:排线连接点
逐一拍摄:- FAN1/FAN2 电源线(4pin PWM,接主板 CPU_FAN1/CPU_FAN2);
- TPM 模块排线(细扁带,接主板 TPM_HEADER);
- 前面板 USB/HDD LED 排线(4pin,接主板 F_USB1/F_PANEL);
- IMM 专用排线(白色 10pin,接主板 IMM_HEADER)。
注意:所有照片必须用手机原图保存,禁用压缩。某次因照片模糊,导致新主板上 FAN1 线插错至 FAN2 插槽,开机后 CPU 过热保护关机。
3.5 拆旧主板:九步法,拧螺丝、拔排线、取 CPU,顺序不能乱
按 IBM 官方维修手册(FRU 00D2925)精简为可执行九步:
- 取防尘罩:CPU 散热器上方塑料罩(按压两侧卡扣弹出),内存插槽上方金属罩(轻撬边缘取下);
- 拔风扇排线:FAN1/FAN2 排线为 ZIF 插座,用指甲沿插槽两侧水平轻推卡扣,垂直拔出(禁止斜拉);
- 拆散热器:
- 松开 CPU1 散热器四角扣具(逆时针旋转 90°);
- 双手捏住散热器边缘,垂直向上匀速提起(若卡滞,用塑料撬棒轻敲四角);
- 取下后立即用无纺布擦净 CPU 表面旧硅脂;
- 取 CPU:
- 拉起 CPU 插槽拉杆至 90°;
- 用指尖捏住 CPU 一角,水平平移取出(禁止翘起);
- 观察 CPU 底面金手指无弯曲,缺口对准插槽缺角;
- 拔内存条:
- 同时向外扳动 DIMM 插槽两侧卡扣;
- 内存条自动弹起 15°,垂直拔出;
- 按槽位顺序放入防静电袋(标注 A1/A2/B1/B2…);
- 拆扩展卡:
- 松开 PCIe 卡挡片螺丝(M2.5×6mm);
- 垂直向上拔出网卡/HBA 卡(勿碰金手指);
- 拔电源排线:
- 主板 24pin ATX 电源线(黑色大插头);
- CPU 8pin 辅助供电线(黄色小插头);
- M.2 SSD 供电线(若存在);
- 拆主板固定螺丝:共 9 颗 M3×6mm 螺丝,位置如下:
螺丝编号 位置描述 扭矩要求 S1 主板左上角(靠近 PCIe x16) 0.5 N·m S2 主板右上角(靠近 SATA 接口) 0.5 N·m S3-S6 主板四角(支撑柱上) 0.6 N·m S7-S9 主板中部(固定南桥芯片) 0.4 N·m 提示:用数显扭力螺丝刀,超扭易裂主板 PCB,欠扭会导致开机振动松脱。
- 取主板:双手托住主板两端,先抬高 5mm,再向后平移 10mm,最后垂直取出(避让后部 SATA 线缆槽)。
4. 避坑指南:九条血泪经验,Ctrl+H 按不出来就查这
4.1 现象:开机无显示,键盘灯不亮,风扇狂转
原因:新主板 CPU 插槽内有异物(如旧硅脂碎屑、防静电袋纤维),导致 CPU 未完全落位,触点接触不良。
解决:断电后,用放大镜检查 CPU 插槽针脚(共 2011 针),用无尘布蘸无水酒精轻擦插槽,用气吹清理缝隙;重新安装 CPU 时,确保插槽拉杆完全闭合后,再按压散热器扣具。
4.2 现象:按 Ctrl+H 无反应,屏幕卡在 “LSI MegaRAID SAS-MFI BIOS”
原因:键盘未接在主板 PS/2 接口(x3650 M4 的 USB 键盘在 BIOS 阶段不被识别),或键盘线被其他排线压住导致信号中断。
解决:拔掉所有 USB 设备,仅保留 PS/2 键盘(若无 PS/2,用 USB 转 PS/2 适配器);检查键盘线是否被 TPM 排线压住,重新理线后重试。
4.3 现象:WebBIOS 中 “Clear Configuration” 灰显不可选
原因:硬盘未完全拔出,或某块硬盘的 SAS 信号线仍连在背板上(x3650 M4 背板有独立 SAS 信号线,易被忽略)。
解决:关机断电,打开机箱,检查背板与主板间的 SAS 线缆(灰色扁平线,接主板 SAS0/SAS1 接口),确认已拔除;逐个检查硬盘托架,确保所有硬盘物理拔出(听到“咔哒”解锁声)。
4.4 现象:清除配置后重启,Virtual Drive 仍显示旧 RAID 信息
原因:阵列卡缓存未刷新,或硬盘保留扇区元数据未被覆盖。
解决:在 WebBIOS 的 Clear Configuration 页面,勾选“Force Clear”(强制清除)选项;若无此选项,进入Advanced → Controller Properties → Reset Config执行硬复位。
4.5 现象:插回硬盘后,WebBIOS 显示 “Drive Not Found”
原因:硬盘槽位插反(x3650 M4 硬盘托架有防呆缺口,但部分国产托架无此设计),或背板 SAS 线缆插错接口(SAS0/SAS1 接反)。
解决:对照拆机前照片,确认每块硬盘的 Slot # 与托架编号一致;检查背板 SAS 线缆,SAS0(主板标 “SAS0”)必须接背板主控口,SAS1(标 “SAS1”)接扩展口。
5. 阵列卡初始化:三次开机法,清空、验证、重建零失误
5.1 第一次开机:不插硬盘,进 WebBIOS 清配置
- 操作清单:
- 确认所有硬盘托架为空(目视+手摸确认无硬盘);
- 仅连接:电源线、PS/2 键盘、VGA 显示器、IMM 网线;
- 按电源键开机,屏幕出现 LSI BIOS 信息后,快速连按 Ctrl+H(非长按);
- 进入 WebBIOS →Configuration → Clear Configuration;
- 勾选 “Force Clear”,点击 Yes 确认;
- 系统自动重启,再次进 WebBIOS,确认Virtual Drive和Physical Drive列表为空。
- 验证要点:
- 若列表非空,说明清除失败,需重复步骤 4–5;
- 若屏幕无反应,立即断电,检查键盘接口及 BIOS 设置(Boot Mode 必须为 Legacy,非 UEFI)。
5.2 第二次开机:仍不插硬盘,验证清空结果
- 目的:排除缓存残留,确保阵列卡处于“出厂空白”状态;
- 操作:
- 关机断电,拔掉所有线缆;
- 等待 30 秒(让阵列卡电容放电);
- 重连电源/键盘/显示器,开机;
- 进 WebBIOS,检查:
Controller Properties → Firmware Version应为 5.30.00;Physical View下无任何硬盘条目;Virtual Drive下显示 “No Virtual Drives configured”。
- 关键参数表:
检查项 正常值 异常处理 Controller Status Optimal 重置控制器 Battery Status Optimal / Not Present 若有电池,检查是否鼓包 Cache Policy WriteBack + ReadAhead 不要改,保持默认
5.3 第三次开机:插回硬盘,自动重建阵列
- 插盘规范:
- 严格按拆机前记录的 Slot # 顺序插入(如原 Slot 0→新 Slot 0);
- 插入时听到“咔哒”声,确认硬盘托架锁扣闭合;
- 禁止混插不同型号/固件硬盘(如 ST9146803SS 与 ST9300605SS 混用)。
- 开机验证流程:
- 连接全部线缆(含硬盘电源/SAS 线);
- 开机,屏幕出现 LSI BIOS 后,立即按 Ctrl+H;
- 进入 WebBIOS,检查:
Physical View:所有硬盘 State 为 “Online”,Slot # 与记录一致;Virtual Drive:自动识别出原 RAID 级别、容量、State 为 “Optimal”;Configuration Wizard:无需手动操作,系统自动匹配。
- 终极验证命令(Linux 系统启动后):
# 检查 RAID 状态 megacli -AdpAllInfo -aALL | grep "Product Name\|FW Package" megacli -LDGetProp -Cache -Lall -aALL | grep "Write Policy" megacli -PDList -aALL | grep -E "(Slot Number|Firmware state|Raw Size)" megacli -LDGetProp -Name -Lall -aALL # 确认虚拟盘名称与原系统一致逻辑说明:
megacli是 LSI 官方工具,-AdpAllInfo查阵列卡型号与固件,-LDGetProp -Cache确认写策略为 WriteBack(保障性能),-PDList验证每块物理盘在线且容量正确,-LDGetProp -Name确保虚拟盘命名未变(避免/dev/mapper/xxx挂载失败)。
6. 验证系统启动:从 BIOS 到 OS 登录,五步闭环确认
6.1 BIOS 自检阶段:听声音、看日志、盯进度条
x3650 M4 开机自检(POST)有明确声光反馈:
- 正常序列:
- 电源灯亮 → 风扇启动(低速)→ 主板蜂鸣器1 短声(CPU 自检通过);
- 显示器亮,出现 IBM Logo → 进入 BIOS Setup(按 F1);
- 屏幕下方滚动 “Detecting memory...”、“Initializing storage...”;
- 当出现 “LSI MegaRAID SAS-MFI BIOS” 时,风扇转速升至中速(约 3000 RPM);
- 异常信号:
- 无蜂鸣声:CPU 或内存未识别;
- 卡在 “Initializing storage...”:SAS 背板未供电或线缆松动;
- 风扇狂转(>5000 RPM):CPU 散热器未压紧或硅脂失效。
提示:用手机录下 POST 全程音频,对比 IBM 官方声纹库(IBM Support Portal 可下载),1 短声=OK,1 长 2 短=显卡故障,1 长 3 短=内存故障。
6.2 阵列卡识别阶段:Ctrl+H 后三查,缺一不可
进入 WebBIOS 后,执行标准化三查:
- 查物理盘:
Physical View中Firmware state必须全为 “Online”,Raw Size与硬盘标称容量一致(如 146GB 盘显示 136.7GB); - 查虚拟盘:
Virtual Drive中State为 “Optimal”,RAID Level与原配置一致,Size误差 <0.1GB; - 查缓存策略:
Controller Properties → Cache Policy必须为 “WriteBack + ReadAhead”,若为 “WriteThrough”,需执行megacli -LDSetProp WB -Lall -aALL启用回写缓存(否则 IOPS 降 70%)。
6.3 系统启动阶段:GRUB/Boot Manager 加载验证
- Linux 系统:
- 屏幕出现 GRUB 菜单(倒计时 5 秒);
- 按
e编辑启动项,检查root=参数指向的设备名(如/dev/mapper/vg0-lv_root)是否与megacli -LDGetProp -Name输出一致; - 启动后执行
df -h,确认根分区容量与原系统一致。
- Windows 系统:
- 出现 Windows Logo 后,观察硬盘灯是否规律闪烁(读取系统卷);
- 进入桌面后,打开磁盘管理(diskmgmt.msc),确认 “状态” 列全为 “状态良好”,“容量” 与原系统一致。
6.4 应用服务验证:端口、进程、日志,三位一体
系统启动后,必须验证业务连续性:
- 端口监听:
# Linux 示例:检查 Oracle 监听器 netstat -tuln | grep :1521 # 应显示 LISTEN # 检查 Tomcat ss -tuln | grep :8080 - 进程存活:
ps aux | grep -i "oracle\|tomcat\|zabbix" # 确认主进程 PID 存在 - 日志健康:
# 检查系统日志无 RAID 相关错误 dmesg | grep -i "raid\|megaraid\|sas" | grep -v "info" # 检查应用日志最新时间戳 tail -n 10 /var/log/oracle/alert.log | head -1
6.5 最终交付检查:IMM 远程监控回归正常
一切验证通过后,必须回归带外管理闭环:
- 用 IMM 浏览器登录,进入Server Status → Health Summary,确认:
System Status:Green(正常);Storage Status:Green,且Virtual Drive数量与原系统一致;Event Log:无新增 “Critical” 或 “Major” 级别事件;
- 进入Power Control → Power On/Off,测试远程开关机功能;
- 进入Remote Control → Console Redirection,验证 KVM 远程控制可用。
从那以后我每次更换 x3650 M4 主板,都强制走一遍“三次开机法”:第一次清配置、第二次验清空、第三次插盘启动。哪怕客户催得再急,我也把硬盘托架拍三张照、用扭力螺丝刀拧九颗螺丝、在 WebBIOS 里盯三分钟 Physical View。因为这台机器的 RAID 元数据,就藏在那几行不起眼的Firmware state: Online里——它不骗人,但你得亲手把它翻出来。希望帮到你。
本文还有配套的精品资源,点击获取