IBM x3650 M3固件升级全攻略：IMM与BoMC实战

1. 一台老服务器引发的固件升级实录

手里这台IBM System x3650 M3已经在机房里连续跑了快八年，风扇噪音从当初的"低沉嗡鸣"变成了现在的"拖拉机启动"，前面板那个黄色的告警灯时不时闪两下，看着就让人心里发毛。前段时间做例行巡检，发现IMM日志里攒了一堆"Firmware mismatch"和"Predictive failure"的记录，这才下定决心把整机的固件从头到尾刷一遍。固件升级这事儿，说大不大说小不小——刷好了机器再战三年，刷崩了那就是一块几十斤的铁疙瘩。我前后经手过十几台x3650系列（M2、M3、M4都碰过），踩过的坑能写满两页A4纸，这次索性把整个手顺完整记录下来，从准备工作到回滚方案，从IMM刷写到BIOS、RAID卡、网卡固件的批量更新，全部摊开讲清楚。

这篇内容适合谁看？如果你手里正好有一台x3650需要做固件维护，或者你是刚接手机房运维的新人，对"固件升级"这四个字还停留在"下载个exe双击下一步"的认知阶段，那这篇东西能帮你少走至少三个晚上的弯路。我会把每一步的操作意图、参数选择理由、失败后的补救措施都写明白，你照着抄作业就行。核心关键词就三个：x3650固件升级、IMM远程管理、Bootable Media Creator，这三个词贯穿全文，理解了它们基本就掌握了IBM老服务器固件维护的命脉。

先说清楚一个前提：固件升级不是"越新越好"的盲目追新。IBM官方对x3650系列每个机型都有对应的"固件最佳组合"（Best Practice组合），不同版本的IMM、BIOS、RAID卡固件之间存在兼容性矩阵。我见过有人把BIOS刷到最新版，结果RAID卡固件还是五年前的版本，开机直接报"Option ROM space exhausted"，机器卡在自检界面进不去系统。所以升级前第一件事不是下载文件，而是去查你这台机器的MT型号和当前各组件固件版本，对照官方兼容性列表确定目标版本组合。这个逻辑后面会详细展开。

2. 升级前的整体设计与思路拆解

2.1 为什么选择"带外+带内"双通道升级策略

x3650的固件升级有两条路可走：一条是带外（Out-of-Band），通过IMM管理口远程操作，不依赖操作系统；另一条是带内（In-Band），在操作系统里跑更新工具，或者用可引导介质（Bootable Media）在裸机状态下刷写。这两条路各有各的适用场景，我在实际操作中采用的是"带外为主、带内兜底"的混合策略。

带外升级的核心优势在于不依赖业务系统状态。x3650 M3的IMM（Integrated Management Module）本身就是一个独立的小系统，只要服务器接通电源（待机状态即可，不需要开机），你就能通过Web界面或命令行把IMM固件、UEFI/BIOS固件、部分板载设备的固件刷进去。这意味着你可以在业务低峰期远程操作，不用跑到机房，也不用担心操作系统层面的驱动冲突。但带外升级的局限也很明显：RAID卡固件、网卡固件这类PCIe设备的固件，IMM管不到，必须走带内通道。

带内升级我首选Bootable Media Creator（BoMC）制作的可引导U盘。这个工具是IBM官方出的，能把指定机型的所有固件更新包打包成一个可引导镜像，服务器从U盘启动后自动检测硬件并批量刷写。相比在操作系统里跑UpdateXpress，BoMC的优势是环境干净——没有操作系统干扰，没有驱动版本问题，刷写过程更稳定。缺点是每次都要重启业务，所以必须安排在维护窗口内。

提示：带外和带内的顺序有讲究。我的经验是先刷IMM，再刷BIOS/UEFI，最后刷PCIe设备固件。原因很简单：IMM是管理通道，先把它升到目标版本，后续BIOS升级过程中的远程监控和日志记录才可靠；BIOS是系统基础，它决定了PCIe设备的初始化方式，BIOS版本不对，RAID卡固件刷了也可能不生效。

2.2 版本选型：为什么不追最新版

这是很多人容易犯的错误。IBM的固件更新页面会把最新版本放在最显眼的位置，但最新版不等于最适合你的版本。x3650 M3这类老机器，官方早已停止主流支持，最新固件往往是针对某些特定硬件配置或安全补丁发布的，未必经过充分的回归测试。

我的选型原则是：优先选择官方"固件和驱动组合"页面推荐的版本组合。IBM有一个"Server Proven"的兼容性列表，里面会标注某个机型在特定配置下的推荐固件版本。如果找不到这个列表（老机型确实可能下架），那就退而求其次，选择发布时间在最近两年内、且更新说明里没有"仅适用于特定型号"限制的版本。我这次给x3650 M3选的是IMM固件1.55、UEFI 1.70、ServeRAID M5015固件12.13.0-0244这个组合，实测稳定，后面会详细说每个版本的刷写要点。

还有一个细节：降级不是随便降的。有些固件版本刷上去之后不支持回退，比如某些IMM版本有防回滚机制。所以升级前一定要确认目标版本是否允许降级，万一刷完出问题，你得有退路。这个在后面的回滚方案里会展开。

2.3 风险控制：升级前的"三备份"原则

固件升级本质上是往硬件的EEPROM里写数据，写坏了就是变砖。我给自己定的规矩是"三备份"：备份IMM配置、备份RAID卡配置、备份当前固件版本信息。

IMM配置备份通过Web界面的"System Settings → IMM Configuration → Backup"导出，得到一个XML文件，里面包含IP设置、用户账户、告警规则等。RAID卡配置备份用MegaRAID Storage Manager或者BIOS里的WebBIOS界面导出配置文件，万一刷完固件RAID阵列信息丢失，可以用这个文件恢复。固件版本信息备份最简单，把IMM的"Firmware Information"页面截图保存，或者用IPMItool命令行导出，方便升级后对比确认。

注意：RAID配置备份这一步千万别省。我见过一次刷ServeRAID固件后阵列卡把foreign configuration标记搞乱了，虽然数据没丢，但系统认不到阵列，最后靠备份的配置文件才恢复回来。数据无价，多花十分钟备份，能省你十个小时的抢救时间。

3. 核心细节解析与实操要点

3.1 IMM固件升级：带外操作的关键细节

IMM固件是整个升级链条的第一环，也是最容易出问题的一环。x3650 M3的IMM固件升级有两种方式：Web界面直接上传和TFTP服务器拉取。我推荐Web界面上传，因为TFTP方式对网络环境要求高，防火墙一拦就失败，而且失败后没有明确的错误提示。

操作路径是：登录IMM Web界面（默认地址通常是192.168.70.125，具体看你的配置），进入"Server Management → Server Firmware → Update Firmware"，选择"Upload Firmware"，把下载好的.bin文件传上去。这里有几个细节必须注意：

第一，文件格式要对。IBM的IMM固件包下载下来通常是.zip或.exe格式，你需要解压出里面的.bin文件。有些版本还会附带一个.sig签名文件，上传时只需要.bin，签名文件不用管。我见过有人直接把.exe传上去，IMM报"Invalid firmware image"，白折腾半天。

第二，升级过程中绝对不能断电。IMM固件刷写期间，服务器必须保持通电状态（待机即可，不需要开机）。刷写过程大约持续5到8分钟，期间IMM会重启两次，Web界面会断开连接，这是正常现象。等IMM重新启动后，用原来的IP地址重新登录，在"Firmware Information"里确认版本号已经变化。

第三，升级后要恢复配置。IMM固件升级有时会重置部分配置项，比如告警阈值、SNMP设置。升级完成后，用之前备份的XML文件在"Restore Configuration"里恢复，然后逐项核对IP、用户、告警规则是否正常。

实操心得：IMM升级完成后，建议做一次"Reset IMM to Factory Defaults"再恢复配置。这个操作能清掉旧固件残留的配置碎片，避免一些莫名其妙的告警。但注意，恢复出厂设置会清空IP配置，操作前确认你有物理接触服务器的条件，或者提前记好当前IP，恢复后用默认IP重新配置。

3.2 UEFI/BIOS固件升级：带内带外都能走

BIOS固件（x3650 M3上叫UEFI）的升级比IMM灵活，带外带内都行。带外方式跟IMM类似，在IMM Web界面的"Server Firmware"里选择UEFI固件包上传，刷完后需要重启服务器生效。带内方式则是在操作系统里跑flashux64工具，或者用BoMC U盘启动后自动刷写。

我这次选的是带外上传+重启生效的方式，因为维护窗口有限，带外操作不用进系统，刷完直接重启，效率最高。操作时注意：UEFI固件包通常是一个.zip文件，里面包含UEFI_Firmware.bin和一堆说明文档，上传时选.bin文件。刷写过程大约3到5分钟，期间服务器风扇会全速运转，声音很大，别慌，这是正常现象。

BIOS升级最容易踩的坑是CMOS设置丢失。刷完新BIOS后，很多设置会恢复默认值，包括启动顺序、虚拟化开关、电源管理策略。我的做法是升级前把当前BIOS设置逐页拍照（或者用IMM的"Server Configuration"导出功能保存），升级后逐项对照恢复。特别是启动顺序，如果RAID卡不在启动列表里，系统直接找不到引导盘。

还有一个细节：BIOS升级后第一次启动会特别慢。这是因为新固件在重建硬件配置表，自检时间可能长达三到五分钟，屏幕卡在"Initializing..."不动。这时候千万别强行断电，耐心等，等它自己走完。我见过有人以为刷坏了直接拔电源，结果BIOS芯片写了一半，机器彻底点不亮，只能换主板。

3.3 ServeRAID M5015固件升级：带内操作的典型场景

RAID卡固件是带外通道管不到的，必须走带内。x3650 M3常见的RAID卡是ServeRAID M5015（LSI 9260-8i的IBM定制版），固件升级有两种方式：在操作系统里跑storcli或MegaCli工具，或者用BoMC U盘启动后在裸机环境下刷写。

我推荐BoMC U盘裸机刷写，原因有两个：一是操作系统里的驱动版本可能跟新固件不兼容，刷写过程中断的风险高；二是裸机环境下RAID卡处于"干净"状态，没有操作系统在后台读写磁盘，刷写更稳定。BoMC制作U盘的过程后面会详细讲，这里先说刷写时的注意事项。

RAID卡固件刷写过程中，绝对不能断电，也不能重启。刷写时间大约2到3分钟，期间屏幕会显示进度条。刷完后RAID卡会自动重启，这时候你会看到所有硬盘的指示灯闪一遍，这是正常的初始化过程。等进度条走完，按提示重启服务器，进WebBIOS确认固件版本。

注意：RAID卡固件升级后，阵列配置通常不会丢失，但foreign configuration的标记可能会变。如果系统启动后认不到阵列，进WebBIOS检查"Foreign Configuration"页面，选择"Import"导入外部配置即可。如果导入失败，用之前备份的配置文件恢复。

3.4 网卡固件升级：容易被忽略的一环

x3650 M3板载的Broadcom网卡也有固件，虽然不像BIOS和RAID卡那么关键，但版本太旧可能导致PXE启动失败或者链路不稳定。网卡固件升级通常包含在BoMC的批量更新包里，跟着一起刷就行，不需要单独操作。但如果你只刷网卡固件，可以用Broadcom的bnxtnvm工具在操作系统里刷，或者用IBM的Bootable Media Creator单独勾选网卡固件包。

网卡固件刷写时间很短，大约1分钟，但刷完后需要完全断电再上电（不是重启，是拔电源线等30秒再插上），否则新固件不生效。这个细节很多人不知道，刷完重启发现版本没变，以为刷失败了，其实是没做冷启动。

4. 实操过程与核心环节实现

4.1 准备工作：工具、文件与环境确认

正式动手前，先把东西备齐。我列了一个清单，每次升级前逐项打勾：

环境确认方面，重点检查三件事：IMM管理口能通（ping得通，Web能登录）、服务器在维护窗口内可以重启（跟业务方确认好时间）、机房供电稳定（有条件的话接UPS，刷固件期间断电是灾难性的）。

实操心得：我习惯在升级前用IPMItool把当前所有固件版本导出一份文本文件，命令是ipmitool -I lanplus -H <IMM_IP> -U <user> -P <password> fru。这个输出包含了FRU信息里的固件版本，升级后对比一下，一目了然。比截图靠谱，因为截图可能漏掉某些组件。

4.2 制作BoMC可引导U盘：详细步骤与参数选择

BoMC（Bootable Media Creator）是IBM官方工具，能把固件更新包打包成可引导镜像。下载安装后，操作流程如下：

第一步，启动BoMC，选择"Create Bootable Media"。工具会问你要更新哪些机型，输入"x3650 M3"或者对应的MT型号（比如7945），工具会自动匹配可用的固件包列表。

第二步，选择更新内容。这里有个关键选择：是选"Update all firmware"还是"Select specific firmware"。我建议第一次升级选"Update all"，让工具把所有能刷的固件都刷一遍，省得漏掉某个组件。但如果你只想刷特定组件（比如只刷RAID卡），就选"Select specific firmware"，手动勾选。

第三步，选择介质类型。选"USB Key"，然后指定U盘盘符。注意：BoMC会格式化U盘，操作前确认U盘里没有重要数据。格式化格式通常是FAT32，兼容性最好。

第四步，开始制作。这个过程取决于你选的固件包数量，通常10到20分钟。制作完成后，U盘里会有一个bootable_media目录和引导文件。

注意：BoMC对Java版本有要求，新版工具通常需要Java 8或以上。如果你的操作机Java版本太旧，工具启动会报错。另外，BoMC下载固件包需要联网，如果操作机不能上网，可以提前把固件包下载到本地，在BoMC里选择"Use local repository"指定本地目录。

4.3 带外刷写IMM与UEFI：完整操作记录

维护窗口开始后，第一步刷IMM。登录IMM Web界面，路径是"Server Management → Server Firmware → Update Firmware"。点击"Browse"选择IMM固件.bin文件，然后点"Update"。界面会弹出一个确认框，提示升级期间不能断电，勾选确认后开始刷写。

刷写过程中，Web界面会显示进度条，大约走到30%的时候连接会断开（IMM在重启），这时候不要刷新页面，等3到5分钟，重新用原IP登录。登录后在"Firmware Information"里看IMM版本，确认已经变成目标版本。

第二步刷UEFI。同样在"Server Firmware"页面，这次选UEFI固件.bin文件上传。刷写过程类似，但这次IMM不会断开，进度条走完后提示"Firmware update completed, reboot required"。这时候先别急着重启，等所有带外能刷的固件都刷完再统一重启。

第三步，如果有板载网卡或其他IMM能管到的设备固件，一并刷完。然后重启服务器，让UEFI新固件生效。重启时盯着屏幕，看自检信息里UEFI版本号是否已经更新。

4.4 带内刷写RAID卡与网卡：BoMC U盘启动实操

服务器重启后，插上BoMC U盘，进BIOS把启动顺序改成U盘优先（或者开机按F12选启动设备）。U盘启动后，BoMC会自动扫描硬件，列出可更新的固件组件。

界面上会显示每个组件的当前版本和目标版本，确认无误后选择"Update"，工具开始批量刷写。刷写顺序通常是：先刷RAID卡，再刷网卡，最后刷其他板载设备。每个组件刷完后会显示"Success"，全部完成后提示重启。

重启后进操作系统，用storcli /c0 show确认RAID卡固件版本，用ethtool -i eth0确认网卡固件版本。如果版本没变，检查是不是漏了冷启动（网卡固件需要完全断电）。

实操心得：BoMC刷写过程中，如果某个组件刷失败，工具会停下来等你处理，不会继续刷后面的。这时候别慌，记下失败的组件和错误码，先跳过它把其他组件刷完，最后单独处理失败的。常见的失败原因是固件包跟硬件版本不匹配，换一个版本的固件包重试就行。

4.5 升级后验证：版本核对与功能测试

全部刷完后，做一轮完整验证。版本核对用IPMItool导出FRU信息，跟升级前的备份对比，确认每个组件都到了目标版本。功能测试包括：重启两次看自检是否正常、进操作系统看RAID阵列是否健康、网卡链路是否正常、IMM告警是否清零。

我还会做一次模拟故障测试：拔掉一块硬盘，看RAID卡是否正常报警，IMM是否记录日志。这个测试能验证固件升级后告警链路是否完好。测试完把硬盘插回去，等阵列重建完成。

5. 常见问题与排查技巧实录

5.1 固件刷写失败后的补救措施

固件刷写失败分两种情况：刷写过程中断和刷完后不生效。前者比较麻烦，后者通常是小问题。

刷写过程中断最常见的原因是网络抖动（带外刷写）或U盘接触不良（带内刷写）。如果IMM固件刷到一半断了，IMM可能进入恢复模式，表现为Web界面打不开、ping不通。这时候需要物理接触服务器，用IMM的恢复跳线或者通过TFTP恢复模式重刷。x3650 M3的IMM恢复模式操作是：关机，在主板上找到IMM恢复跳线（具体位置查硬件维护手册），短接后开机，IMM会从TFTP服务器拉取固件恢复。这个操作需要提前搭好TFTP服务器，把固件文件放进去。

BIOS刷写中断的后果更严重，可能导致机器无法点亮。如果遇到这种情况，尝试清除CMOS（主板上有个CMOS清除跳线），然后重新刷写。如果还是不行，可能需要更换BIOS芯片，这个就得联系硬件维修了。

注意：预防胜于补救。刷写前确认网络稳定（带外刷写用有线连接，别用WiFi），U盘质量可靠（别用杂牌U盘），机房供电稳定（接UPS）。这三条做到了，刷写失败的概率极低。

5.2 版本不兼容导致的启动异常

刷完固件后机器起不来，最常见的原因是版本组合不兼容。比如BIOS刷了新版本，但RAID卡固件还是旧版本，BIOS在初始化RAID卡时找不到匹配的Option ROM，卡在自检界面。

排查思路：先看屏幕报错信息，如果是"Option ROM space exhausted"或者"RAID controller not found"，基本就是RAID卡固件跟BIOS不匹配。解决办法是把RAID卡固件也升到跟BIOS同期的版本。如果手头没有对应版本的固件包，可以尝试降级BIOS到之前的版本（前提是该版本支持降级）。

还有一种情况是刷完IMM后，服务器风扇全速运转不停。这通常是IMM固件跟主板CPLD固件版本不匹配导致的。解决办法是刷对应的CPLD固件（如果有更新包），或者联系官方支持确认兼容版本。

5.3 常见问题速查表

5.4 独家避坑技巧汇总

第一个技巧：升级前把IMM的"Auto Refresh"关掉。IMM Web界面默认会自动刷新，刷固件期间自动刷新可能导致页面提交中断。在"System Settings → IMM Configuration"里把刷新间隔设成"Disabled"，刷完再开回来。

第二个技巧：BoMC U盘制作完后，先在测试机上验证一遍。如果有条件，找一台同型号的机器先试刷，确认U盘能正常启动、固件包能正常识别，再上生产机。这个习惯帮我避免过至少两次翻车。

第三个技巧：刷写过程中别开多个IMM会话。有些人习惯开好几个浏览器标签同时操作，刷固件时多个会话可能互相干扰。刷写期间只保留一个会话，其他全关掉。

第四个技巧：升级完成后等10分钟再做业务切换。固件刷完重启后，系统可能还在后台做硬件初始化，这时候贸然切业务，可能遇到性能抖动。等10分钟，让系统彻底稳定下来。

6. 回滚方案与长期维护建议

6.1 固件回滚的可行性与操作边界

不是所有固件都能回滚。IMM固件从某个版本开始有防回滚机制，刷到新版本后不能再刷回旧版本（工具会报"Downgrade not allowed"）。BIOS和RAID卡固件通常可以回滚，但需要确认目标版本是否在官方支持列表里。

回滚操作跟升级操作流程一样，只是把固件包换成旧版本。但回滚前必须确认：旧版本固件包完整（MD5校验通过）、当前配置能兼容旧版本（比如新BIOS里的一些设置项在旧版本里不存在，回滚后可能恢复默认值）。回滚后同样要做版本核对和功能测试。

提示：如果固件已经刷到不支持回滚的版本，而新版本又确实有问题，唯一的出路是联系官方支持获取特殊版本的固件包，或者更换硬件。所以升级前确认回滚可行性这一步，真的不能省。

6.2 老服务器固件维护的长期策略

x3650这类老机器，官方支持早就停了，固件包下载链接可能哪天就失效了。我的做法是把所有固件包和工具归档到本地，包括BoMC安装包、各版本固件、操作手册PDF，存两份（本地NAS一份、移动硬盘一份）。这样即使官网下架，你手里还有货。

另外，建议给每台老服务器建一个固件维护档案，记录每次升级的时间、版本变化、遇到的问题和解决办法。这个档案在机器出故障时特别有用，能快速定位是不是固件问题。我自己的档案里还记了每次升级后的性能表现（比如风扇转速、功耗），方便对比。

最后说一个现实问题：老服务器的固件升级，投入产出比要算清楚。如果机器已经过了生命周期，业务也准备迁移，那固件升级的意义就不大了，把精力放在数据迁移上更划算。但如果机器还要继续跑一两年，那一次彻底的固件升级能显著降低故障率，这笔时间投入是值得的。我经手的这些x3650，刷完固件后告警率平均下降了七成，风扇噪音也小了很多，机房巡检的时候心里踏实不少。