上个月机房规划虚拟化节点的时候预算卡得比较紧比来比去最终敲定了两台二手HP Proliant DL360 Gen9。这台1U机架式服务器在二手市场流通量大、配件好找双路Xeon E5-2600 v3/v4平台配DDR4内存跑虚拟化或者集群节点都够用关键是把成本压下来了。机器到货之后我从开箱验机到上架通电、配RAID、装系统完整走了一遍中间踩了几个坑也觉得值得记录下来。这篇文章就围绕这台DL360 Gen9的开箱过程把硬件细节、首次启动、iLO配置、阵列卡设置这些环节全部过一遍给正准备入手或者刚拿到同款机器的朋友做个参考。1. 开箱之前选型逻辑、工具准备与验收清单1.1 为什么是DL360 Gen9这台机器的定位与优势在聊开箱之前先说说我为什么选中了DL360 Gen9而不是别家。HPE ProLiant DL360系列一直是机架式服务器里出货量很大的型号Gen9这一代是第9代产品采用Intel Haswell-EP/Broadwell-EP架构支持E5-2600 v3和v4两代处理器单颗最高20核40线程。我做虚拟化测试环境两颗E5-2680 v4加起来28核56线程注v4的2680是14核配合256GB内存跑十几个中小型虚拟机没有压力。DL360 Gen9最吸引我的几个点1U密度高机柜里节省空间单位U数里能塞进的算力非常可观。内存扩展能力不差24个DDR4 DIMM插槽用16GB RDIMM就能做到384GB实际二手市场8GB/16GB条子非常便宜。iLO4远程管理自带独立管理网口和远程控制台不用跑机房也能完成装机、重启、看日志。配件生态成熟毕竟是市场保有量很大的型号CPU、内存、电源、硬盘托架、阵列卡电池这些配件在二手市场都能单独买到后期维护成本低。如果你需要一台能扛7x24小时运行的物理主机做虚拟化底层、数据库节点或者放进集群里当计算节点DL360 Gen9是一个成熟且性价比不错的选项。当然它也有缺点尤其是风扇转速在开机自检期间会全速运转噪音比较大后面我会专门讲。1.2 开箱工具与验机清单别急着拆包装服务器到货后我建议不要急着开箱就上电先把验机流程走一遍。我的习惯是准备这些工具防静电手套或者静电手环机房环境干燥静电是硬件杀手摸板卡之前一定先放电。十字螺丝刀和T10内六角拆导风罩、装滑轨都会用到1U机器的螺丝很小工具齐全能省很多事。手电筒机柜背面和内部走线区域光线不好看清接口和跳线得靠它。标签纸和记号笔记录序列号、网口MAC、iLO地址等信息后面做资产登记和排障都用得上。数码相机或手机开箱全程拍照留档尤其是外观损伤、接口状态这些问题后续找售后或退货时有凭证。验机的时候我按下面这个顺序一项项过检查外包装和机器外壳有没有明显碰撞损伤侧板、前面板、把手有没有变形。核对机身侧面的铭牌标签确认机器型号、序列号Serial Number、产品编号Product Number与订单/卖家描述一致。拉动硬盘托架确认每个盘位都能正常弹出和锁紧看里面有没有残留硬盘或假面板。取出所有随机配件电源线、滑轨组件、理线臂、光盘/手册等逐项清点。查看电源模块有没有松动空气滤网如果有是否干净。我当时收到的这台DL360 Gen9外壳成色不错但前面板少了一个硬盘假面板好在不影响使用。这种小问题建议第一时间跟卖家沟通尤其是走二手平台交易的时候拍照留证再上电测试免得后面扯皮。2. 硬件细节拆解一台DL360 Gen9里面到底有什么2.1 前面板与存储位布局DL360 Gen9的前面板布局主要取决于存储配置市面上最常见的是8个2.5寸SFF小尺寸盘位版本也有4个3.5寸LFF大尺寸盘位版本。SFF版本更适合放SAS/SATA SSD做高IO场景LFF版本则适合用大容量机械盘做海量存储。我这台是8 SFF盘位版本对我来说够用了因为规划里系统盘用两块SSD做镜像再加两块SAS盘做数据存储剩下盘位留给后续扩展。前面板上除了硬盘托架还有几个值得注意的东西硬盘状态灯每块盘位旁边都有绿色和琥珀色指示灯绿色表示正常在线琥珀色闪烁通常意味着硬盘故障或正在重建这个信号在跑生产环境时非常重要。设备健康灯前面板右侧有一个大的状态LED正常是绿色常亮如果变红或者琥珀色闪烁说明机箱内有组件告警需要进iLO查看具体事件。USB接口虽然前面板的USB口平时用得少但在安装系统或者临时插U盘导数据时很好用不用绕到机器背面。产品标签前面板右侧一般贴有机器的序列号和iLO默认账户信息这个后面配置远程管理时会用到。2.2 后面板接口与网络扩展转到机器背面你能看到DL360 Gen9主要的对外接口全在这里了FlexibleLOM网卡插槽机器标配一般是4个千兆电口如果配置了FlexFabric 10Gb网卡则是2个万兆光口或者电口。这个FlexibleLOM设计的好处是网卡不用占PCIe扩展槽位需要升级网络带宽时直接换掉整个FLR模块就行。iLO管理口一个独立的RJ45口通常标注为iLO或Mgmt。这个口走独立管理网络用来访问iLO4远程管理界面平时接交换机或直连笔记本都行。USB 3.0接口一般有两个旁边也有VGA接口用于外接显示器还有串口方便网络设备调试。PCIe扩展槽区域DL360 Gen9提供3个PCIe 3.0插槽不过全部需要用到抬升卡Riser Card如果你计划加装GPU、FC HBA卡或者高性能网卡得提前确认Riser卡的型号和槽位类型。电源模块接口后部是两个热插拔冗余电源位常见功率有500W、800W和1200W。这台机器标配了两个500W铂金电源负载不高时支持电源冗余坏一个不影响整机运行。2.3 内部结构与板卡布局打开上盖后内部结构就是标准的1U布局了。前方是硬盘背板和中置风扇墙中间是两个CPU插槽和对应的内存槽后方是阵列卡、FlexibleLOM网卡和电源模块。内存槽位分左右两侧每颗CPU对应12条DDR4插槽排列非常紧密安装内存时需要配合HPE的内存安装指南来确认插槽填充顺序。我拆开这台的配置是双路E5-2680 v48条16GB DDR4内存一块HP Smart Array P440ar阵列卡四口千兆FlexibleLOM网卡。从成色和散热器缝隙里的灰尘量来看这台机器服役时间不短了但整体没有异常痕迹。这里提醒一句买了二手服务器后最好先打开导风罩用气吹清理一下CPU散热器、内存插槽和风扇区域的积灰尤其是长期放在机房里的机器灰尘多了会影响散热和风扇寿命。内部还有一个常见问题是阵列卡上的FBWC电容电池。HP的硬件阵列卡一般配了闪存备份写缓存模块FBWC它的作用是突然断电时把写缓存数据保存到闪存中防止数据丢失。但FBWC模块上的电容会老化电容一坏阵列卡就会提示缓存降级或失效严重时会影响存储性能甚至阵列状态。开箱检查时如果看到阵列卡上的小电路板有鼓包或漏液痕迹建议趁早换掉或者把缓存策略改为直写模式应急。3. 上架与首次通电从POST自检到iLO4亮起来3.1 上架与接线1U机器的安装要点验完内部结构后下一步就是把它放进机柜。1U机器配的滑轨安装方式有两种一种是无工具滑轨直接在机柜方孔上卡扣固定另一种是需要螺丝固定的传统滑轨。DL360 Gen9的滑轨多数是后一种安装时需要前后对齐、卡好位置两个人配合会轻松不少一个人托着机器一个人锁螺丝。上架时需要注意几个细节机柜前后的散热风道不能被堵住1U机器高度有限前方和后方要留出足够的进出风空间不能贴着机柜门或者面板盖得太严。电源线、网线的走线方向要规划好最好从机柜两侧的理线槽走避免拉着线和挡住其他设备。机器上架后不要马上解锁滑轨先把机器往里推到锁定位听到咔哒声后再尝试拉出防止机器滑落。如果只是短暂测试不上机柜也可以但要注意DL360 Gen9满载运行时的噪音比较大放在办公桌旁边会非常吵。实测这台机器开机自检时风扇瞬间全速六把风扇同时狂转我在家里测试时隔着房间都能听到直升飞机起飞的声音等系统起来温度稳定后才会降到一个可接受的水平。3.2 首次通电与POST自检流程接好电源线按下前面板的电源按钮机器就会开始POST自检。DL360 Gen9的自检过程比较直观前面板显示屏会显示当前阶段比如内存计数、CPU初始化、阵列卡初始化等。首次启动如果一切正常你会看到VGA接口外接的显示器上滚动输出硬件信息最后停在启动设备选择界面或者直接提示进入iLO/系统配置。POST期间最容易遇到的几个问题内存报警如果内存没有按正确的插槽顺序安装机器可能无法点亮或者前面板健康灯闪烁并伴随蜂鸣声。DL360 Gen9的内存槽填充顺序是先从每个CPU的白色槽位开始再依次向远端填充不按顺序插会导致训练失败。CPU配置不一致双路机型要求两颗CPU型号必须完全一致连步进Stepping最好也一致否则可能点不亮或性能异常。风扇故障开机自检时机器会检查所有风扇转速如果有风扇不转会直接告警并可能导致系统无法启动或降频运行。我这台机器首次通电一次点亮内存全部识别正常没有报错这点还是比较省心的。但要注意如果你拿到的是二手整机别人可能已经改过BIOS设置最好在POST界面按F9进入BIOS恢复一下出厂设置再按自己需求重新配置。3.3 配置iLO4远程管理从此开始iLO是HPE服务器的远程管理控制器DL360 Gen9搭载的是iLO4版本。它的作用相当于服务器上的一个独立小系统即使服务器操作系统没起来只要接上电源和管理网线iLO就能提供带外管理能力。通过iLO网页界面你能完成远程开机、关机、重启、查看硬件健康状态、挂载ISO安装系统等一系列操作是服务器运维里非常重要的一环。iLO4的初始配置有两条路开机时按F8进入iLO设置界面直接设置管理IP、子网掩码、网关和DNS。进入iLO后通过DHCP自动获取IP地址然后在交换机上查看ARP表找到对应IP再用浏览器访问。我习惯在按F8的界面里手动设置一个固定管理IP因为服务器是要长期运维的设备固定IP比DHCP靠谱得多。具体设置项包括iLO网络端口一般用专用管理口、IPv4地址、子网掩码、默认网关还有DNS服务器地址。设置完网络地址后用浏览器打开iLO地址会看到登录页面。iLO4默认账户是Administrator默认密码一般印在机器外壳标签上或者在说明书中第一次登录系统会强制你修改密码。这里强烈建议一拿到机器就改掉默认密码并把iLO固件升级到最新版本因为旧版iLO4存在一些已知的安全漏洞和浏览器兼容性问题后面我会专门讲到。进入iLO后首页会显示整机的健康状态包括CPU温度、主板温度、风扇转速、电源状态、硬件故障灯等。如果哪一块硬件出现异常在iLO的事件日志Integrated Management Log里能看到具体报错信息这是后续排障最重要的入口。iLO还有一个比较实用的功能是电源管理可以设置开机策略比如掉电后自动恢复开机、配置功耗封顶、记录远程控制台会话。对于虚拟化集群里的宿主机来说掉电后自动恢复开机非常关键万一机房短暂断电恢复供电后所有节点能自动起来省去人力挨个开机的麻烦。关于iLO的远程控制台要特别说一句iLO4默认的远程控制台功能需要iLO Advanced授权没有授权的话只能用基本的电源控制和KVM共享功能KVM共享也需要Advanced实际上iLO Integrated版本也提供Remote Console的共享控制台印象中iLO4的Remote Console是收费授权功能Integrated版本只有文本控制台和远程电源管理。为了稳妥我写远程控制台属于高级功能可能需要iLO Advanced授权采购时注意确认或者直接用挂载ISO的方式装系统。。测试环境如果暂时没有授权可以通过iLO挂载ISO镜像来安装操作系统日常管理靠SSH和操作系统层面的服务就行。4. RAID配置与系统部署实战4.1 识别你的阵列卡B140i、P440ar还是P840ar开机自检和iLO都能看到阵列卡的型号。DL360 Gen9常见的阵列卡方案有三种B140i这是板载的软件RAID控制器只支持SATA盘能组RAID 0/1/10不支持RAID5适合用普通SSD装系统盘的轻量场景。B140i虽然没有独立缓存但胜在低成本低功耗很多低配整机出货默认带它。P440ar硬件RAID控制器支持SAS和SATA盘带1GB FBWC缓存支持RAID 0/1/5/6/10等常用级别是DL360 Gen9上最常见的硬件阵列卡配置。如果你想用机械盘组RAID5或者跑稍高IO的虚拟化存储P440ar是性价比之选。P840ar性能更强的硬件RAID控制器缓存更大常见4GB支持更多盘位数和更宽的SAS通道适合接盘位多、IO压力大的存储场景。我这台机器配的是P440ar对它做RAID5完全够用。怎么确认阵列卡型号最简单的方法是开机自检时观察显示信息或者进iLO后在系统信息里查看也可以进入SSASmart Storage Administrator工具查看控制器信息和物理硬盘状态。4.2 用SSA工具配置RAID5/RAID10完整步骤SSA是HPE官方的存储配置工具配置DL360 Gen9的RAID阵列一般都通过它。进入SSA的方式有几种POST自检阶段按F5直接进入部分机型支持、在iLO里挂载SSA启动镜像、装好的操作系统里运行命令行工具。我最常用的是POST按F5的方式因为不需要额外准备启动介质。以我这台机器为例创建RAID5的步骤大概是这样的开机时看到Smart Storage Administrator提示时按F5等待SSA加载。在左侧导航栏选择Smart Array P440ar控制器点击Configuration进入配置界面。选择Create Array从可用物理硬盘列表里勾选要加入阵列的盘注意确认每块盘的容量和状态。选择RAID级别这里选RAID5需要至少3块盘然后设置条带大小Strip Size。条带大小用默认值即可一般不需要手动调。给逻辑卷分配容量Logical Drive可以全容量也可以分卷按实际需要来。确认配置并保存系统会开始初始化阵列。初始化时间取决于硬盘容量和阵列卡性能8TB级别的大容量RAID5可能要花几个小时后台初始化期间可以安装系统但IO会受影响。RAID级别选型这部分我的经验是系统盘或者虚拟化启动盘优先RAID1或者RAID10耐用性好、重建速度快。数据存储盘如果容量是刚需机械盘组RAID5SSD组RAID5也可以但要确保阵列卡缓存策略合理、有FBWC电容保护。性能优先RAID10比RAID5更稳尤其是数据库这类随机写密集场景RAID5的写惩罚比较明显。前面板如果插着几块旧硬盘SSA里还能看到每块盘的健康状态SMART信息和Rebuild进度。这里踩过坑有一次我组RAID5时没注意其中一块盘的SMART已经报了重映射扇区计数增长结果阵列建好后没过多久就报警后来重做阵列才解决。所以配置阵列前仔细看一遍SSA里的硬盘健康信息有问题的盘直接换掉。4.3 通过iLO虚拟介质安装操作系统RAID配置完成后接下来就是装系统。传统方式是做一个U盘启动盘插到服务器上但在iLO4上还有更优雅的方式虚拟介质。iLO虚拟介质功能允许你在本地电脑上挂载一个ISO镜像通过管理网络直接把它当作服务器的光驱来启动。具体操作流程是在iLO登录界面进入Virtual Media菜单这个功能在Power? 有的固件里菜单名不同一般在Remote Console/Media下挂载你的操作系统ISO文件。在iLO的电源管理里设置服务器下次启动从虚拟光驱启动或者POST时按F11选择一次性启动设备。保存配置后重启服务器系统就会从挂载的ISO开始引导。我之前在一台DL360 Gen9上用这个方法装过ESXi 6.7从挂载ISO到安装完成不到二十分钟全程不用插U盘也不用跑机房按键盘对个人折腾来说简直不要太方便。需要注意的是iLO虚拟介质传输ISO的速度受管理网络带宽限制如果是十几GB的大镜像建议干脆就用USB启动盘或者把iLO的远程控制台分辨率调低对速度会有帮助。操作系统选择上DL360 Gen9的驱动支持范围很广VMware ESXi6.5/6.7/7.0都有对应驱动虚拟化首选。LinuxCentOS/Rocky/Ubuntu Server都没问题安装时选择Server版即可。Windows Server2016/2019可以正常安装但要注意安装前先在BIOS里确认UEFI和Secure Boot设置。装完系统后我会顺手做几件事一是升级到最新的系统补丁和HPE驱动二是安装hponcfg和SSA命令行工具方便后续脚本化运维三是设置NTP时间同步让系统时间和iLO时间保持一致。4.4 虚拟化、集群与后续运维的初始化建议既然DL360 Gen9买回来是跑虚拟化或集群的系统装好后还有一些初始化工作建议提前做好。时间同步必须做好。服务器时间不一致会导致日志难以排查、证书校验失败、集群节点间通信异常。操作系统层面Linux用chronyd或者ntpd同步时间Windows用W32Time服务。NTP地址可以直接用公共时间服务器比如阿里云、腾讯云的NTP服务或者自建一台时间服务器给内网设备统一同步。iLO自己也要设置NTP方法是进入iLO设置界面在Management Security或者Network菜单里配置NTP服务器地址这样即使系统没启动硬件时钟也是准的。管理网和生产网分离。iLO管理口走独立管理VLANSSH、远程控制台这些管理流量不要和生产业务网搅在一起降低安全风险排障时也更清晰。虚拟化宿主机建议预留好资源。装ESXi之后给管理域vCenter/管理虚拟机预留固定资源避免业务虚拟机把宿主机内存和CPU吃满导致管理失联。给SSD做独立存储卷虚拟机的系统盘放SSD数据盘放HDD阵列性能和可靠性兼顾。多台服务器组集群时要注意批次一致性。如果你像我一样计划买多台DL360 Gen9组集群尽量保证硬件配置相似尤其是CPU、内存容量、阵列卡型号一致这样后续做负载均衡和维护会省心很多。固件版本也尽量统一升级时用HPE的SUMSmart Update Manager批量处理避免一台升到新版本另一台还在老版本导致兼容性问题。5. 常见问题与排查技巧实录5.1 风扇噪音和功耗问题DL360 Gen9开箱测试时最直观的感受就是噪音。服务器上电自检阶段风扇会全速运行这是为了确认所有风扇都能正常工作属于正常现象一般过几十秒到几分钟就会降下来。机器在低负载状态下风扇转速很稳定但如果你插了很多PCIe设备或者CPU温度偏高风扇会明显转得更快。如果要在非机房环境调试比如放在家里或者办公室这机器的噪音确实是个问题。我测试时戴了降噪耳机才受得了。真要长期放在非标准环境建议几个思路降低CPU功耗模式、清理机器内部灰尘改善散热、关闭不需要的PCIe设备来降低功耗和风扇需求。从安全角度我不建议长期把1U服务器放在人员密集的生活区毕竟散热和噪音都是实打实的代价。5.2 iLO4老固件引发的浏览器兼容和SSL问题iLO4是2014年左右的产物很多早期固件版本在现在的浏览器上打开会出现各种毛病页面排版错乱、登录时提示证书错误、Remote Console加载不出来。最典型的坑是浏览器版本太新iLO4的Web界面用的是老式TLS协议Chrome和Edge默认禁用了这些旧协议直接打不开。解决办法是先不要用最新版浏览器访问iLO4控制台可以临时调整浏览器安全设置或者用兼容模式。但根上的解决办法是升级iLO固件。HPE官方为Gen9提供了固件升级包下载后通过iLO的固件更新功能上传刷写即可。升级完iLO4固件后浏览器兼容性问题基本都能解决SSL过期问题也会消失。升级iLO固件时建议把服务器电源接上双路冗余不要在升级过程中断电或强制重启不然变砖的风险还是有的。升级完成后iLO会重启之前设置的网络地址和用户账户一般会保留但保险起见升级前我都习惯把iLO配置备份一下。5.3 RAID卡电池FBWC故障与缓存策略前面提到FBWC电容老化的问题这是HP阵列卡上比较常见的故障点。症状表现为iLO事件日志里出现Cache Module Battery Failed或者FBWC Memory Unavailable之类的告警阵列卡可能会自动把写缓存策略降级为直写Write Through导致写入性能明显下降。遇到这种情况优先更换FBWC模块某宝能找到拆机件但买的时候注意匹配阵列卡型号和固件版本换完阵列卡会自动重新学习缓存状态。在更换之前为了安全起见可以进SSA把写缓存策略改成直写毕竟没有电容保护的情况下开写缓存万一断电数据损失会非常严重。这个问题是HP阵列卡用户最容易忽略的隐患建议开箱后进SSA确认一下当前缓存策略和电容状态。5.4 硬盘报警与阵列重建注意事项硬盘是服务器里故障率最高的部件开箱后如果看到前面板某个硬盘指示灯琥珀色常亮那基本可以断定这块盘处于失败状态。还有一种情况是硬盘托架里插的不是HP原装盘某些固件的阵列卡会对非认证盘报警但并不影响使用。RAID阵列一旦某块盘挂了更换新盘后阵列会自动开始重建Rebuild。重建期间整机IO压力比较大这时候最好不要进行大量读写操作更不要拔掉其他盘或者重启服务器否则可能造成阵列崩溃。对于RAID5来说如果两块盘同时出问题阵列数据基本就凉了所以有条件的话配置一块热备盘Hot Spare能提高不少安全性。5.5 关于二手DL360 Gen9的购买与使用建议最后聊聊二手服务器采购这件事。如果你也打算入手同款机器我的建议是下单前跟卖家确认清楚具体配置几颗什么型号CPU、内存容量和数量、阵列卡型号、硬盘盘位规格、是否带硬盘和托架。很多时候价格美丽的背后是低配主板加双路空槽后期补硬件反而花更多钱。到手后先做整机长时间拷机测试跑一遍内存压力测试比如memtest86和CPU压力测试确认没有掉盘、蓝屏、重启这些问题再正式投入使用。检查iLO里记录的系统事件日志和硬件健康信息看看有没有历史报警尤其是风扇故障、内存CE错误这类蛛丝马迹。注意Gen9已经进入生命周期后期HPE的固件更新支持会慢慢收窄如果买来做生产环境建议同时对数据备份方案和故障应急预案做好规划毕竟老平台的稳定运行需要更细致维护。这台机器我拿到手之后第一件事不是急着上架跑业务而是在测试台上做了全面体检清灰、确认阵列卡状态、升级固件、跑压力测试全部通过之后才进了机柜。这套流程走下来花了两天时间但后续用起来确实省心不少。开箱不是一个简单的拆快递动作从验机到硬件巡检再到固件升级每一步都踩稳了后面配置系统和跑业务的时候才不会被各种暗病拖后腿。如果你也刚入手或者正打算入手一台DL360 Gen9按这个流程走一遍至少能避掉大多数常见的坑。