如果你手头有一块树莓派5大概率第一件事就是给它塞一块NVMe硬盘把原本SD卡带来的卡顿彻底解决。但树莓派5真正让我觉得“有意思”的地方是那条PCIe 2.0 x1通道不仅能接SSD还能拿来扩展高速网络。这篇文章要聊的就是我最近折腾的一套方案用PCIe Switch把树莓派5唯一的PCIe通道扩展成两路再接两块RTL8125芯片的2.5G网卡最终做出一个双2.5G以太网口的ARM小主机。这套方案适合三类人一是想用树莓派5当软路由需要WAN和LAN两个高速网口的朋友二是手里正好有M.2 2.5G网卡但不想用USB转接、不想忍受USB方案不稳定的朋友三是纯粹喜欢挖PCIe生态玩法的折腾党。标题里的“双2.5G”不是噱头真要做成需要吃透PCIe带宽、Switch芯片选型、RTL8125驱动编译这一连串问题下面我把自己踩过的坑和关键步骤完整写下来。1. 树莓派5的PCIe资源到底够不够用1.1 树莓派5的PCIe接口规格与带宽事实树莓派5和树莓派4最大的区别之一就是从BCM2712 SoC里单独引出了一条PCIe 2.0 x1通道而不是像树莓派4那样所有高速外设都挤在USB上。官方为了控制功耗和引脚数量只给了x1 lane所以很多人第一反应是“才一条x1能干什么”这就要先算清楚一条PCIe 2.0 x1到底有多少带宽。PCIe 2.0的单lane原始速率是5GT/s但因为用了8b/10b编码每传输8位有效数据就要附带2位校验信息所以有效数据速率是5Gbps × 0.8 4Gbps换算成字节就是500MB/s。很多朋友以为PCIe 2.0 x1是5Gbps这个误差非常关键后面计算双2.5G网卡是否够用完全依赖这个数字。如果是PCIe 3.0 x1原始速率8GT/s编码方式是128b/130b有效载荷约7.88Gbps、也就是985MB/s几乎是2.0的两倍。这也是为什么后面我会专门开一节讲“要不要硬上PCIe Gen3”因为对双2.5G来说Gen2和Gen3的体验差距是实实在在的。1.2 双2.5G网卡需要多少带宽请认真做这道数学题一个2.5G网口线速是2.5Gbps。单个口跑单向流量时2.5Gbps的需求小于PCIe 2.0 x1的4Gbps有效带宽所以能跑满这也是很多人测单口2.5G网卡可以跑出2.3~2.4Gbps的原因。但双口同时跑单向流量比如两个网口分别从两台设备接收数据到树莓派总需求就是 2.5Gbps 2.5Gbps 5Gbps。而PCIe 2.0 x1上行到SoC的有效带宽只有4Gbps瓶颈立刻出现。实测结果通常就是两个口加在一起稳定在4Gbps上下每个口只能分到2Gbps左右距离各自的2.5Gbps上限都差一截。如果再把全双工算进去情况更夸张。两个2.5G口同时满双工收发理论上需要双向各5Gbps而PCIe 2.0 x1上行和下行各有4Gbps有效带宽所以即使双向分开算也还是不够。换句话说在默认Gen2模式下双2.5G网卡不是不能跑而是别指望两个口同时跑满。这个结论不是坏事因为大多数家用场景里真正需要的往往是“一个口进、一个口出”的路由器模式每个口各2.5Gbps加起来上行和下行各2.5Gbps完全不撞车。这一点放到第四章实测里再验证。1.3 为什么必须引入PCIe Switch树莓派5的硬件设计里SoC只暴露了一个PCIe根端口物理上只能接一个PCIe端点设备。你想接两块网卡可插槽只有一个怎么办两条路要么用USB转2.5G网卡凑合要么用PCIe Switch把一条上游通道拆成多条下游通道。PCIe Switch在电路板上扮演的角色很像一个PCIe“分线器”但它不是简单并联内部是基于数据包的路由和转发。上游口连接树莓派SoC下游口可以接出多个PCIe端点设备比如两块RTL8125网卡、一块NVMe SSD甚至再接一个扩展卡。Switch本身不增加带宽它只是让多个设备可以共享上游那4Gbps的有效带宽。这个认知很重要不要指望加了Switch速度会变快它解决的是“物理上只有一个口但我想插多个设备”的问题。市面上常见的PCIe Switch芯片有ASMedia的ASM1182e、ASM1184e以及Diodes原Pericom的PI7C9X2G304GP等。ASM1182e是1进2出ASM1184e是1进4出PI7C9X2G304GP是3端口1进2出。做双2.5G网卡1进2出刚好够用如果想同时接NVMe和网卡建议直接选1进4出留足余量。2. 硬件方案设计与选型2.1 完整物料清单在做这套方案之前先把要用的东西列全免得装到一半发现缺排线、缺转接卡那很影响心情。物料规格建议备注树莓派54GB起步8GB更好跑路由/NAT/桥接时内存越大越从容PCIe扩展板双RTL8125一体板或PCIe Switch HAT一体板省事分体板可玩性高RTL8125网卡板载或M.2 AE Key网卡注意Key类型避免插不上FPC排线16pin、0.5mm间距方向要看清很多板子会附赠电源官方27W或做工好的5V/5A电源双网卡加Switch对供电有要求散热散热片、小风扇、机箱风道RTL8125和Switch芯片都是发热点如果你买的是“树莓派5双2.5G网口HAT”这类一体板那绝大多数硬件问题已经被厂家解决你只需要关注供电和散热。如果你打算走“PCIe Switch HAT 两张独立RTL8125 M.2网卡”的分体路线那就要多留一个心眼接口Key和物理空间。2.2 PCIe Switch芯片怎么选选PCle Switch芯片主要看三个指标端口数、上游带宽和功耗。端口数很好理解。只拆双网口1分2就够了想以后在同一个扩展板上再接NVMe那就上1分4。我自己选的是ASM1184e方案的板子因为当时想着万一哪天想给它加一块SSD不用重新换板。上游带宽方面这几颗芯片基本都是PCIe 2.0时代的产品上游接口也多为x1和树莓派5原生Gen2 x1匹配。如果你买的HAT宣称支持PCIe Gen3那意味着Switch芯片本身或PCB走线经过了更严格的选型后面可以通过config.txt开启Gen3模式。但注意这不是树莓派官方承诺的稳定能力属于“能上就上、不能上别勉强”的玩法。功耗方面ASM1182e这类芯片典型功耗在0.5W到1W之间比想象中低但它散热量集中在一个小封装上温度不低。我建议选板子时优先看带散热片覆盖的版本至少也要留出贴散热片的位置。2.3 RTL8125网卡两种形态与注意事项RTL8125是瑞昱很成熟的2.5G Ethernet控制芯片市面上大量2.5G网卡和主板集成网口都是它。在树莓派5扩展方案里RTL8125常见的形态有两种。第一种是板载方案厂家直接把两颗RTL8125芯片焊在HAT上同时把PCIe Switch也集成进去对外提供两个RJ45网口。这种一体板对动手能力要求最低买回来插上排线就能用基本不会出现PCIe Switch枚举问题因为厂家已经把固件、配置和电源都调好了。第二种是分体方案你买一个PCIe Switch HAT上面有两个M.2插槽然后再买两张采用M.2 AE Key封装、内置RTL8125BG芯片的2.5G网卡插上去。这种方案的灵活度高以后网卡坏了可以单独换但坑也多。最大的坑是Key不匹配树莓派5的M.2 HAT多数是M Key插槽主要给NVMe SSD用而市售RTL8125网卡大多是AE Key。要让它们兼容你得额外买一块M Key转AE Key的转接板转接板本身又占空间又增加接触电阻对散热和稳定性都不友好。所以我个人建议如果只想要双2.5G网口优先买一体板如果想顺便做个M.2扩展坞一样的东西再考虑分体方案。另一个注意事项是驱动。RTL8125在内核里对应的驱动模块是r8125不是r8169。有些新内核自带兼容驱动能识别它但性能和稳定性不一定好建议还是老老实实从瑞昱官网下载对应驱动源码编译安装。这部分放在第三章展开。2.4 供电和散热细节树莓派5官方电源是5V/5A、27W本身给PCIe HAT留了余量但双RTL8125加一颗PCIe Switch整体功耗会比单NVMe HAT高出3~5W。如果你的电源有虚标或者用第三方PD诱骗线很容易在负载上去后出现电压跌落表现为网卡随机断流或识别不到。我踩过一次这种坑换回官方电源后问题消失。如果你还要外接USB硬盘或者风扇建议想办法监控一下5V电压至少准备一块支持USB电压电流检测的电源线。散热更别忽视。RTL8125芯片满载时温度能到70度以上PCle Switch芯片同样不凉快。在开放环境中还行一旦装进塑料外壳或者NAS机箱温度很容易冲破90度。我的做法是在两块网卡芯片上贴铜散热片再用一颗5V小风扇对着扩展板区域吹实测温度能压在60度上下。树莓派5本身的风扇只能照顾SoC覆盖不到PCIe区域的发热。3. 系统配置与驱动实战3.1 系统准备与设备识别检查先确保树莓派OS是最新状态这个步骤不能省因为树莓派5的PCIe支持和固件更新关系非常大。sudo apt update sudo apt full-upgrade -y sudo rpi-eeprom-update -a sudo reboot重启之后把HAT的FPC排线接好再检查系统是否识别到PCIe设备。用lspci确认这是排查一切问题的第一步。lspci -tv正常状态下你应该能看到PCI桥PCIe Switch以及两个Realtek设备。输出大致长这样-[0000:00]--00.0 ARM BCM2712 -01.0 Bridge: ASMedia ASM1184e -02.0 Realtek Semiconductor RTL8125 2.5GbE Controller -03.0 Realtek Semiconductor RTL8125 2.5GbE Controller如果只看到一个Realtek设备大概率是PCIe Switch枚举或总线资源问题先别急着装驱动去第五章看排查方法。确认两个网卡都被识别后用ip link看一下网络接口是否已经出现。默认命名可能是eth0、eth1也可能是enx...这种基于MAC的命名。建议先把内核头文件装好后面编译驱动要用。sudo apt install raspberrypi-kernel-headers头文件版本必须和当前内核一致可以用uname -r确认。3.2 RTL8125驱动编译与加载如果系统没有自动加载r8125模块或者网卡虽然识别但状态一直是“DOWN、no carrier”多半要手动编译驱动。瑞昱官网上提供Linux版的r8125驱动源码下载后解压到树莓派里。wget https://www.realtek.com/Download/... # 以实际版本为例 tar -jxvf r8125-9.012.03.tar.bz2 cd r8125-9.012.03编译安装有两种方式走autorun脚本最省事它会自动完成make、install和modprobe。sudo ./autorun.sh如果想手动控制避免autorun反复报错也可以用下面这套流程make clean make -j4 sudo make install sudo modprobe r8125 sudo dmesg | tail -20看到类似r8125: probe success的日志就说明驱动加载成功。之后再用ethtool eth1查看网卡link状态正常情况下Supported link modes里应该包含2500baseT。这里要提醒一句每次树莓派OS内核升级后第三方驱动模块可能会丢失你需要重新编译安装。如果怕麻烦可以在编译时启用dkms让驱动自动跟着新内核重建。sudo apt install dkms sudo ./dkms_install.sh # 视驱动包内脚本而定3.3 双网卡命名与网络配置两块RTL8125网卡的名字其实无所谓但你要是打算长期使用一定要把接口名固定下来否则重启后顺序可能变化软路由脚本全乱。我习惯用udev规则绑定MAC地址。sudo nano /etc/udev/rules.d/70-persistent-net.rules内容大致如下SUBSYSTEMnet, ACTIONadd, ATTR{address}xx:xx:xx:xx:xx:xx, NAMEwan SUBSYSTEMnet, ACTIONadd, ATTR{address}yy:yy:yy:yy:yy:yy, NAMElan写完后保存执行sudo udevadm control --reload-rules sudo udevadm trigger也可以直接重启验证。网络配置方面树莓派OS默认使用NetworkManager。常见的双网口玩法有三种独立IP、桥接、链路聚合。独立IP最简单适合软路由。比如wan口接光猫、DHCP自动获取lan口手动指定内网地址sudo nmcli con add con-name WAN type ethernet ifname wan ipv4.method auto sudo nmcli con add con-name LAN type ethernet ifname lan ipv4.method manual ipv4.addresses 192.168.50.1/24 sudo nmcli con up WAN sudo nmcli con up LAN桥接模式适合把树莓派当内网二层设备用两个口都塞进同一个br0sudo nmcli con add type bridge ifname br0 con-name br0 ipv4.method manual ipv4.addresses 192.168.1.2/24 sudo nmcli con add type ethernet con-name wan-br ifname wan master br0 sudo nmcli con add type ethernet con-name lan-br ifname lan master br0链路聚合适合你有支持LACP的交换机想把两个2.5G口合并成一条逻辑链路提升总吞吐。RC8125驱动可以和NetworkManager配合用balance-alb模式最省心因为它不要求交换机端配置聚合协议sudo nmcli con add type bond ifname bond0 mode balance-alb ipv4.method manual ipv4.addresses 192.168.10.10/24 sudo nmcli con add type ethernet con-name bond-wan ifname wan master bond0 sudo nmcli con add type ethernet con-name bond-lan ifname lan master bond0不过要再次提醒聚合后的总带宽仍然受PCIe上游带宽限制Gen2模式下大概率只能到4Gbps左右并不等于5Gbps。换个角度想树莓派5做这套双网口更多是为了“两个独立千兆以上口”而不是为了“突破5Gbps”。3.4 网卡参数调优RTL8125驱动默认参数能满足大多数使用场景但跑到接近线速时建议做一些小优化。先看Ring Buffer大小ethtool -g wan如果tx/rx当前值不到最大值可以手动拉大ethtool -G wan rx 4096 tx 4096这种调整在每次重启后会失效想要永久生效可以写个systemd服务或rc.local脚本。然后检查一下中断分布树莓派CPU有4个核双网卡同时高负载时中断绑到不同核上能减少争抢cat /proc/interrupts | grep r8125如果两个网卡的中断都集中在CPU0可以用irqbalance自动分发或者手动写/proc/irq/{irq}/smp_affinity来分配。实际测试中手动绑核带来的提升在2%~5%左右不算大但对强迫症有心理安慰。最后可以把网卡的EEE节能以太网关掉这个功能在某些环境下会引发握手延迟和速度波动ethtool --set-eee wan eee off ethtool --set-eee lan eee off4. 性能测试与结果分析4.1 测试环境搭建硬件都弄好之后最激动人心的就是测速了。我先说测试环境的搭建对端准备两台机器都带2.5G网卡通过两条独立网线分别连到树莓派的两个网口上。如果只有一台对端机器也可以让这台机器插两张2.5G网卡分别连效果差不多。在树莓派上装iperf3sudo apt install iperf34.2 单口吞吐测试先在树莓派上起一个服务端iperf3 -s对端机器执行iperf3 -c 192.168.50.1 -P 4 -t 30我这边单个RTL8125口通常能稳定跑到2.35~2.48Gbps已经非常接近2.5G线速。CPU占用会有一些但还没到吃满4核的程度。这一结果也说明PCIe Gen2的4Gbps有效带宽供单口使用完全没问题。4.3 双口同时跑PCIe瓶颈如期而至双口同时测试的姿势要稍微讲究一点。我在树莓派的两个终端窗口分别起两个iperf3服务端分别监听两个网口的地址iperf3 -s -B 192.168.50.1 -p 5201 iperf3 -s -B 192.168.60.1 -p 5202两台对端设备同时开始打流。结果非常符合前面的带宽计算两个口总吞吐稳定在4.0~4.2Gbps两个口各自只能分到2.0Gbps左右。如果我把其中一个口先跑满2.5Gbps另一个口的剩余可用带宽只有1.5Gbps左右。这说明双2.5G方案在默认Gen2下的硬上限是4Gbps不是网卡或者驱动的问题。如果你接受“每个口能跑到2Gbps左右”那这套方案已经比千兆快了一倍完全够用如果你必须让两个口同时跑满2.5Gbps那必须先解决PCIe 3.0的问题。4.4 要不要开启PCIe Gen3模式树莓派5的config.txt里有一个触发Gen3的开关前提是你的扩展板PCB走线质量过关、Switch芯片也支持PCIe Gen3否则可能直接启动失败或设备丢失。在/boot/firmware/config.txt里加一行dtparampciex1_gen3保存后重启用下面命令确认协商速度sudo lspci -vv | grep -E LnkSta:|LnkCap:如果看到LnkSta: Speed 8GT/s说明成功跑在Gen3。这时再测双口同时打流两个口合计可以到7Gbps以上每个口都能跑到接近2.5Gbps瓶颈彻底消除。我自己的经验是Gen3模式在支持良好的板子上非常稳但确实有部分hAT在开了之后出现PCIe设备枚举不到或者系统死机的情况。所以我建议先做好系统备份如果开了Gen3进不了系统就在config.txt那行前加一个#注释掉恢复到Gen2继续用。对于只跑软路由的朋友Gen2其实已经完全够用Gen3更适合做NAS或需要双口大流量互传的场景。5. 常见问题与排查记录5.1 插上PCIe Switch后只认到一个网卡这个问题出现的概率很高尤其是分体方案。先别急着怀疑硬件坏了多数情况是PCIe总线资源分配问题。树莓派5的PCIe root complex默认可能没有给下游桥分配足够的bus号导致Switch挂上后只枚举出第一个设备。解决办法很粗暴在config.txt里给内核加pcirealloc参数。pcirealloc也可以用pciassign-busses强制重新分配总线号我自己试下来pcirealloc基本就够了。如果还不行先更新bootloaderrpi-eeprom-update -a再去查硬件是否虚接。另一个容易忽略的点是有些Switch芯片在下游端口没插入设备时整个下游bridge都不会出现在lspci里所以你必须把两块网卡都插满再查。5.2 r8125驱动编译报错最常见的编译报错是找不到内核头文件。fatal error: linux/version.h: No such file or directory解决办法就是安装和当前内核匹配的头文件包树莓派专用包名是raspberrypi-kernel-headers装完再重新编译。还有一种情况是内核升级后旧版驱动源码编译不通过报错信息五花八门比如unknown symbol pci_disable_link_state或者struct net_device has no member named mem_start。这时候先确认驱动源码版本是否适配当前内核不行就换更新版本的r8125驱动。瑞昱驱动源码的版本号和内核版本没有强绑定我一般会找最近一年内的版本用避免老版本和新内核API不兼容。如果编译过程中报权限错误记得先make clean再用sudo make install不要用root直接跑make。5.3 协商速度只有1000Mbps或总是断流先确认对端设备是不是也支持2.5G。2.5G这个标准对线材比较敏感部分所谓超五类线在长距离下可能协商不到2.5G只能回落到1000M。我建议至少用Cat6线特别是网口旁边有强电干扰的时候。如果是和某些交换机兼容性不好可以手动把速率固定住sudo ethtool -s wan speed 2500 duplex full autoneg on再说断流。断流先看温度RTL8125满载后如果超过85度驱动可能主动降速或丢包。把散热片贴好风扇对着吹。其次看电源树莓派5的PCIe口供电不足时RTL8125会间歇性消失。我遇到过一种非常隐蔽的现象两块网卡单独插都能正常工作同时插上后其中一块工作几分钟就掉线换了官方5V/5A电源后消失明显是供电余量不够。第三看EEE前面提到的ethtool --set-eee关掉可能能缓解特定交换机搭配下的掉速问题。5.4 双网口在软路由场景下的特殊经验如果你是把树莓派5当成双2.5G软路由也就是wan和lan各一个口那要补一句由于流量通常是wan进lan出PCIe总线上是上行和下行各走一路虽然双口同向大流量会撞车但一进一出时基本能各自跑满2.5Gbps。这个结论我自己实测过很有意义说明树莓派5做2.5G软路由是完全可行的瓶颈在NAT转发性能而不是PCIe带宽。软件方面用NetworkManager配置双口之后记得开启内核IP转发sudo sysctl -w net.ipv4.ip_forward1如果要永久生效写入/etc/sysctl.d/99-router.conf。如果还要做NAT就配合nftables或iptables做伪装这部分网上资料很多就不展开了。6. 最后再分享一点个人体会整套方案折腾下来我最大的感悟是“双2.5G”能不能跑满完全取决于你对PCIe带宽账算得清不清楚。树莓派5原生PCIe Gen2 x1的4Gbps有效带宽决定了它在默认状态下双口同时大流量必然受限。想突破要么开Gen3要么合理规划流量方向。对我个人而言把它当作一个低功耗双2.5G软路由或者家庭NAS的存储节点是目前体验最好的方向。如果你正准备上手我的建议是先买一体化的双RTL8125 HAT把系统跑通、测完速再考虑要不要玩分立元件和更复杂的PCIe Switch扩展。硬件折腾的乐趣不在于一次全上而是每一环都知道自己为什么这么选。最后再放一个小技巧FPC排线插拔次数多了会磨损多备一根没坏处某天突然找不到网卡八成不是芯片坏了而是排线松了。这套方案后续还可以加NVMe、接SATA扩展卡玩法很多慢慢折腾就行。