# CentOS 7 配置 Linux VXLANVNI 100 点对点二层隧道实验1. 服务介绍VXLANVirtual Extensible LAN通过 UDP 把二层以太网帧封装在三层 IP 网络中使不同主机上的虚拟网桥能够跨越 Underlay 网络组成同一二层广播域。VXLAN 常用于云平台、容器网络、虚拟机网络和数据中心 Overlay。本文在两台 CentOS 7 主机间建立 VNI 100 点对点隧道底层网络使用192.168.100.0/24VXLAN 网桥使用172.16.1.0/24最后通过 ping、FDB 和抓包验证隧道。2. 准备运行环境| 主机 | Underlay 接口 | Underlay 地址 | Overlay 网桥地址 ||---|---|---|---|| AppSrv |ens33|192.168.100.100/24|172.16.1.1/24|| StorageSrv |ens33|192.168.100.200/24|172.16.1.2/24|其他要求• 操作系统CentOS 7.x。• 操作权限root或具备sudo权限的管理员账号。• 两台主机 Underlay 地址可互相访问。• 两端 VNI 必须一致本文使用100。• VXLAN UDP 目标端口使用 IANA 标准端口4789。• Underlay MTU 为 1500 时VXLAN 接口和网桥建议设置为 1450。• 命令由iproute提供不必依赖旧版brctl。两台主机先检查系统、网卡和内核模块cat /etc/centos-release ip -br addr ip route modprobe vxlan lsmod | grep vxlan确认 Underlay 互通AppSrvping -c 4 192.168.100.200StorageSrvping -c 4 192.168.100.1003. 相关知识3.1 Underlay 与 Overlay• Underlay真实三层承载网络本文是192.168.100.0/24。• Overlay在 Underlay 之上建立的逻辑二层网络本文是172.16.1.0/24。• Underlay 不通VXLAN 一定不通排障必须先检查底层网络。3.2 VNIVNIVXLAN Network Identifier是 24 位标识可提供约 1600 万个逻辑网络。只有 VNI 相同的 VXLAN 端点才属于同一个 Overlay。本文两端都配置id 100。3.3 UDP 4789VXLAN 外层默认使用 UDP 4789。防火墙需要允许两台 VTEP 的 UDP 4789 通信。原文建议直接关闭防火墙和 SELinux这种做法不必要VXLAN 是内核网络功能通常不受 SELinux 阻止firewalld 只需精确放行 UDP 4789。3.4 VTEP、网桥和 FDB• VTEPVXLAN Tunnel Endpoint负责封装和解封装 VXLAN 报文。•vxlan100本实验 VTEP 的 Linux VXLAN 接口。•br-vxlan逻辑二层交换机连接本地接口和 VXLAN 接口。• FDB转发表记录 MAC 地址应从哪个端口转发。未知单播、广播和组播流量需要发送到远端 VTEP。3.5 MTUIPv4 VXLAN 通常增加约 50 字节封装开销。Underlay MTU 为 1500 时Overlay MTU 设置 1450 可避免分片。若承载网络支持 Jumbo Frame可统一提高 Underlay MTU但链路全程必须一致。3.6 点对点与多节点本文使用remote参数建立静态点对点 VXLAN适合两台主机实验。多节点环境通常使用组播、静态 FDB 或 EVPN 控制平面不应为每对主机手工创建独立隧道。4. 实验步骤4.1 AppSrv 配置确认接口名和源地址ip -br addr show ens33 ip route get 192.168.100.200创建网桥ip link add br-vxlan type bridge ip link set br-vxlan mtu 1450 ip link set br-vxlan up创建 VXLAN 100指定本地和远端 VTEPip link add vxlan100 type vxlan \ id 100 \ local 192.168.100.100 \ remote 192.168.100.200 \ dev ens33 \ dstport 4789 \ nolearning将 VXLAN 接口加入网桥并启用ip link set vxlan100 mtu 1450 ip link set vxlan100 master br-vxlan ip link set vxlan100 up ip addr add 172.16.1.1/24 dev br-vxlan为未知单播和广播添加默认远端 FDBbridge fdb append 00:00:00:00:00:00 dev vxlan100 dst 192.168.100.2004.2 StorageSrv 配置创建网桥ip link add br-vxlan type bridge ip link set br-vxlan mtu 1450 ip link set br-vxlan up创建 VXLAN 100交换local和remote地址ip link add vxlan100 type vxlan \ id 100 \ local 192.168.100.200 \ remote 192.168.100.100 \ dev ens33 \ dstport 4789 \ nolearning绑定网桥、设置地址并添加默认 FDBip link set vxlan100 mtu 1450 ip link set vxlan100 master br-vxlan ip link set vxlan100 up ip addr add 172.16.1.2/24 dev br-vxlan bridge fdb append 00:00:00:00:00:00 dev vxlan100 dst 192.168.100.1004.3 放行 VXLAN 防火墙端口两台主机都执行firewall-cmd --permanent --add-port4789/udp firewall-cmd --reload firewall-cmd --query-port4789/udp更严格的生产规则应只允许对端 VTEP 地址访问 UDP 4789。实验无需关闭 SELinux也无需停用 firewalld。4.4 检查接口状态两端执行ip -br link show br-vxlan vxlan100 ip -br addr show br-vxlan ip -d link show vxlan100 bridge link show bridge fdb show dev vxlan100ip -d link应显示 VNI 100、本地和远端 VTEP、设备ens33、UDP 4789。bridge link应显示vxlan100归属br-vxlan。4.5 临时配置与持久化上述ip和bridge命令创建的是运行时配置重启后会消失。实验完成且验证正确后可保存为脚本并交给 systemd 启动。AppSrv 建立/usr/local/sbin/vxlan-up.shcat /usr/local/sbin/vxlan-up.sh EOF #!/bin/bash set -e ip link show br-vxlan /dev/null 21 || ip link add br-vxlan type bridge ip link set br-vxlan mtu 1450 up ip link show vxlan100 /dev/null 21 || ip link add vxlan100 type vxlan id 100 local 192.168.100.100 remote 192.168.100.200 dev ens33 dstport 4789 nolearning ip link set vxlan100 mtu 1450 master br-vxlan ip link set vxlan100 up ip addr show dev br-vxlan | grep -q 172.16.1.1/24 || ip addr add 172.16.1.1/24 dev br-vxlan bridge fdb replace 00:00:00:00:00:00 dev vxlan100 dst 192.168.100.200 EOF chmod 750 /usr/local/sbin/vxlan-up.sh建立/etc/systemd/system/vxlan-lab.service[Unit] DescriptionVXLAN lab VNI 100 Afternetwork-online.target Wantsnetwork-online.target [Service] Typeoneshot ExecStart/usr/local/sbin/vxlan-up.sh RemainAfterExityes [Install] WantedBymulti-user.target启用前先手动执行脚本并验证/usr/local/sbin/vxlan-up.sh systemctl daemon-reload systemctl enable vxlan-lab.serviceStorageSrv 使用同样方式但要把本地地址改为192.168.100.200、远端地址改为192.168.100.100、网桥地址改为172.16.1.2/24。4.6 回退运行时配置需要重新实验时先删除旧接口避免出现File existsip link set vxlan100 down 2/dev/null ip link del vxlan100 2/dev/null ip link set br-vxlan down 2/dev/null ip link del br-vxlan type bridge 2/dev/null删除 VXLAN 接口前先确认它只用于本实验避免影响其他虚拟网络。5. 验证结果5.1 Overlay 连通性AppSrvping -c 4 172.16.1.2StorageSrvping -c 4 172.16.1.1双向 ping 成功说明两端网桥地址可通过 VXLAN 100 通信。5.2 检查邻居表和 FDBip neigh show dev br-vxlan bridge fdb show br br-vxlan bridge fdb show dev vxlan100预期能看到对端 Overlay IP 对应的 MAC 邻居以及 VXLAN 接口上的转发表项。5.3 抓取 VXLAN 报文任意一端执行tcpdump -ni ens33 udp port 4789另一终端持续 ping 对端 Overlay 地址。抓包应看到192.168.100.100与192.168.100.200之间的 UDP 4789 流量。外层地址属于 Underlay内层 ARP/ICMP 属于 Overlay。5.4 MTU 验证Overlay MTU 为 1450 时测试不分片最大 ICMP 负载ping -M do -s 1422 -c 4 172.16.1.2IPv4 ICMP 头和 IP 头合计 28 字节1422281450。若小包通、大包不通优先检查两端接口 MTU 和 Underlay 路径 MTU。5.5 常见故障排查ip -d link show vxlan100 ip addr show br-vxlan bridge link show bridge fdb show dev vxlan100 firewall-cmd --query-port4789/udp ip route get 192.168.100.200 tcpdump -ni ens33 udp port 4789• Underlay 地址 ping 不通先修复物理网络、路由和防火墙不检查 Overlay。• 抓不到 UDP 4789检查local、remote、dev、VNI 和 firewalld。• 能抓到单向报文但无返回检查对端 VXLAN 配置和返回路由。• ARP 一直失败检查默认 FDB、网桥绑定和两端 VNI 是否都是 100。• 小包通、大包失败检查 MTUUnderlay 1500 时 Overlay 建议 1450。• 重启后接口消失运行时命令未持久化检查 systemd oneshot 服务和启动日志。