两根网线插好、端口都亮灯为什么 PortChannel 仍然不能转发对端暂时不运行 LACP 时能不能先把某个端口当普通二层端口使用本文先解释链路聚合再沿当前本地 SONiC 代码说明 lacp_individual 如何实现。关键词SONiC、LACP、PortChannel、LAG、fallback、lacp_individual、teamd、VLAN。1. 先分清物理端口、LAG 和 LACP物理端口是插网线或光模块的接口例如 Ethernet0。LAGLink Aggregation Group把一组物理链路组织起来让上层把它们当作一个逻辑链路。SONiC 中常用 PortChannel10 这样的名字表示逻辑聚合接口。可以把聚合想成一条有多条车道的道路PortChannel 是道路Ethernet0 和 Ethernet4 是车道。增加车道能够容纳更多车流一条车流并不会因此自动同时占用所有车道。图 1聚合拓扑两条物理链路一个逻辑接口LACP 是 Link Aggregation Control Protocol即链路聚合控制协议。它通过链路上的协议报文交换本端和对端的信息帮助双方决定哪些链路可以加入聚合并有序开启收发。IEEE 802.1AX 描述链路聚合机制LACP 本身不是逐包分流算法。1.1 两条 10G 为什么不等于单连接 20G在常见的按流哈希分担方式下同一条流量会被分配到一条成员链路以减少乱序。两条 10G 的聚合可以为多条流量提供更大的总容量但一条 TCP 连接通常仍受一条成员带宽限制还要扣除协议开销。Linux bonding 文档也明确说明其 802.3ad 模式下的这一限制。实际 SONiC ASIC 的哈希字段和分配效果要看平台配置不能直接套用 Linux bonding 的默认哈希策略。1.2 动态聚合与静态聚合类型如何确定成员关系本文如何处理动态聚合使用 LACP 协商本文主体静态聚合依靠配置不靠 LACP 协商仅用于比较不展开实现这里的“动态”是指协议参与成员选择不是自动发现任意端口并替你完成配置。两端仍须配置合理的聚合关系。普通聚合的多条链路应连接同一个逻辑对端跨设备聚合需要额外机制不在本文范围内。2. LACP 怎样让端口成为可用成员LACP 报文称为 LACPDU。Actor 表示发送者自己的信息Partner 表示它掌握的对端信息。System ID 用于标识系统Key 用于帮助区分本系统内可聚合的端口组双方接口名字不必相同也不能把“两端 Key 数字必须一样”作为通用规则。先记住四个阶段物理链路正常具备交换报文的基础。两端交换 LACPDU了解彼此系统和端口信息。实现进行成员选择与同步判断端口能否参加选中的聚合。符合条件的成员开启接收和发送业务的能力。图 2LACP 协商从链路亮灯到成员可用Collecting 可理解为“允许从这个成员接收业务”Distributing 可理解为“允许把业务分配给这个成员发送”。收到 LACPDU 只是协商链条的一部分端口亮灯、对端有报文、成员成功转发是三个不同层次。active 模式主动发起协议交互passive 模式主要响应对端双方都 passive 时不能指望主动发起协商。本地 TeamMgr::addLag() 给 runner 设置 active:true本文不提供未经 CLI 取证的 passive 配置命令。本地还支持 fast_rate 和 min_links。前者影响 LACP 快速报文节奏相关行为后者会传给 teamd 的 min_ports。不要把 min_links 当成“必须有这么多端口进入 individual”的计数器当前 teamsyncd 的 individual 判定没有检查这个字段。3. 什么是“LACP 独立端口”设想服务器启动初期其网卡链路已经 Up但操作系统尚未运行 LACP。交换机配置了动态聚合双方还没有形成正常的协议聚合关系。这就是理解 fallback 和独立端口的一个典型背景并不意味着任何启动环境都应开启它们。本文“独立端口”专指本地 lacp_individual 功能端口在配置上仍然属于 PortChannel满足条件时硬件转发侧将它作为独立的二层端口处理并继承 PortChannel 的 VLAN 成员关系。独立的是转发处理方式不是把 CONFIG_DB 中的 PORTCHANNEL_MEMBER 配置删除。它也不等于给物理端口自动创建一个三层接口或复制 PortChannel 的 IP 地址。3.1 普通 LACP、fallback、individual 的区别项目普通 LACP只开启 fallback开启 lacp_individual对端正常协商根据选择、同步等状态启用成员仍有正常 LACP 路径不满足独立条件时回普通成员路径无有效对端信息并进入 defaulted不靠 fallback 绕过正常同步条件defaulted 成员可成为 fallback 候选仍受选择条件约束链路 Up 且 defaulted 时teamsyncd 生成 individualteamd 配置默认不启用两种扩展runner.fallbacktruerunner.fallbacktrue 且 runner.lacp_individualtrueAPPL_DB 成员表达enabled / disabledenabled / disabled满足条件时为 individual硬件成员处理LAG 成员及收发使能仍走普通 LAG 成员路径移出 LAG按物理桥端口继承 VLANfallback 补丁中的 is_lacp_fallback_eligible() 检查 PORT_STATE_DEFAULTED 和 fallback 开关。lacp_port_should_be_enabled() 仍检查 selected 以及是否属于选中的 aggregator因此不能说 fallback 会把所有 Up 端口无条件放行也不能仅凭补丁标题断言任何拓扑下固定选中几个端口。lacp_individual 复用了底层 fallback 能力但增加了上层独立成员编程。libteam 的 0017 补丁主要负责读取并暴露 lacp_individual runner 状态完整功能还依赖 teamsyncd 和 PortsOrch不能只打这个补丁就声称功能齐全。3.2 defaulted 不是“刚漏收一个包”defaulted 是本地 teamd 端口 runner 的状态字符串表示当前使用默认的对端信息。正常运行中失去 LACP 报文可能先经历 expired 再到 defaulted启动也可能处于相关初始化路径。不要把链路 Up 后的任何短暂协商等待都称为 individual也不要承诺固定秒数切换。计时、事件和目标镜像都会影响观测结果。4. 一个交换机里谁负责哪一段图 3组件职责谁配置、谁协商、谁编程组件初学者可以怎样理解本地证据入口CLI / CONFIG_DB保存“我想要什么配置”src/sonic-utilities/config/main.pyadd_portchannel()teammgrd把 PortChannel 配置翻译成 teamd 配置并启动进程src/sonic-swss/cfgmgr/teammgr.cppTeamMgr::addLag()teamd / libteam处理 LACP 协议及 Linux team 成员状态src/libteam/patch/0003…、0017…见第 9 节完整文件名teamsyncd读取 teamd 和成员状态告诉应用数据库src/sonic-swss/teamsyncd/teamsync.cppgetMemberStatus()、onChange()orchagent / PortsOrch把成员状态转成 LAG、Bridge Port、VLAN Member 操作src/sonic-swss/orchagent/portsorch.cppSAI 与平台实现提供交换芯片对象操作接口并落实转发同文件中的 sai_lag_api、sai_bridge_api、sai_vlan_api 调用本地 dockers/docker-teamd/supervisord.conf 配置了 teammgrd、teamsyncd、tlm_teamdteammgrd 再按聚合启动 teamd。tlm_teamd 提供状态采集并不替代 teamsyncd 向 APPL_DB 发布成员状态的职责。Linux team 的软件成员状态和 ASIC 的硬件 LAG 成员不是一个对象。独立转发最容易看错的地方就是把 teamd 的 selected 或 enabled 直接当成硬件仍处于 LAG 的证明。5. 配置实验先用一个成员理解再增加第二个以下是供读者在隔离测试环境执行的示例本文没有执行这些命令。默认单 ASIC、默认命名空间接口使用 Ethernet0、Ethernet4聚合使用 PortChannel10业务 VLAN 使用 100。实际接口名以设备为准。先准备空闲接口没有已有 IP、VLAN、子接口或其他聚合成员关系同组成员速率相同、MTU 与 PortChannel 一致。本地 add 命令给新 PortChannel 设置 MTU 9100应先核对物理成员 MTU。端口还须已管理启用、物理链路正常。本文不提供自动清理现有配置的命令。5.1 三种创建方式选择一种先确认镜像是否真的带有参数config portchanneladd--help普通动态聚合sudoconfig portchanneladdPortChannel10 --min-links1仅 fallbacksudoconfig portchanneladdPortChannel10 --min-links1--fallbacktrue本文的独立端口功能sudoconfig portchanneladdPortChannel10 --min-links1--lacp-individualtrue这三条是互斥的创建示例不要在同一个已存在的 PortChannel 上依次执行。它们不是在线切换命令。本地 CLI 与 TeamMgr 都拒绝将 lacp_individual 用于 static PortChannel。5.2 加入成员并配置业务 VLAN以下步骤假定选择了第三种创建方式且 Vlan100 不存在sudoconfig portchannel memberaddPortChannel10 Ethernet0sudoconfig vlanadd100sudoconfig vlan memberadd-u100PortChannel10这里把 PortChannel10 作为 VLAN 100 的 untagged 成员便于单接口、无 VLAN 标签的测试主机理解。业务侧另需一个已经准备好的 VLAN 100 测试节点并且两端 IP 地址属于同一子网才能用业务流量检验二层互通。先让 Ethernet0 连接一个不发送 LACP、也不桥接其他接口的普通测试主机。等待并确认 teamd 进入 defaulted 后再观察 individual。验证一个成员可理解后可在确认拓扑无环路的情况下增加第二个成员sudoconfig portchannel memberaddPortChannel10 Ethernet4独立场景下第二个成员接独立的测试主机不能把两条线随意接到同一个普通交换网络而忽略环路。正常 LACP 对照实验则让两条线连接同一个逻辑对端的同一 LACP 聚合组对端 VLAN 与本端一致。这是同一组接口的不同测试接线方式不是要求同时使用两种拓扑。VLAN 配在 PortChannel 上。不要为演示继承而又手工把 Ethernet0 配进同一个 VLAN本地 CLI 也会检查成员接口的已有 VLAN 等关系。独立端口的 VLAN 对象继承由 orchagent 完成。6. 沿配置到转发走一遍图 4配置与状态individual 从哪里来6.1 CONFIG_DB配置意图CLI 向 PORTCHANNEL 写入 lacp_individualtrue向 PORTCHANNEL_MEMBER 写入成员关系。TeamMgr::addLag() 中只要 fallback 或 lacp_individual 有一个为真就生成 runner.fallbacktrueindividual 为真时还生成 runner.lacp_individualtrue。所以 CONFIG_DB 中 fallback 字段缺省而 teamd 的运行配置里 fallbacktrue并不矛盾。两者分别是用户配置和生成后的 runner 配置。6.2 teamsyncd判定状态TeamPortSync::getMemberStatus() 先取 Linux team enabled 标志然后读取 teamd 状态。用接近源码的伪代码表示如下如果拿不到 teamd 状态或者 runner.lacp_individual 不是真 按 team enabled 标志返回 enabled 或 disabled 否则如果该端口 link.up 为真且 runner.state 等于 defaulted 返回 individual 否则 按 team enabled 标志返回 enabled 或 disabled注意 individual 分支没有要求 team enabledtrue也没有要求该端口被 aggregator 选中它是逐成员判断。多个成员可分别满足判定但多成员业务效果仍要实测。onChange() 将结果写入 LAG_MEMBER_TABLEkey 是“PortChannel 名:成员名”字段是 status。成员初始化时和 libteam 成员事件回调时会调用 onChange()。这里有一个排障细节主循环虽然调用 periodic()但已检查的 periodic() 主要处理 warm restart 和 selectable 注册并不每秒重新读取所有 teamd 端口状态。因此应验证纯协议状态变化能否及时带来相应成员事件不能把判定代码的存在写成“每次状态变化都已证明同步可靠”。6.3 orchagent改变硬件对象关系PortsOrch::doLagMemberTask() 读取成员 status当前代码还会读取 APPL_DB 的最新状态避免直接使用已过时的待处理值。遇到 individual 时调用 addLagMemberAsIndividual()如果该物理端口已有硬件 LAG member先移除再记录独立成员归属遍历 PortChannel 已有 VLAN 关系为独立成员创建桥端口和 VLAN 成员并继承 tagging mode。没有 VLAN 可以继承时函数会记录日志并返回成功。因此“statusindividual”不等于“已经具备目标 VLAN 的业务通路”更不等于自动继承路由接口。退出独立状态时removeLagMemberAsIndividual() 先删除其记录的继承 VLAN没有其他 VLAN 关系时清理桥端口再移除独立成员记录。随后普通成员路径按 enabled / disabled 创建或处理 LAG 成员。enabled 处理会开启 collection 和 distributiondisabled 路径关闭相应收发能力。SAI 调用包括 create_lag_member、remove_lag_member 以及 LAG member 的 INGRESS_DISABLE / EGRESS_DISABLE 属性。独立路径复用 Bridge Port 与 VLAN Member 操作而不是设置一个所谓“SAI individual 开关”。图 5成员状态变化独立转发与聚合的切换如果对端重新发送 LACP导致端口不再 defaulted它会离开独立判定但此时可能仍是 disabled。只有后续正常聚合条件满足才会变成 enabled。不要把“收到一个 LACPDU”写成“立即恢复聚合转发”。6.4 数据库应该看哪张表数据库示例 key重点字段与含义生产或消费CONFIG_DBPORTCHANNEL|PortChannel10lacp_individual、fallback、min_links配置意图CLI 写teammgrd 读CONFIG_DBPORTCHANNEL_MEMBER|PortChannel10|Ethernet0成员配置存在性CLI 写配置管理处理APPL_DBLAG_MEMBER_TABLE:PortChannel10:Ethernet0statusenabled / disabled / individualteamsyncd 写PortsOrch 读APPL_DBLAG_TABLE:PortChannel10oper_status 等聚合运行信息teamsyncd 的链路同步路径show 读取STATE_DB由 teamd 状态采集维护的记录用于 show 的 selected、runner 等状态展示辅助观察不替代 APPL_DB 成员判定表名取自 src/sonic-swss-common/common/schema.h不能把宏 APP_LAG_MEMBER_TABLE_NAME 当作 Redis 中的真实表名。CONFIG_DB 示例使用竖线分隔APPL_DB 此处使用冒号分隔。7. 验证从配置、协议状态一直看到业务以下命令默认在 SONiC 主机 shell 使用teamdctl 的主机侧可用性与镜像有关。本地 show 代码也直接调用 sudo teamdctl若目标镜像没有主机入口先确认其 teamd 容器工具位置再使用对应执行方式。多 ASIC 环境需选择对应命名空间不能直接套用默认实例结果。show interfaces portchannelsudoteamdctl PortChannel10 config dumpsudoteamdctl PortChannel10 state dump sonic-db-cli CONFIG_DB HGETALLPORTCHANNEL|PortChannel10sonic-db-cli CONFIG_DB HGETALLPORTCHANNEL_MEMBER|PortChannel10|Ethernet0sonic-db-cli APPL_DB HGETALLLAG_MEMBER_TABLE:PortChannel10:Ethernet0sonic-db-cli APPL_DB HGETALLLAG_TABLE:PortChannel10重点看 teamd state 的 runner.lacp_individual、ports.Ethernet0.link.up、ports.Ethernet0.runner.state以及 APPL_DB status。这些是嵌套字段路径不是要求在输出中寻找带点的完整字符串。可选地使用抓包核对有没有收到 LACPDUsudotcpdump-eniEthernet0ether proto 0x88090x8809 属于 Slow Protocols抓到这种以太类型后仍须看解码确认是 LACP不能把同类型所有帧都算成 LACP。主机抓不到也要结合 ASIC 的报文上送和抓包可见性排查不能单独断言对端没发送。7.1 不要误读 show 中的 I、S、D本地 show/interfaces/portchannel.py 的 I 表示 inactive并不是 individualS / D 根据 runner.aggregator.selected 显示 selected / deselected。该实现没有专门渲染 individual 标记。因此不能只看汇总表就判定独立模式是否生效应直接检查 APPL_DB status并沿转发对象和流量继续验证。7.2 建议记录的测试矩阵下表是待执行的验收场景不是本次实测报告。场景预期观察点验证重点正常 LACP 对端满足正常条件后成员 enabled双向业务、选中成员、VLAN 一致普通 LACP无协议对端不进入 individual不把物理 Up 当聚合成功仅 fallback无协议对端defaulted 候选按选择结果 enabled / disabled仍走 LAG实际选中成员数individual 开启Up 且 defaultedAPPL_DB statusindividual物理桥端口、继承 VLAN、MAC 学习及业务individual 开启但没有业务 VLAN可能已是 individual不应仅凭状态声称二层业务可达individual 状态拔线link.upfalse 后不再满足独立条件状态同步、清理、流量停止对端恢复 LACP离开 defaulted清理继承对象再按正常状态处理不要求瞬间 enabled检查丢包和 MAC 重新学习独立期间增删 PortChannel VLAN新增继承或删除记录中的成员关系与 add/remove VLAN 路径一致、无残留对象两个成员分别 defaulted分别检查两个 APPL_DB key两个独立口业务、广播、环路与学习行为纯协议状态改变链路一直 Upteamd 状态和 APPL_DB 应对应更新成员事件是否触发、是否出现状态滞后对 tagged 场景还应单独检查标签保留untagged 场景检查 PVID 与出入方向行为。SAI 对象存在也不足以替代真实报文验证。重启、warm restart、故障恢复时延、L3 PortChannel、MCLAG 和特定硬件兼容性都没有在本次工作中实测。8. 遇到不通时按什么顺序查图 6排障顺序逐层确认不跳过转发验证先看物理与配置。端口是否 Up成员速率和 MTU 是否匹配端口是否已被其他功能占用VLAN 配在 PortChannel 上了吗当前镜像是否支持 lacp_individual 参数再看 teamd。生成后的 runner 是否有两个开关端口究竟是 defaulted还是 current / expired 等其他状态若一直有合法对端 LACP不能期待无条件进入独立状态。核对 APPL_DB。满足条件却没有 individual 时检查 teamd 状态读取、JSON 解析、libteam 0017 补丁以及成员事件回调。getMemberStatus() 在状态不可用时回到 enabled/disabled不会凭配置强行返回 individual。核对 orchagent。查找 enters individual、leaves individual、no VLAN membership to inherit 等日志片段并检查 LAG member 移除、桥端口和 VLAN member 创建是否成功。错误会让相关任务保留或重试不能只看上游已写库。最后验证业务。从测试主机检查 ARP、单播、广播、MAC 学习与链路恢复同时检查对端 VLAN、地址、防火墙等条件。