第一次拿到带HDMI输入输出接口的FPGA开发板时我最想做的不是跑Linux也不是写一个UART回环而是把电脑桌面原封不动搬到显示器上。这就是FPGA视频入门里最常见的实验HDMI视频输入与环路输出。我原以为这是根线的问题接上就行结果连续折腾了两天——一会儿黑屏一会儿花屏一会儿画面闪得眼睛疼。后来把HDMI协议、PHY芯片、EDID握手、像素时钟对齐这些环节逐个拆开才发现这个“基础实验”一点都不基础它把FPGA视频处理最关键的几个基本功全部串在了一起。这篇文章把我踩过的坑和验证过能跑通的实现路径写出来给准备开始做FPGA视频处理、或者工作中需要接触HDMI环出设计的同学参考。实验环境不挑品牌思路通用。我手头板子的FPGA是Xilinx Artix-7系列输入侧有一颗HDMI接收PHY芯片输出侧有一颗HDMI发送PHY芯片开发软件用Vivado。外部信号源可以是电脑显卡、机顶盒或者游戏机我调试时最常用的是笔记本电脑因为它分辨率灵活、方便切换把1080p60、720p60轮着试一遍基本能把链路里的大问题都暴露出来。这篇文章不会讲太多玄乎的概念我尽量把每个“为什么”解释清楚讲完原理就给可以直接抄的步骤和代码思路。1. 环路输出到底在练什么一个被低估的基础实验1.1 “环路输出”不是一条线而是一条数据通路很多人第一次听说环路输出脑子里冒出来的画面是一根HDMI线分两路一路进显示器一路进设备。那叫硬件分配器不是FPGA做的事情。在FPGA平台上环路输出Loop-through指的是HDMI输入信号进开发板经过PHY芯片解码进入FPGA芯片内部经过一层可能存在的处理逻辑再送出去给HDMI发送PHY芯片编码最终接到显示器上。中间的数据不是“电信号直接抄过去”而是“被完整解析成像素和同步信号之后再重新生成”的过程。这套架构的价值在于FPGA有机会在这条通路上做任意插入式处理。比如最简单的灰度化或者稍微复杂一点的色彩转换、OSD叠加、缩放裁剪。换成单纯的硬件分配器这些全部做不到。所以很多视频采集卡、画面分割器、工业显示设备里环路输出才是常态功能而不是什么花哨玩法。1.2 为什么说这个实验是视频处理的“起手式”我做视频处理也有一段时间了回头复盘发现环路输出这个实验实际上覆盖了三个基本功协议握手HDMI源端不是上电就输出画面的它要先探测接收端在不在读不读得到显示器参数这部分由HPD和DDC完成。时序解析PHY芯片会把TMDS差分信号变成并行数据但DE、HSYNC、VSYNC、像素时钟之间的关系需要你真正看明白否则后续所有图像算法都是在空中盖楼。通路完整性从接收模块到发送模块每一个像素都要在正确的时钟沿被采样、搬运、输出错一个时钟都不行。这三个基本功听起来抽象但在后面的图像缩小、边缘检测、多图层叠加等等项目里天天都要用到。我见过不少同学一上来就写缩放算法写了两周连视频画面都没能在板上点亮就是因为跳过了环路输出这一步直接在一个没验证过的基础平台上盖房子。先花几天把环路输出跑稳后续算法开发会顺手非常多。1.3 本实验的整体链路和开发环境用文字描述一下信号流HDMI源笔记本/机顶盒 → HDMI连接器 → 输入PHY芯片 → 并行视频数据同步信号 → FPGA接收解析模块 → 透传或处理模块 → FPGA发送驱动模块 → 输出PHY芯片 → 显示器FPGA内部跟视频相关的核心信号大概这些vid_pixel_clk像素时钟也就是每个像素的节奏。vid_data[23:0]RGB888或者别的位宽看PHY输出支持。vid_active_videoDE高电平期间数据有效。vid_hsync、vid_vsync行场同步信号。实验环境我用的是Vivado 2018.3以上版本板子上的PHY芯片通过I2C接口被FPGA初始化。后续的调试信息用ILA抓颜色和模式切换用板载按键状态显示用LED。这套环境很常见换别的厂商FPGA也能对得上思路。2. 输入侧的第一个拦路虎EDID、HPD与接口供电2.1 HDMI连接器上除了差分线还有一根“命根子”HDMI接口引脚看起来很多但核心功能归拢一下无非这几类3对TMDS数据差分线、1对TMDS时钟差分线、DDC的I2C总线、HPD检测线、5V电源、CEC控制线。如下表信号方向作用TMDS Data0/-, Data1/-, Data2/-源→接收传输视频像素、行场同步、辅助数据TMDS Clock/-源→接收像素时钟的10倍频率恢复像素时钟的参考DDC SCL/SDA源↔接收I2C通道用于读取EDIDHPD接收→源热插拔检测高电平表示接收端就绪5V源→接收源端提供的5V电源用于握手电平CEC双向消费电子控制本实验不关心很多新人把精力全放在TMDS差分对上结果插上去显示器没反应根因反而在HPD和DDC上。HDMI源端默认不输出视频信号只有当它检测到接收端拉高了HPD并且通过DDC成功读取到有效EDID才会开始发射TMDS数据流。这就像源端在问“你那边有显示器吗支持什么参数”你回答不上来它就保持沉默。2.2 EDID源设备凭什么决定输出多少像素EDID是一段128字节起步的数据存放在接收端侧。里面描述了显示器的厂商、最大分辨率、支持的时序表、物理尺寸、色彩特性等信息。源设备通过DDC通道读取这些信息然后从支持的列表中挑一个输出模式。在环路输出实验里FPGA板上的输入口要能“伪装”成一台显示器。如果板卡上有EEPROM比如24C02最简单的方式是把一份已经做好的EDID烧进去如果接收PHY芯片内部自带EDID RAM就可以由FPGA通过I2C写入PHY的寄存器再让PHY回应源端的DDC读取。我调试时踩过的坑是手头板子的EEPROM里虽然有EDID但里面写的分辨率集合不包含我笔记本默认输出结果笔记本识别到的是“未知显示器”始终没有输出。后来我换了一台可以手工指定分辨率的设备或者直接在Vivado里写一个I2C初始化序列把PHY内置EDID覆盖成包含1080p60、720p60、1024x768等常见时序的版本问题才解决。所以调试时第一步不是看画面而是确认EDID是否有效。快捷的办法是在PC端打开显示器属性看能不能识别出型号如果显示“通用非即插即用监视器”说明EDID已经被读到只是参数比较单薄。2.3 HPD热插拔检测拉高时机比你想的敏感HPD引脚由接收端输出高电平表示“我这边已经准备好接收视频了”。源端检测到HPD从低变高才会启动DDC读取EDID然后开视频信号。理论上只要FPGA配置完拉高HPD就行。实际上这里有个时间窗问题。我碰到过一个现象上电瞬间就把HPD强制拉高笔记本有时能识别有时识别不到后来在PHY复位完成、I2C初始化EDID也准备好之后再延时大概200ms拉高HPD识别率就稳定了。原因是源端上电启动也需要时间如果HPD拉得太早源端还没完成自己的初始化等它准备好再去看HPD时可能只看到一个持续高电平少了“低到高”的跳变有的驱动就会忽略。如果后续你还要做EDID在线更新比如切换不同分辨率时正确做法是先把HPD拉低保持一小段时间写完EDID再拉高让源端重新走一遍握手流程。直接热修改EDID而不复位HPD源端不一定会重新读取。2.4 供电与复位看不见的稳定性问题HDMI连接器的5V引脚是源端提供的接收端不能用它带大功率负载规范里源端至少要能输出50mA。对开发板来说这颗5V主要用于给HPD上拉和源端检测供电真正给PHY芯片供电的是板卡的3.3V和1.8V电源。如果板子电源裕量不足画面会随机闪断特别是当输入分辨率升高、TMDS频率提高时更明显。有人问HDMI供电电流需要多大我一般建议在选型时按不低于100mA设计余量留大一点免得HPD上拉、电平转换芯片和PHY的辅助电路相互争电。PHY芯片的复位脚同样关键。我之前有一次画面间歇性黑屏ILA抓到的现象是DE信号整体消失几百毫秒又恢复查来查去发现是复位信号由某个计数器生成周期太短导致PHY每隔一段时间被重新初始化。后来把复位改成上电后单次释放不再周期性触发问题立刻消失。复位逻辑看似简单但“别在正常工作期间乱复位”这条准则新手最容易忽略。3. 接收链路拆解从串行差分对到并行像素流3.1 TMDS 一次传输比你想的多得多TMDS的全称是Transition Minimized Differential Signaling意思是“跳变最小化差分信号”。它用两条物理线组成差分对传输一路数据优点是抗干扰强、EMI低适合高速传输。HDMI里有三对数据线和一对时钟线每一对数据线上跑的速率都是像素时钟的10倍。以1080p60为例像素时钟是148.5MHz每通道数据速率就是1.485Gbps。三个通道加起来一秒钟要传输4.455Gbit的数据。这个速率如果用FPGA普通IO直接采还要自己想办法恢复时钟和对齐数据难度不小。所以绝大多数商用设计都选择外部PHY芯片先把这些高速串行数据解成并行信号。TMDS在编码层面做了一件事把8bit数据变成10bit符号通过“跳变最小化”和“直流平衡”来降低信号完整性风险。这部分是物理层的事PHY芯片已经帮你完成了FPGA侧不需要关心10bit符号怎么解只需要关心解出来之后怎么用。3.2 让PHY扛下最难的部分在环路输出实验里我强烈建议新手使用带PHY芯片的HDMI方案而不是直接用FPGA的LVDS口接TMDS。原因很简单直接用LVDS接收你需要自己处理差分输入缓冲、CDR时钟恢复、通道绑定、字节对齐、bitslip这些随便一项就够折腾一星期。而一颗接收PHY芯片比如ADI的ADV7611内部集成了这些FPGA只需要通过I2C配置它然后就能拿到相对规整的并行数据总线。举例来说ADV7611工作在默认输入模式时会输出24bit RGB或YCbCr、DE、HSYNC、VSYNC和像素时钟。FPGA侧不需要关心TMDS 10bit符号和通道去偏斜直接把这些信号接到逻辑里就行。代价是PHY芯片挺贵、外围电路多实训板上已经有了这些资源用它就对了。当然不是说FPGA直接接收TMDS不可能。很多FPGA高手为了追求低成本和灵活度也会用IBUFDS ISERDES IDELAY Bitslip去做完整链路。但这属于进阶内容在这个基础实验里没必要硬啃。先把PHY方案跑通理解视频数据的本质后面再回去看裸接收会轻松很多。3.3 用一张时序表和ILA看清输入数据长什么样PHY输出像素时钟后FPGA要怎么确认这个输入是什么分辨率最直接的办法是用ILA同时抓vid_data、vid_de、vid_hsync、vid_vsync然后用计数器去算行总数和帧总数。常用的参考时序如下分辨率像素时钟行总数行可见行前肩行同步行后肩场总数场可见场前肩场同步场后肩1080p60148.5MHz220019208844148112510804536720p6074.25MHz33001280110402207507205520注意两个参数行总数行可见前肩同步后肩场总数同理。ILA里触发条件可以设为vid_de的上升沿然后看这个de周期里有多少个像素时钟周期再数从一次hsync到下一次hsync之间有多少个周期基本就能反推出来分辨率。还有一个容易忽略的细节HSYNC和VSYNC是有极性的。某些源输出是负极性同步如果你在调试代码里默认高有效抓出来的数据可能正好相反。写计数器时最好把极性和有效沿都做成参数方便适配不同源。3.4 像素时钟就是整个实验的“心跳”从PHY恢复出来的像素时钟是所有视频逻辑的基准。接收模块在这个时钟的上升沿采样数据发送模块也在这个时钟或同源时钟下把数据送出。只要像素时钟稳定整个通路就有统一的节奏一旦像素时钟存在抖动或毛刺画面就会开始出现各种“随机花屏”和“闪一下又恢复”。判断像素时钟是否稳定一个土办法是抓一段时间ILA看像素计数器有没有不连续跳变更准的办法是用Vivado的时钟约束和时序报告确认像素时钟的时序约束正确、不走太长绕线。很多萌新会把像素时钟当普通信号到处用导致系统时序违例这是后续莫名其妙花屏的大来源。这里给一个操作建议在FPGA里写一个像素计数器每个de周期清零同时把计数器最大值实时上报到VIO这样哪怕眼睛没看出问题也能知道输入行长度到底是不是22001080p60或3300720p60。如果行长度对不上多半是像素时钟出了问题而不是什么深奥逻辑bug。4. 环路输出的实现透传、彩条旁路和第一段图像处理4.1 最直接的透传为什么也能踩坑从FPGA视角看环路输出的最小实现就是接收PHY输出的vid_data、vid_de、vid_hsync、vid_vsync经过一层简单的寄存器打拍直接接到发送PHY的数据输入引脚上。听起来一行代码就能搞定但实际做起来没那么顺利因为发送PHY不等于“你给什么就发什么”。很多HDMI发送PHY芯片对输入时序有严格要求DE要和数据对齐、HSYNC和VSYNC脉宽不能小于某个值、数据必须和像素时钟满足建立保持时间。如果接收PHY输出的数据相位和发送PHY的输入时钟要求不完全一致你需要在FPGA内部用寄存器打拍调整相位而不是线连过去就算完。经验做法是在输入侧先把数据打一拍避免恰好落在时钟边沿上然后通过ILA观察发送PHY输入端的建立时间。如果发送PHY手册要求数据在时钟上升沿前一段时间稳定那就要用寄存器输出给时钟留出setup/hold裕量。4.2 先做一个彩条旁路把输出链路单独点亮不要急着把真实输入接上去。正确顺序是先让板子自己出画面。用一个简单的行场计数器生成彩条当行计数器落在某个区间时输出红色下一个区间输出绿色再下一个蓝色。再加上横竖方向定义不同颜色块就能做出标准的彩色测试图。然后设计一个二选一MUX按键选择输出“彩条”还是“外部输入”。彩条模式跑通说明发送PHY、引脚约束、显示器连接没问题外部输入模式再出问题就可以锁定是输入链路的问题。写彩条生成器时代码框架不复杂大体结构如下reg [11:0] h_cnt; reg [11:0] v_cnt; always (posedge pix_clk) begin if (!rst_n) begin h_cnt 0; v_cnt 0; end else if (h_cnt H_TOTAL - 1) begin h_cnt 0; if (v_cnt V_TOTAL - 1) v_cnt 0; else v_cnt v_cnt 1; end else begin h_cnt h_cnt 1; end end wire in_sync (h_cnt H_ACTIVE) || (v_cnt V_ACTIVE); always (posedge pix_clk) begin if (!rst_n) rgb 24h000000; else if (in_sync) rgb 24h000000; else if (h_cnt H_ACTIVE / 3) rgb 24hFF0000; // red else if (h_cnt H_ACTIVE * 2 / 3) rgb 24h00FF00; // green else rgb 24h0000FF; // blue end注意这段代码只是演示结构没有包含完整的行列同步信号生成逻辑真写到板子上需要把hsync、vsync也按参考时序同步拉出。我习惯把这个彩条模块放在独立文件里与接收解析模块完全隔离。这样既能单独测试发送链路又能在后面调试时当作稳定的数据源比接一台随时可能休眠的笔记本靠谱得多。4.3 在环路上插入灰度化证明这一步没白做环路输出并不要求一定“原样透传”。真正的价值是你有机会在数据流的中间插入一小段逻辑观察它对画面的影响。我建议第一个插入的逻辑选灰度化因为它足够简单效果肉眼可见。灰度化公式有很多种入门最常用的是RGB按亮度权重加权Y 0.299R 0.587G 0.114B在FPGA里直接用浮点不现实可以通过移位近似Y ≈ (R * 77 G * 150 B * 29) 8这个公式相当于把权重放大256倍取整系数总和正好接近256组合逻辑就能实现。完成后把输出端R、G、B都填成Y值显示器上的彩色画面立刻变成黑白。如果这一步你做出来说明你不仅打通了数据通路而且已经能在通路上插入自定义逻辑这比单纯跑个透传有意义得多。需要注意图像处理的组合逻辑一旦变复杂建议在模块前后各加一级寄存器流水。不然在148.5MHz的像素时钟下组合逻辑路径太长会拖累时序画面可能出现竖纹或者花点。4.4 时钟域设计为什么这个实验不太需要FIFO很多教程在讲视频处理时动不动就让你加FIFO、缓存一整帧搞得新人以为只要有视频数据就必须用缓存。但在环路输出这个实验里如果你的接收PHY像素时钟和发送PHY输入时钟是同一颗时钟那么数据通路天然就是同一个时钟域不需要FIFO也不需要跨时钟处理。我在板子上看到的是接收PHY把恢复时钟送到FPGAFPGA经过BUFG后同时驱动接收逻辑和发送逻辑。这样所有信号都在同一个像素时钟沿变化延迟固定数据顺序不会乱。只要满足发送PHY的输入建立时间透传就是稳定的。这跟图像采集项目完全不同后者的摄像头时钟和DDR时钟是独立时钟域才必须加异步FIFO。如果板子设计上把发送PHY的输入时钟强制要求为独立晶振那环路输出就需要加一个异步FIFO或者至少用同步FIFO做相位缓冲。但对入门实验我强烈建议先采用“同源时钟直通”的方式少一个变量排查问题容易很多。5. 从黑屏到正常画面一套可复用的调试排查链路5.1 先把故障分成两类别再无头苍蝇式改代码环路输出调试过程中我最常被问的问题就是“我的画面怎么不对”但“不对”包含完全不同的故障域。我习惯先把问题分成两类协议层故障显示器完全不亮、提示“无信号”或者是“分辨率不被支持”。像素层故障显示器已经检测到信号但画面黑屏、花屏、有横纹、颜色不对、闪屏。这两类问题的排查工具和思路完全不同。协议层故障要查HPD、EDID、DDC用万用表、I2C抓包、PC显示属性来判断像素层故障要查PHY配置、像素时钟、数据对齐、发送PHY输入时序用ILA、VIO、计数器来分析。前者多数是“源不吐数据”后者是“吐了但你没接好”。5.2 从显示器、源端到FPGA内部逐级定位我常用的排查链路如下先看显示器OSD菜单有没有检测到HDMI输入。如果一直显示“无信号”优先级最高的怀疑对象是HPD和EDID。测一下HPD引脚电平确认板卡是否拉高。拉高了但仍无信号再用I2C逻辑分析仪看源端有没有发起EDID读取。如果没读到多半是EDID存储或者I2C上拉问题。如果源端识别到了但画面黑屏用ILA抓接收PHY输出。重点看vid_data有没有翻转、vid_de有没有周期性高电平。de一直是0说明PHY虽然没报错但没进入正常视频模式检查PHY的I2C初始化寄存器。如果de有周期性变化但显示器还是黑屏把环路输出强制切成彩条模式只看发送链路。彩条正常说明发送PHY和输出接口没问题问题在接收侧到发送侧的翻译环节。如果彩条都不正常把焦点放到发送PHY的配置、引脚约束、像素时钟上而不是继续折腾输入。这套顺序的核心是“尽量隔离变量”。一开始就把所有链路全接在一起出了问题根本不知道从哪下手。5.3 用ILA复现“花屏”现场ILA在视频调试里就是个示波器替代品。我的配置习惯采样宽度至少30bit24bit数据加de、hsync、vsync再加一个像素计数采样深度用16K触发方式设为vid_de上升沿。有一个典型案例显示器上总在固定水平位置出现一条彩色噪点带持续几毫秒又消失。我先用眼睛看以为是输入源的问题后来换了源还是老样子。用ILA抓数据触发条件设在“像素计数值等于某个值”发现噪点出现时vid_data总线里有一个和当前画面完全无关的跳变。顺着这个总线往回追发现是FPGA里引脚约束没加导致某个数据位走了非专用路径时序偏了好几纳秒。幸好问题出现在较低分辨率下还能复现如果只在4K下出现可能更加隐蔽。另一个案例画面过一会儿就黑屏重启。ILA数据显示黑屏前de正常消失然后HPD被周期性拉低。查硬件发现复位芯片的上拉电阻虚焊偶尔会把PHY复位拉低于是PHY重新初始化HPD必然要经历一次握手。这说明复位信号任何时候都不能随意拉低除非是刻意做EDID刷新。5.4 常见问题对照表现象最常见的根因排查与解决思路显示器提示无信号HPD没拉高或EDID读取失败测HPD电平检查DDC上拉确认EDID是否有效有信号但一直黑屏接收PHY没配置成功de无翻转用ILA抓de核对I2C初始化寄存器有信号但画面花屏/有噪点像素时钟不稳定或数据总线时序违例加引脚约束检查时钟BUFG必要时加流水寄存器画面颜色错乱或偏色RGB位序映射不一致比对PHY输出和发送PHY输入的位定义交换测试画面每隔一段时间闪断复位信号异常或5V供电不足检查复位电路、测量HDMI 5V电压电流观察HPD是否被拉低图像有拖影或轻微撕裂环路直通时相位不对或用了不带流水的处理逻辑数据打一拍对齐检查发送PHY输入setup/hold这张表不是万能药但覆盖了基础实验里九成以上的现象。遇到没见过的故障我建议先从“协议层还是像素层”这个分类开始再对着表去验证。6. 实验结束后的三条进阶路线6.1 图像算法从灰度到边缘检测环路输出跑通之后你已经拥有了一条流水线式的视频通路。再往下的玩法就是把灰度化模块替换成更复杂的图像算法二值化、均值滤波、Sobel边缘检测、直方图均衡、色键抠图思路都是同一套——把输入像素流经过一个组合逻辑或流水逻辑输出到显示器。需要提前打好预防针一旦算法需要参考相邻行或相邻像素就要引入行缓存。Sobel边缘检测至少需要三行缓存做缩放或旋转则可能要缓存一整帧到DDR里。这些都是环路输出实验之后的新知识但正因为你的基础通路是通的才不会把“DDR控制器问题”和“视频时序问题”混在一起排查。6.2 多路切换视频矩阵与分配器如果觉得单进单出不够过瘾可以往多路方向扩展两个HDMI输入切换到一个显示输出或者一个输入源同时送给两个显示器。应用场景很实际比如监控中心、多屏展项、手术室影像分配。多路输入的复杂度不在FPGA内部而在外部信号路由每路输入都需要独立的EDID和HPD管理切换输入源时要先让源端断开再让新源握手否则可能出现画面锁死。这些东西做完你基本就理解了一台商用的视频矩阵是怎么工作的。再往后做采集卡还会遇到PCIe、USB传输视频流的问题那是另一个大坑但和这里的视频通路基础是叠加关系不是替代关系。6.3 工程化约束、复用和代码习惯最后说一点工程上的体会。视频项目最怕的不是算法难而是“代码写着写着就乱了”。我现在的习惯是接收解析模块、处理模块、发送驱动模块彻底分开每个模块只有一个明确的对外接口。像素时钟相关信号命名统一带vid_前缀方便约束和检查。分辨率参数做成常量或参数化模块别把行总数、可见区硬编码死。引脚约束里把差分对、IO标准、时钟约束一次性写好写完后用report_timing_summary检查有没有违规。新拿到一块板子先花半小时把彩条模式点亮再开始接真实输入源。我的经验是很多所谓疑难杂症出在“输出链路根本没有单独验证过”上。我现在的习惯还是这样每次拿一块新板子先花半小时把彩条点亮再开始动真输入源。环路输出这件事只要你把协议握手和像素时序吃透后面的视频处理之路会顺畅非常多。