1. 一份AI日报的诞生从信息洪流到结构化输出每天早上七点我的信息采集脚本准时跑完最后一轮抓取。屏幕上滚动的原始数据大概有三百多条来自论文预印本平台、头部实验室的官方博客、开源社区的提交记录、行业媒体的快讯还有几个我长期跟踪的技术社区热帖。这些信息如果直接堆给人看大概需要四十分钟才能扫完而且大概率会漏掉真正重要的那几条。AI日报要解决的核心问题就一个把这一天里AI领域发生的事压缩成一份十分钟能读完、且不会错过关键信号的结构化摘要。这件事听起来简单做起来全是细节。我做了快两年的AI日报从最开始手动复制粘贴到后来半自动化流水线再到现在基本全流程脚本化中间踩过的坑足够写一本小册子。今天这篇东西就是把这套流程完整拆开从信息源筛选、去重策略、摘要生成、人工校验到最终排版发布每一步为什么这么做、怎么做、做的时候要注意什么全部摊开来讲。不管你是想自己做一个垂直领域的日报还是单纯好奇每天那些AI快讯是怎么被整理出来的这篇内容应该都能给你一些可以直接抄作业的东西。先说一下这份日报的基本形态。它通常包含五到八个板块头条要闻、模型与产品更新、开源项目动态、论文速览、行业投融资、政策与伦理讨论、以及一个“值得关注但还没大火”的观察区。每个板块下面三到五条每条控制在八十到一百二十字附上原文链接。整份日报的阅读时间控制在八到十二分钟信息密度要高但不能让人读得喘不过气。这个形态不是拍脑袋定的是经过反复调整后找到的一个平衡点——再短就漏信息再长读者就跑了。2. 信息源管理日报质量的上限由源头决定2.1 信息源的分层与权重设计做日报最怕的是什么是漏掉真正重要的东西同时被大量噪音淹没。我一开始犯的错误就是贪多恨不得把能抓的源全抓进来结果每天处理量巨大但真正有价值的信息反而被稀释了。后来我学乖了把信息源分成三个层级每个层级给不同的权重和处理优先级。第一层是核心源大概十五到二十个包括几个头部实验室的官方发布渠道、主要预印本平台的新论文列表、以及三四个我信任的行业分析账号。这些源的特点是信噪比高发出来的东西大概率值得看。第一层源的内容我会全部过一遍不设关键词过滤因为它们的发布频率本身就不高一天加起来也就三四十条。第二层是扩展源大概五六十个覆盖开源社区、中型实验室、行业媒体、以及一些垂直领域的博客。这些源的内容需要经过关键词过滤和热度筛选只有满足特定条件的才会进入候选池。比如一个开源项目如果当天新增star超过两百或者有核心贡献者提交了重要更新才会被捞出来。第三层是观察源数量不固定主要是一些新兴渠道和长尾内容。这些源的内容不直接进入日报但会进入一个“观察池”如果某个话题在观察池里连续出现三天以上就会被提升为候选进入人工评估环节。这个分层结构的好处是处理量可控同时不会因为过滤太严而漏掉黑马。我试过纯靠关键词过滤所有源结果就是那些没有明显关键词但实际很重要的内容全被漏掉了。分层之后第一层保底第二层扩展第三层兜底整个系统的召回率明显提升。2.2 抓取频率与去重策略抓取频率的设置也有讲究。第一层源我设的是每两小时一次因为它们的更新频率低但时效性强两小时一次既能保证及时性又不会给服务器太大压力。第二层源是每四小时一次第三层是每天一次。这个频率不是固定的遇到特殊时期会临时调整比如某个大模型发布的那几天相关源会提到每小时一次。去重是另一个大头。同一条新闻往往会被多个源转载如果不做去重日报里会出现大量重复内容。我的去重策略分两步第一步是URL去重这个简单维护一个已处理URL的集合就行。第二步是内容相似度去重用的是SimHash加汉明距离阈值设在3。也就是说两段文本的SimHash值汉明距离小于等于3就判定为重复只保留权重最高的那个源的内容。这里有个坑要提醒相似度阈值不能设得太低否则会把不同角度的报道误判为重复。比如同一件事A媒体侧重技术细节B媒体侧重商业影响这两篇虽然讲的是同一件事但信息互补都应该保留。我的做法是如果两篇内容相似度超过阈值但关键词重合度低于60%就判定为互补内容都保留但在日报里合并成一条标注“综合报道”。2.3 信息源的动态维护信息源不是一成不变的。我每个月会做一次源质量评估指标包括过去三十天的采用率、平均内容质量评分、以及是否出现过重大漏报。采用率低于5%的源会被降级或移除出现过漏报的源会被重点审查。同时每个月会尝试引入三到五个新源观察一个月后再决定是否保留。这个动态维护机制很重要。AI领域变化太快半年前很重要的源现在可能已经停更或者质量下降。如果不做定期清理信息源列表会越来越臃肿处理效率越来越低。我现在的核心源列表和一年前相比已经换了将近一半。3. 从原始信息到日报条目摘要生成与人工校验3.1 自动摘要的提示词设计原始信息抓取回来之后第一步是生成摘要。我用的是一个基于大语言模型的摘要流程提示词经过反复调整现在稳定下来的版本大概是这样的你是一名AI领域的资深编辑正在为一份专业日报撰写条目。请根据以下原始内容生成一条80-120字的中文摘要。要求 1. 第一句点明核心事实包含主体和动作 2. 第二句补充关键细节如参数、数据、时间节点 3. 第三句说明影响或意义但不要过度解读 4. 不要出现“据悉”“据了解”等新闻套话 5. 保留原文中的专有名词和数字不要改写 6. 如果原文信息不足以支撑三句话就只写前两句。这个提示词的关键在于第三句的约束。“说明影响或意义”很容易让模型开始自由发挥所以我加了“不要过度解读”的限制并且在后续的人工校验环节重点检查这一句。实测下来不加这个约束的话大概有30%的摘要会出现过度解读比如把一篇纯技术论文说成“将颠覆行业格局”。另一个细节是专有名词和数字的保留。AI领域的摘要最怕把模型名称、参数规模、数据集名称写错所以我在提示词里明确要求保留原文中的这些内容不做改写。即便如此还是会有出错的时候所以人工校验环节必须逐条核对。3.2 人工校验的检查清单自动摘要生成之后我会过一遍人工校验。这个过程大概需要二十到三十分钟取决于当天的信息量。校验的时候我按一个固定的检查清单来走事实核对摘要中的每个事实性陈述是否都能在原文中找到对应特别是数字、日期、人名、机构名。链接有效性原文链接是否能正常打开有没有付费墙如果有付费墙是否有替代链接分类准确性这条内容被分到“模型更新”板块但它是不是更应该放在“开源项目”里重复检查这条内容和今天已经发布的另一条是不是在讲同一件事敏感内容筛查有没有涉及不适合公开讨论的内容这个主要靠人工判断脚本只能做初步过滤。语言流畅度摘要读起来是否通顺有没有明显的机器翻译痕迹这个清单看起来繁琐但熟练之后每条只需要十几秒。我试过跳过其中某一项结果就是读者在评论区指出错误那种尴尬经历一次就够了。3.3 头条的选取逻辑头条的选取是每天最纠结的环节。我的原则是不看热度看增量。也就是说一条新闻如果只是被大量转发但本身没有提供新的信息增量就不适合做头条。头条应该是对读者认知有更新作用的内容。具体来说我会从当天的候选条目中按以下几个维度打分维度权重说明信息增量35%是否提供了此前未知的事实、数据或观点影响范围25%影响的是整个行业、某个细分领域还是单个产品时效性20%是否是当天发生或当天才被广泛关注可信度15%来源是否可靠是否有多个独立信源交叉验证读者相关性5%目标读者群体的关注程度总分最高的那条做头条第二到第四条按顺序排列。这个打分表不是死的遇到重大事件会临时调整权重。比如某个头部模型发布新版本影响范围和信息增量都会拉满自然就是头条。4. 日报的排版与发布细节决定阅读体验4.1 板块顺序的固定与灵活日报的板块顺序基本固定但会根据当天内容做微调。默认顺序是头条要闻、模型与产品更新、开源项目动态、论文速览、行业投融资、政策与伦理、观察区。这个顺序的逻辑是先看大事再看具体产品和技术然后是学术和资本最后是政策和长尾观察。如果某天某个板块的内容特别多我会把它提前。比如某天开源社区集中发布了几个重要项目那“开源项目动态”就会提到第二位。反过来如果某个板块当天没有值得收录的内容就直接跳过不强行凑数。读者能看出来哪些板块是硬凑的一旦被发现信任度就下降了。4.2 条目的格式规范每条日报条目的格式是固定的加粗标题 摘要正文 来源链接。标题控制在十五字以内摘要八十到一百二十字链接放在摘要末尾用“原文”两个字作为锚文本。这个格式看起来简单但有几个细节要注意。第一标题不要用问句也不要用感叹号保持陈述语气。第二摘要中如果提到具体产品名或模型名第一次出现时用全称后面可以用缩写。第三链接一定要用原文链接不要用转载链接因为转载链接可能失效或者被篡改。还有一个容易被忽略的点条目之间的间距。我试过不同的间距设置最后发现每条之间空一行、板块之间空两行的排版阅读体验最好。太密了看着累太疏了显得内容少。4.3 发布渠道与时间发布渠道主要是两个一个是邮件列表一个是网页版。邮件列表适合那些习惯每天早上收邮件的人网页版适合随时查阅。两个渠道的内容完全一致只是排版略有不同。发布时间固定在每天早上八点。这个时间点是经过测试的太早读者还没上班太晚读者已经开始忙了。八点正好是大多数人刚到工位、还没进入深度工作状态的时段打开日报扫一眼的概率最高。周末的日报会做精简版只保留头条和最重要的三到五条因为周末的信息量本身也少强行做完整版会显得很水。这个策略是从读者反馈里学来的一开始我周末也做完整版结果打开率明显下降后来改成精简版打开率反而回升了。5. 常见问题与排查技巧实录5.1 抓取失败与内容缺失抓取失败是家常便饭。常见的原因有几种源站改版导致选择器失效、反爬机制升级、网络波动、以及源站本身宕机。我的处理流程是脚本每次运行后检查抓取数量如果某个源的抓取数量比过去七天的平均值低50%以上就触发告警人工去检查。排查的时候先看是单个源的问题还是所有源的问题。如果所有源都抓不到大概率是网络或者脚本本身的问题。如果只是单个源就去看看源站是不是改版了。改版的话更新选择器就行这个没什么捷径只能手动调。有一个坑要特别注意有些源站会在特定时间段返回空内容比如凌晨维护。如果你的抓取时间正好撞上维护窗口就会误判为抓取失败。我的做法是对每个源记录它的维护时间规律避开这些时段。5.2 摘要生成的质量波动大语言模型生成摘要的质量不是稳定的同样的提示词不同时间跑出来的结果可能差别很大。我遇到过几种典型的质量问题信息遗漏原文有三个要点摘要只写了一个。这种情况通常是原文太长模型只关注了开头部分。解决办法是在提示词里要求“覆盖原文所有要点”或者在预处理阶段把长文切成段落分别摘要再合并。事实错误模型把数字写错了或者把两个不同的实体搞混了。这个只能靠人工校验没有太好的自动办法。语言风格不一致有的摘要很正式有的很口语。这个可以通过在提示词里加风格示例来缓解但没法完全消除。我的应对策略是对摘要生成结果做一个自动检查如果摘要字数低于六十或高于一百五就标记为需要人工重点检查。字数异常往往意味着内容有问题。5.3 读者反馈的处理读者反馈是改进日报的重要依据。我主要关注三类反馈事实错误、遗漏重要内容、以及排版建议。事实错误会立即更正并在下一期致歉遗漏重要内容会记录到观察池排版建议会评估后决定是否采纳。有一个反馈我印象很深有读者指出我连续三天把某个开源项目的许可证类型写错了。这个错误很小但连续三天没发现说明我的校验流程有漏洞。后来我在检查清单里加了一条许可证、版本号、参数规模这类容易出错的细节必须逐条核对原文。5.4 常见问题速查表问题现象可能原因排查方法解决措施某源抓取量为零源站改版或宕机手动访问源站确认更新选择器或暂时移除该源摘要出现事实错误模型幻觉或原文歧义对照原文逐句核对修正摘要记录错误类型日报打开率下降内容质量下降或发布时间不当分析打开率与内容类型的关系调整内容结构或发布时间条目重复去重阈值设置不当检查SimHash阈值和关键词重合度调整阈值或增加人工去重环节链接失效原文被删除或迁移定期检查链接有效性替换为存档链接或移除该条6. 工具链与自动化哪些环节值得投入6.1 脚本语言与框架选择整套流程的脚本我用Python写的主要考虑是生态成熟处理文本和网络请求的库都很全。抓取用requests加BeautifulSoup去重用simhash库摘要生成调用大模型API排版用Jinja2模板引擎。没有用太重的框架因为整个流程的逻辑并不复杂用轻量级的工具组合反而更灵活。如果你要自己搭一套我建议从最简单的开始先用requests加BeautifulSoup把抓取跑通再加去重再加摘要最后加排版。不要一上来就搞分布式或者微服务那个复杂度完全没必要。我见过有人为了做一个日报搭了一套Kubernetes集群结果维护成本比写日报本身还高。6.2 大模型API的选型与成本控制摘要生成用的是大模型API选型的时候主要考虑三个因素中文能力、成本、以及稳定性。中文能力不用多说日报是中文的模型的中文理解和生成能力必须过关。成本方面每天大概需要处理三百到五百条原始信息每条平均五百字算下来每天的token消耗在可接受范围内。稳定性方面我选的是有多个可用区的服务商避免单点故障。成本控制有几个技巧第一预处理阶段尽量过滤掉明显不需要摘要的内容减少API调用量。第二摘要生成用较小的模型人工校验和头条选取用较大的模型按需分配。第三设置每日预算上限超过上限就降级到备用方案。6.3 自动化与人工的边界哪些环节可以自动化哪些必须人工这个边界我摸索了很久。现在的分工是抓取、去重、初步分类、摘要生成、排版全部自动化。人工负责摘要校验、头条选取、敏感内容筛查、以及最终的发布确认。这个分工的核心逻辑是自动化处理信息人工处理判断。信息处理是重复劳动适合自动化判断需要上下文理解和价值权衡适合人工。我试过让模型直接选头条结果选出来的头条经常是那些标题党或者热度高但信息增量低的内容。后来改成模型打分、人工定夺质量就稳定了。7. 日报的长期运营一些个人体会做日报这件事最难的不是技术是坚持。每天都要处理信息、校验摘要、排版发布遇到节假日也不能断。我有一段时间因为出差连续三天没更新结果回来之后发现订阅数掉了不少。读者的习惯一旦被打断重新建立就很难。另一个体会是日报的价值不在于信息本身而在于筛选和判断。信息是公开的谁都能看到但把信息筛选出来、判断哪些重要、用简洁的语言说清楚这个是有门槛的。我每天花在筛选和判断上的时间比花在技术处理上的时间多得多。还有一点日报的定位要清晰。我做的是AI领域的综合日报覆盖技术、产品、资本、政策多个维度。如果你要做垂直领域的日报比如只关注开源项目那信息源和筛选标准都要相应调整。定位越清晰读者的预期越明确满意度越高。最后分享一个我一直在用的小技巧每天发布之前我会把整份日报从头到尾读一遍假装自己是一个普通读者。如果读的过程中有任何一处让我停顿、困惑或者觉得无聊就说明那里需要修改。这个“假装读者”的环节帮我发现了不少问题也让我对日报的质量有了更直观的把控。