新闻详情

新闻详情

首页 / 资讯中心 / 详情

谷歌 AI 概览采集教程:Python 抓取 AI Overview 与引用来源(附代码)

发布时间:2026/9/26 3:25:57来源:尧图网络
谷歌 AI 概览采集教程:Python 抓取 AI Overview 与引用来源(附代码)
搜索「怎么挑跑鞋」结果页最上面先给你一段 AI 生成的总结下面挂着几个小链接——这就是AI 概览AI Overview。对做 SEO、内容、品牌的人来说它是新的曝光入口你的内容被 AI 概览引用比自然排名第 5 更值钱。这篇教程带你用 Python 把 AI 概览采下来有没有、引用了谁、变化趋势全都能监控。AI 概览的数据在哪搜索接口的响应里AI 概览是顶层的一个可选模块有就返回ai_overview没有就整个字段都不在。先记住这一条不是每个关键词都有 AI 概览代码里必须判空别硬取。第一步探测某个词有没有 AI 概览importos,requestsdeffetch_serp(keyword,hlzh-cn,glcn):resprequests.post(https://api.serpbase.dev/google/search,headers{Content-Type:application/json,X-API-Key:os.environ[SERPBASE_API_KEY]},json{q:keyword,hl:hl,gl:gl},timeout30,)resp.raise_for_status()returnresp.json()datafetch_serp(怎么挑选跑鞋)aidata.get(ai_overview)ifnotai:print(该关键词没有 AI 概览)else:print(有 AI 概览字段如下)importjsonprint(json.dumps(ai,ensure_asciiFalse,indent2)[:800])调试第一步永远是先把 JSON 打印出来看。AI 概览的结构会随谷歌调整照抄别人的解析代码容易过期看实际返回最稳。第二步解析引用来源AI 概览最核心的可分析部分是它引用的来源链接。结构拿到后写一个「层层.get()」的提取函数defextract_sources(ai:dict)-list[dict]:从 ai_overview 里提取引用来源标题 链接。字段缺失一律跳过。sources[]# 引用来源一般在一个数组里每项带 title/link实际字段名以你打印出的 JSON 为准foritemin(ai.get(sources)orai.get(links)or[]):linkitem.get(link)oritem.get(url)iflink:sources.append({title:item.get(title),link:link})returnsources sourcesextract_sources(aior{})forsinsources:print(-,s[title],|,s[link])两个要点用or兼容多种可能字段名谷歌调整时不用全改拿不到就跳过而不是报错——采集代码的第一素质是「不崩」。第三步批量采集统计出现率与引用域fromcollectionsimportCounterfromurllib.parseimporturlparse keywords[怎么挑选跑鞋,Python 虚拟环境,咖啡 手冲 水温]ai_count0domain_counterCounter()forkwinkeywords:datafetch_serp(kw)aidata.get(ai_overview)ifnotai:continueai_count1forsinextract_sources(ai):domain_counter[urlparse(s[link]).netloc]1print(f{len(keywords)}个词里{ai_count}个有 AI 概览)print(被引用最多的域名)fordomain,nindomain_counter.most_common(10):print(f{domain}:{n}次)跑完你会得到两个很有用的结论哪类词更容易触发 AI 概览、哪些站点总被引用顺便看看有没有你自己。第四步存入数据库监控变化AI 概览的出现和消失本身就是信号。按天存下来importsqlite3,datetime consqlite3.connect(serp.db)con.execute( CREATE TABLE IF NOT EXISTS ai_overview ( keyword TEXT NOT NULL, day TEXT NOT NULL, has_ai INTEGER NOT NULL, sources TEXT, PRIMARY KEY (keyword, day) ) )defsave(kw,ai,sources):daydatetime.date.today().isoformat()con.execute(INSERT OR REPLACE INTO ai_overview VALUES (?, ?, ?, ?),(kw,day,1ifaielse0,json.dumps(sources,ensure_asciiFalse)ifsourceselseNone),)con.commit()存成「有没有 来源 JSON」后就能查「哪些词的 AI 概览这周出现了」「我的域名上周被引了 5 次这周 0 次」这类问题。踩坑记录坑 1假设每个词都有 AI 概览。某些类目购物、YMYL出现率高很多长尾词根本没有。判空是常态逻辑不是容错。坑 2照抄固定解析路径。ai[sections][0][items]这种硬索引谷歌一调结构就全崩。全部走.get()or兜底解析失败先打印原文。坑 3把「引用来源为空」当没有 AI 概览。两回事有概览但没引用、没概览要分开统计混在一起趋势就失真。坑 4市场口径乱。同一个词中文和英文结果页的 AI 概览可能完全不同。监控固定hl/gl别今天中文明天英文。坑 5采集频率过高。AI 概览变化以天为尺度日频足够。频率翻倍只是把 credits 烧快一倍。小结AI 概览采集的完整路径探测有无 → 提取引用来源 → 批量统计 → 按天入库。它把你的视角从「我的网页排第几」升级到「AI 回答里引用了谁」——在 AI 搜索时代后者可能更接近真正的流量入口。模块字段ai_overview属于可选模块的说明见 SerpBase 官方文档。建议先拿 20 个自己的目标词跑一遍看看 AI 概览出现率——这个数字本身就会给你不少选题灵感。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

CTF实战:从RC4加密到Unicode陷阱的完整解密思路 2026/9/26 4:09:18

CTF实战:从RC4加密到Unicode陷阱的完整解密思路

拿到一道CTF题,最先要做的不是急着找flag,而是先看穿出题人埋的坑。BUUOJ上的EasyProgram就是这样一道题——名字叫“Easy”,实际上加密和编码两层陷阱叠在一起,卡住过不少人。这道题的核心是RC4加密,但好玩的地方在于…

阅读更多 →
Python AES文件加密实战:aes-file-encryption库详解与踩坑指南 2026/9/26 4:09:18

Python AES文件加密实战:aes-file-encryption库详解与踩坑指南

1. 为什么要用aes-file-encryption:文件加密的真实需求与选型复盘先说个实际场景。去年我接了个小项目,客户要求把所有导出的业务报表在落盘之前做加密处理,防止运维人员或者第三方外包团队直接从服务器上拷走明文数据。需求本身不复杂&#…

阅读更多 →
MCP协议实战详解:LLM应用工具接入标准化的关键路径 2026/9/26 4:09:12

MCP协议实战详解:LLM应用工具接入标准化的关键路径

去年我在做一个内部知识库问答机器人时,被各种“工具接入”折磨得够呛。当时接了企业微信、飞书文档、内部API和几个数据库,每个系统都要单独写一套函数调用逻辑,鉴权方式还不一样,有的用token,有的用签名,…

阅读更多 →
操作系统 第5章操作系统的历史以及常见的题目 2026/9/26 4:09:12

操作系统 第5章操作系统的历史以及常见的题目

补充 操作系统概论 1.程序向操作系统的迈进 linux> gcc -o hello hello.c //gcc -o选项用来指定输出文件,如果不使用 -o 选项,那么将采用默认的输出文件。例如默认情况下,生 成的可执行文件的名字默认为 a.out。 //对于上述语句 hello就是…

阅读更多 →
网络 - Ktor(Retrofit 迁移版) 2026/9/26 4:09:05

网络 - Ktor(Retrofit 迁移版)

一、概念 二、添加依赖 最新版本 [versions] ktor "3.6.0"[libraries] ktor-core { module "io.ktor:ktor-client-core", version.ref "ktor" } #核心库 ktor-okhttp { module "io.ktor:ktor-client-okhttp", version.ref …

阅读更多 →
某广告推广平台 API 签名算法逆向分析还原 2026/9/26 4:08:53

某广告推广平台 API 签名算法逆向分析还原

阅读须知 本文章中所有内容仅供学习交流使用,不用于其他任何目的,不提供完整代码,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关!擅自使用…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉