新闻详情

新闻详情

首页 / 资讯中心 / 详情

用 Python 抓取百度热搜「Manus 引发科技圈震动」:TaoToken 统一 Key 配置与数据分析实战

发布时间:2026/11/18 9:19:37来源:尧图网络
用 Python 抓取百度热搜「Manus 引发科技圈震动」:TaoToken 统一 Key 配置与数据分析实战
1. 从百度热搜抓「Manus 引发科技圈震动」到底难在哪百度热搜榜是很多人做舆情分析、选题挖掘的第一站但真要把「Manus 引发科技圈震动」这类词条抓下来做趋势分析坑比想象中多。热搜榜本身是动态渲染的直接requests.get拿到的 HTML 里往往只有骨架词条数据藏在后续的接口请求里就算拿到了数据字段结构也经常变今天叫word明天可能叫query。更麻烦的是当你把抓取、清洗、关键词提取、情感分析、可视化串成一条流水线时中间任何一步要调用大模型做语义处理都得单独配一套 Key 和请求逻辑脚本里到处散落着api_key、base_url改一次配置要翻五个文件。这篇就围绕这个场景把两件事合到一起讲一是用 Python 把百度热搜里和 Manus 相关的词条抓下来做热度趋势和关键词分析二是用 TaoToken 的统一 Key 把整条链路里需要大模型介入的环节关键词归一化、情感判断、摘要生成收口到一份config.toml里。适合已经会一点 Python、想跑通「抓取到图表」完整流程的人也适合手上有一堆零散 API Key、想统一管理的开发者。我试过把抓取脚本和大模型调用混在一个文件里结果每次换模型都要改代码后来拆成配置驱动才清爽。下面按「先跑通抓取、再接统一 Key、最后出图」的顺序来。2. TaoToken 统一 Key 的前置准备TaoToken 在这里扮演的角色是「一个 Key 管多个模型」的入口。你不需要在脚本里为每个模型写不同的请求地址和鉴权头只要在配置文件里声明好代码里统一读配置就行。官网地址是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 入口是 https://taotoken.net/api 注意 API 地址不带 UTM 参数配置里填这个就行。先做三件事第一拿到 API Key。登录后进控制台在 API Keys 页面创建一个新 Key复制保存。这个页面地址是 https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite 创建时建议按用途命名比如baidu-hotsearch-analysis方便后面区分。第二确认你要用的模型。做热搜文本分析通常需要两类能力一类是轻量的关键词抽取和分类一类是情感倾向判断。你可以在模型对话页面先手动试几条 Manus 相关文本看看哪个模型返回的中文结果更稳。模型对话入口是 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。第三如果你打算把这条分析链路做成长期跑的定时任务或者后面接 Agent 自动出日报可以了解下 Coding Plan它更适合这种持续调用的场景https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite 。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 配置字段和请求格式以文档为准下面给的骨架是通用结构。3. 可复制的配置与抓取脚本3.1 config.toml 配置骨架把 Key 和模型信息从代码里抽出来放到项目根目录的config.toml[taotoken] api_key sk-你的Key base_url https://taotoken.net/api timeout 30 [taotoken.models] keyword 你选的关键词抽取模型 sentiment 你选的情感分析模型 summary 你选的摘要模型 [spider] hotsearch_url https://top.baidu.com/board?tabrealtime keyword_filter Manus request_interval 2.0 max_retries 3 [output] data_dir ./data chart_dir ./charts读取配置用标准库tomllibPython 3.11或tomliimport tomllib with open(config.toml, rb) as f: cfg tomllib.load(f) API_KEY cfg[taotoken][api_key] BASE_URL cfg[taotoken][base_url]3.2 抓取百度热搜词条百度热搜榜的实时数据通过接口返回直接请求榜单页 HTML 拿不到结构化内容。下面这个脚本用requests请求榜单接口过滤出含「Manus」的词条并保存原始 JSONimport requests import json import time import tomllib from pathlib import Path with open(config.toml, rb) as f: cfg tomllib.load(f) HEADERS { User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 ), Referer: https://top.baidu.com/, } def fetch_hotsearch(): url cfg[spider][hotsearch_url] for attempt in range(cfg[spider][max_retries]): try: resp requests.get(url, headersHEADERS, timeout15) resp.raise_for_status() return resp.text except requests.RequestException as e: print(f第 {attempt1} 次请求失败: {e}) time.sleep(cfg[spider][request_interval]) return None def extract_manus_items(html): # 榜单页内嵌了 JSON 数据用正则或字符串定位提取 import re pattern re.compile(r\{[^{}]*word[^{}]*\}) items [] for m in pattern.finditer(html): try: obj json.loads(m.group()) if cfg[spider][keyword_filter].lower() in obj.get(word, ).lower(): items.append(obj) except json.JSONDecodeError: continue return items if __name__ __main__: html fetch_hotsearch() if html: items extract_manus_items(html) out Path(cfg[output][data_dir]) out.mkdir(exist_okTrue) with open(out / manus_hotsearch.json, w, encodingutf-8) as f: json.dump(items, f, ensure_asciiFalse, indent2) print(f抓到 {len(items)} 条相关词条)这里的关键点是榜单页的数据结构会变正则只是示例实际以你抓到的 HTML 为准。如果正则匹配不到先把resp.text存下来搜索word看真实字段名。请求间隔设成 2 秒别把频率拉太高。3.3 用统一 Key 做关键词归一化抓下来的词条里「Manus」「Manus AI」「Manus 智能体」可能指同一件事需要归一化。这一步调 TaoTokenimport requests def call_taotoken(model, prompt): url f{BASE_URL}/v1/chat/completions headers { Authorization: fBearer {API_KEY}, Content-Type: application/json, } payload { model: model, messages: [{role: user, content: prompt}], temperature: 0.2, } resp requests.post(url, headersheaders, jsonpayload, timeout30) resp.raise_for_status() return resp.json()[choices][0][message][content] def normalize_keywords(words): prompt ( 把下面这些热搜词条按语义归并成标准关键词 输出 JSON 数组每项包含 original 和 normalized 两个字段\n \n.join(words) ) return call_taotoken(cfg[taotoken][models][keyword], prompt)base_url和api_key都从配置读换模型只改config.toml代码不动。4. 验证请求与成功结果4.1 先验证 Key 通不通在正式跑分析前用一条最小请求确认配置正确def health_check(): result call_taotoken( cfg[taotoken][models][summary], 用一句话说明什么是 AI Agent。 ) print(连通性正常返回, result[:80]) health_check()如果返回了中文句子说明 Key、base_url、模型名三者都对。如果报 401检查 Key 是否复制完整报 404检查 base_url 是否多了斜杠或路径写错。4.2 跑通完整分析链路把抓取、归一化、词频统计串起来import pandas as pd from collections import Counter import jieba def analyze(): with open(./data/manus_hotsearch.json, encodingutf-8) as f: items json.load(f) words [it.get(word, ) for it in items] normalized normalize_keywords(words) print(归一化结果, normalized) # 词频统计 all_text .join(words) tokens [w for w in jieba.lcut(all_text) if len(w) 1] counter Counter(tokens) top20 counter.most_common(20) df pd.DataFrame(top20, columns[word, freq]) df.to_csv(./data/top20_words.csv, indexFalse, encodingutf-8-sig) print(df) analyze()成功时你会看到控制台打印出归一化后的 JSON以及一张前 20 高频词表./data/top20_words.csv里是同样的内容。4.3 出图验证import matplotlib.pyplot as plt import seaborn as sns plt.rcParams[font.sans-serif] [SimHei] plt.rcParams[axes.unicode_minus] False df pd.read_csv(./data/top20_words.csv) plt.figure(figsize(10, 6)) sns.barplot(xfreq, yword, datadf) plt.title(Manus 相关热搜高频词 Top20) plt.tight_layout() plt.savefig(./charts/top20_words.png, dpi150) print(图表已保存到 ./charts/top20_words.png)打开图片如果能看到「Manus」「智能体」「AI」这类词排在前面说明从抓取到出图的链路已经通了。5. 本篇常见错排查抓取返回空列表最常见的原因是榜单页结构变了正则没匹配到。解决办法是把resp.text写到文件里手动搜word或query确认真实字段名后改正则。另一个原因是请求头里缺Referer补上https://top.baidu.com/再试。调用返回 401Key 没读到或复制时带了空格。在代码里print(API_KEY[:8])确认前几位和后台对比。注意config.toml里字符串要加引号。返回 404base_url写成了https://taotoken.net/api/带尾斜杠或者路径拼成了/chat/completions少了/v1。以接入文档为准文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。中文乱码或词云方框matplotlib 没设中文字体。加上plt.rcParams[font.sans-serif] [SimHei]Linux 上如果没有 SimHei换成系统里有的中文字体名。jieba 分词把「Manus」拆碎把「Manus」「AI Agent」加进自定义词典jieba.add_word(Manus)再重新分词。请求超时把timeout从 30 调到 60或者检查网络是否能正常访问https://taotoken.net/api。如果只是偶发加重试逻辑。6. 把 Key 管好分析链路才跑得久这条链路里抓取部分是一次性投入真正会反复改的是大模型调用那几段。把 Key 和模型名收进config.toml之后你换模型、加新分析维度、接定时任务都只动配置不动代码。如果你后面想把这条链路做成每天自动跑的舆情日报或者接进 Agent 里做持续监控Coding Plan 会比按次调用更省心https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite 。新 Key 建议在 https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite 单独建一个别和别的项目混用方便出问题时快速定位。配置字段有疑问就翻文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。先把health_check()跑通再往下做分析能省掉一大半排查时间。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/17 5:42:44

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/17 6:55:04

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉