新闻详情

新闻详情

首页 / 资讯中心 / 详情

Fli 底层原理:如何从 AF_initDataCallback 数据块中解析 Google Flights 页面数据(完整指南)

发布时间:2026/11/21 12:25:15来源:尧图网络
Fli 底层原理:如何从 AF_initDataCallback 数据块中解析 Google Flights 页面数据(完整指南)
Fli 底层原理如何从 AF_initDataCallback 数据块中解析 Google Flights 页面数据完整指南【免费下载链接】fliGoogle Flights MCP, CLI and Python Library项目地址: https://gitcode.com/gh_mirrors/fli2/fliFli是一个开源的 Google Flights 搜索工具提供 Python 库、CLI 和 MCP Server 三种使用方式。它的核心能力是绕过 HTML 爬虫直接解析 Google Flights 页面内嵌的AF_initDataCallback数据块ds:1payload把航班价格、时刻、机型等原始数据还原成结构化对象。本文带你完整走一遍这条解析链路 为什么不再直接调用 Google 的 RPC 接口Google Flights 背后有一个未公开的FlightsFrontendService服务GetShoppingResults、GetCalendarGraph等 RPC 端点早期工具直接 POST 到它拿数据。但自 2026-08 起这些端点要求携带一个x-goog-batchexecute-bgr请求头它只能由页面自身的 JavaScript 动态生成且签名与请求体严格绑定——任何普通 HTTP 客户端都会被拒返回 HTTP 200 加一个空的wrb.fr错误行gRPC error 13。Fli 的应对方案改走公开搜索页google.com/travel/flights。该页面把同样的航班结果内联在页面的AF_initDataCallback脚本块中key 为ds:1其中data[2]和data[3]就是原来 RPC 返回的航班行——于是旧的解析器几乎不用改动。这个决策记录在 fli/search/_tfs.py 的模块注释里。第一步构造 tfs 参数——用 protobuf 描述搜索条件公开搜索页不再接收结构化的 JSON 请求而是通过一个名为tfs的 URL 参数传递搜索条件。tfs是一个base64url 编码的 protobuf 消息字段布局由逆向工程得出例如见 fli/search/_proto.py字段 19行程类型1往返2单程字段 3航段重复内含出发/到达机场、日期、中转上限字段 8乘客类型1成人2儿童3/4两种婴儿票字段 9舱位等级fli/search/_tfs.py 中的build_tfs函数把FlightSearchFilters对象编码成tfs值再拼进 URLhttps://www.google.com/travel/flights?tfsbase64hlenglUScurrUSD值得注意的是多城市行程在此被明确拒绝——页面不为它内联任何航班行硬发请求会静默返回错误结果Fli 宁可直接报错fli/search/_tfs.py#L119-L131。第二步从 HTML 中精准抽取 ds:1 数据块请求返回后是一整页约 2.4MB 的 HTML其中包含多个AF_initDataCallback块地图数据、币种数据等。Fli 需要挑出 key 为ds:1的那一块。核心是三个正则fli/search/_tfs.py#L67-L70_DS_BLOB re.compile(rAF_initDataCallback\((\{.*?\})\);, re.S) _DS_KEY re.compile(rkey:\s*([^])) _DS_DATA re.compile(rdata:(.*?), sideChannel, re.S)extract_payload函数fli/search/_tfs.py#L180-L205逐个匹配脚本块、筛出ds:1、把data字段的 JSON 反序列化返回一个嵌套数组——这正是 RPC 时代同样的结构。仓库里有一份真实的抓取样本可以直观看到这个数据块的形态search_page_jfk_lhr_nonstop_ds1.htmlJFK→LHR 直飞、美元计价的完整 ds:1 载荷。第三步解码——从嵌套数组到 FlightResult 模型ds:1的data[2]/data[3]中每一行都是一条位置式数组数字下标即字段没有字段名。解码器 fli/search/_decoders.py 按固定下标逐层取值例如parse_flight_rowfli/search/_decoders.py#L39-L79下标位置含义row[8]预订 tokendetail[9]总时长分钟detail[2]各航段数组fl[3]/fl[6]出发 / 到达机场fl[20]/fl[21]出发 / 到达时间戳fl[22][1]航班号fl[17]机型fl[12]机上设施稀疏数组电源/视频/Wi-Fi解码后得到结构化的FlightResult价格、货币、时长、经停次数、每段航班的航空公司/航班号/机型/设施/碳排放等全部是强类型对象。解码器刻意不含任何 I/O因此可以对着抓取的 fixture 做确定性单元测试tests/search/test_parse_flights_data.py。第四步容错——拒绝、缺块与重试真实网络环境里Fli 处理三类异常错误信封wrb.fr行第 5 位携带 gRPC 状态码如 3参数无效、13拒绝服务且不是合法正整数就不算拒绝0是 gRPC 的 OK——逻辑见 fli/search/_wire.py#L225-L248。页面缺块大约 1/60 的页面会 200 但唯独没有ds:1块瞬态现象。fetch_payload对此精确重试 3 次、带 0.5s/1.5s 退避fli/search/_tfs.py#L208-L243——只重试这一种情况避免放大硬失败。稀疏乘客组合带儿童/婴儿的行程中Google 会在客户端计价页面内联行数大幅减少甚至为 0。Fli 用_RowCountTracker区分Google 没内联和被用户过滤器滤空前者会给出明确提示而不是空手而归fli/search/flights.py#L82-L113。传输层同样讲究fli/search/client.py 用curl_cffi模拟 Chrome 指纹、全局令牌桶限速 10 请求/秒、指数退避重试 3 次并为 EU 用户的同意拦截页预置 SOCS cookie。解析结果能做什么解析链路之上Fli 暴露三种界面Python APISearchFlights().search(...)、CLIfli flights search和 MCP Server后者可让 Claude 等 AI 助手直接调用search_flights/search_dates工具查航班、找最便宜日期关键文件清单文件职责fli/search/_tfs.py构造tfs参数、抽取ds:1块、页面重试fli/search/_proto.py手写 protobuf 编码器varint / 长度前缀字段fli/search/_decoders.py位置式数组 → 强类型航班模型fli/search/_wire.pywrb.fr多块流式读取与错误信封fli/search/client.py限速、重试、浏览器指纹 HTTP 客户端fli/search/flights.py搜索编排取页 → 解码 → 客户端过滤 → 排序小结Fli 的 Google Flights 数据解析链路 protobuf 编码请求tfs→ 正则定位AF_initDataCallback的ds:1块 → 按下标逐层解码 → 容错重试与过滤。理解这条链路你也能看懂大多数页面内联数据类解析方案的设计取舍。【免费下载链接】fliGoogle Flights MCP, CLI and Python Library项目地址: https://gitcode.com/gh_mirrors/fli2/fli创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/20 0:44:51

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/19 15:17:14

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/20 20:45:42

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/20 16:11:20

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/20 18:41:01

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/20 0:44:55

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉