新闻详情

新闻详情

首页 / 资讯中心 / 详情

python爬虫(02)

发布时间:2026/11/16 9:05:10来源:尧图网络
python爬虫(02)
爬虫的基础在上期我们成功的安装了相关的python环境折起我们来讲解爬虫从讲解到反爬讲解cookieUA等好了废话不多说我们开始吧在上期我们成功运行一下测试代码你已经超越很多人了import requests r requests.get(https://example.com) # 请求代码网站可以自行更换 print(r.status_code) # 输出状态码 print(r.text) # 输出网页源码我上期讲过.status_code200的时候证明爬虫与服务器之间的通信是正常的但是当我们拿这个请求去请求像百度这样没有robot.txt管理很松的网站是可以的但是当我们请求一些常规的网站会直接返回403这是因为你又很多参数没加被服务器识别成了爬虫那么又没有方法可以完成这样拿到请求呢。爬虫的进阶请求头请求头(User-Agent)一般里面包含有Referercookie主要是这俩个还有其他我们在就见到会说聪明的你灵机一动把浏览器的f12(开发者模式)打开了在里面找到了user-agent把user-agent加里面了这时候请变了成了import requests headers{Usre-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64)} #这是请求头 r requests.get(https://example.com,headersheaders) # 请求代码网站可以自行更换 print(r.status_code) # 输出状态码 print(r.text) # 输出网页源码这时候聪明的你发现又可以请求了,兴致冲冲的你像一个里面有文章的页面发送请求但是又返回403(我滴乖乖,怎么回事)怎么访问不了了聪明的你又把我的博客往下扒了扒防盗链防盗链(Referer)顾名思义是常见的一种反爬手段一般常见是厂商为了防止Spider来的但是没啥大用但是很重要的一个设置那怎么获取呢在刚刚的f12下滑里找到Referer把它复制下来之后粘贴到headers里代码如下import requests headers{Usre-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64), Referer : 你的防盗链 }#这是请求头 r requests.get(https://example.com,headersheaders) # 请求代码网站可以自行更换 print(r.status_code) # 输出状态码 print(r.text) # 输出网页源码这时候你再次兴致冲冲的去请求网页但是现实在次给你当头一棒依旧403依旧拿不下来这时候聪明的你在次在网页的f12往下扒了扒发现有一个叫cookie(曲奇)的一个东西曲奇曲奇(cookie)是一种检测Spider的一种手段之一一般由后端生成比较复杂原理如下正常浏览器请求A → 服务器种 Cookie → 浏览器保存 → 请求B 带上 Cookie → 通过 ✅Spider不带 Cookie请求A → 服务器种 Cookie → 没保存/没带回 → 请求B 没 Cookie → 拦截 ❌当你的爬虫不能爬取的时候一般是这个原因导致的但聪明的你把cookie复制下来添加进headers里代码如下import requests # 2. 设置请求头 headers { User-Agent: ( Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 ), # 防盗链 Referer告诉服务器我是从你的页面跳过来的 Referer: https://www.example.com/, # Cookie携带登录状态或追踪标识 Cookie: session_idabc123; tokenxyz789; uid10001, } # 3. 发送请求 url https://www.example.com/page resp requests.get(url, headersheaders) # 4. 检查结果 print(f状态码: {resp.status_code})这样你就可以爬取到网页了
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/14 10:11:15

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/15 4:06:36

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉