如果你正在自学Python爬虫是不是经常遇到这样的困境网上教程要么是零散的片段要么是过时的代码要么一上来就讲复杂框架学了半天连个最简单的网页都抓不下来更让人头疼的是很多号称“完整”的教程要么藏着掖着关键细节要么直接导向付费课程让你在“从入门到放弃”的边缘反复横跳。这篇文章要解决的就是这个问题。我们不谈虚的直接给你一套从零开始、手把手、可复现、能跑通的Python爬虫自学路径。核心判断是在2026年学习爬虫的关键不再是记忆复杂的库和API而是建立一套“请求-解析-存储-反反爬”的系统性思维和问题解决能力。这套教程的目标是让你学完后不仅能写出爬虫更能理解数据抓取背后的逻辑具备独立分析和解决实际问题的能力这才是“学完即可就业”的真正底气。本文将围绕这个核心拆解为环境搭建、基础请求、数据解析、动态页面处理、数据存储、反爬策略、工程化实践和项目实战八个模块。每个模块都包含清晰的原理、可运行的代码、常见的坑以及对应的解决方案。我们直接从最核心的“如何发起一个HTTP请求”开始。1. 环境准备搭建一个稳定、可复现的Python爬虫开发环境很多新手卡在第一步环境装不对代码跑不起来。一个干净、独立的环境是后续所有学习的基础。1.1 Python解释器与包管理工具安装首先确保你安装了正确版本的Python。对于爬虫开发Python 3.7及以上版本是更好的选择因为它们对异步支持和第三方库的兼容性更好。步骤1下载与安装Python访问Python官网python.org下载对应你操作系统Windows/macOS/Linux的安装包。安装时务必勾选“Add Python to PATH”将Python添加到环境变量这是避免后续在命令行中找不到python和pip命令的关键。安装完成后打开命令行Windows的CMD或PowerShellmacOS/Linux的Terminal输入以下命令验证python --version # 或 python3 --version如果正确显示版本号如Python 3.9.13说明安装成功。步骤2认识pippip是Python的包管理工具用于安装第三方库。安装Python时通常已自带。验证pip --version # 或 pip3 --version1.2 创建虚拟环境强烈推荐为什么需要虚拟环境想象一下你同时做两个项目一个需要requests 2.25.1另一个需要requests 2.28.0。全局安装只能有一个版本会导致冲突。虚拟环境为每个项目创建独立的Python运行环境互不干扰。使用venv创建虚拟环境以项目名为crawler_env为例# 进入你的项目目录 cd /path/to/your/project # 创建虚拟环境 python -m venv crawler_env # 激活虚拟环境 # Windows (CMD/PowerShell) crawler_env\Scripts\activate # macOS/Linux source crawler_env/bin/activate激活后命令行提示符前会出现(crawler_env)表示你已进入该虚拟环境。在此环境下安装的所有包都只属于这个环境。1.3 安装核心爬虫库在激活的虚拟环境中安装最基础的几个库pip install requests beautifulsoup4 lxmlrequests: 用于发送HTTP请求是爬虫的“手”去获取网页内容。比Python内置的urllib更简洁易用。beautifulsoup4 (bs4): 用于解析HTML/XML文档是爬虫的“眼睛”从杂乱无章的HTML中提取结构化数据。lxml: 是一个解析器beautifulsoup4可以使用它来加速解析效率比Python自带的html.parser更高。验证安装pip list你应该能看到刚才安装的包及其版本。1.4 选择一款趁手的代码编辑器Notepad或系统自带的文本编辑器效率太低。推荐使用VSCode或PyCharm。VSCode: 轻量、免费、插件丰富。安装Python扩展后支持代码高亮、智能提示、调试等功能。PyCharm: 专业Python IDE功能强大社区版免费。对项目管理、虚拟环境支持非常好。选择哪一个如果你是纯粹的新手希望轻量起步VSCode是很好的选择。如果你打算长期进行Python开发PyCharm能提供更全面的支持。2. 爬虫核心第一步理解HTTP请求与Response在写代码之前必须理解浏览器是如何获取网页的。你在地址栏输入一个网址按下回车背后发生了一系列HTTP请求与响应。2.1 什么是HTTP请求简单说就是你的程序客户端向服务器索要资源如一个网页时发出的一条“消息”。这条消息主要包含请求方法 (Method): 最常见的是GET获取资源和POST提交数据。URL (统一资源定位符): 你要访问的地址。请求头 (Headers): 包含一些元信息例如你的浏览器类型(User-Agent)、接受的内容类型(Accept)、引用页(Referer)等。这是反爬虫机制重点检查的地方。请求体 (Body): 主要在POST请求中携带要提交的数据如表单内容。2.2 什么是HTTP响应服务器收到请求后返回的“回信”。主要包含状态码 (Status Code): 告诉你请求的结果。200表示成功404表示找不到页面403表示禁止访问500表示服务器内部错误。响应头 (Response Headers): 包含服务器信息、内容类型、Cookie设置等。响应体 (Response Body): 最重要的部分即网页的HTML源代码或者API返回的JSON/XML数据。2.3 使用Requests库发送你的第一个请求让我们用代码来模拟浏览器访问百度首页。import requests # 目标URL url https://www.baidu.com # 添加一个简单的请求头模拟浏览器访问 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } # 发送GET请求 response requests.get(url, headersheaders) # 打印状态码 print(状态码:, response.status_code) # 打印响应内容的前500个字符避免输出过长 print(响应内容前500字符:, response.text[:500]) # 打印响应头 print(响应头:, response.headers)代码解释与运行import requests: 导入库。requests.get(url, headersheaders): 向url发送一个GET请求并携带我们定义的headers。response.status_code: 获取HTTP状态码200即表示成功。response.text: 获取响应体的文本内容通常是HTML。response.headers: 获取响应头信息。运行这段代码你应该能看到状态码200并打印出一大段HTML代码。恭喜你已经用程序抓取了一个网页这就是爬虫最基础的一步。3. 从HTML混沌中提取目标数据BeautifulSoup解析实战拿到HTML只是拿到了“矿石”我们需要从中提炼出“金子”——我们关心的数据如文章标题、价格、链接等。这就需要解析。3.1 解析器选择与基础操作我们以一个简单的本地HTML文件为例讲解BeautifulSoup的基本用法。假设我们有一个sample.html文件!DOCTYPE html html head title测试页面/title /head body div idcontent h1 classtitle这是一个标题/h1 p classintro这是一个介绍段落。/p ul idlist li classitem项目一/li li classitem项目二/li li classitem special项目三特殊/li li classitem项目四/li /ul a hrefhttps://www.example.com这是一个链接/a /div /body /html解析代码如下from bs4 import BeautifulSoup # 假设html_text是上面那段HTML字符串这里我们直接使用 html_text !DOCTYPE html html ... (同上省略) ... /html # 创建BeautifulSoup对象指定使用lxml解析器 soup BeautifulSoup(html_text, lxml) # 1. 通过标签名查找 - 找到第一个h1标签 title_tag soup.h1 # 或 soup.find(h1) print(通过标签名查找(h1):, title_tag.text) # 输出这是一个标题 # 2. 通过属性查找 - 找到id为content的div content_div soup.find(div, idcontent) print(\n找到id为content的div:, content_div) # 3. 通过class查找 - 找到所有class为item的li标签 all_items soup.find_all(li, class_item) # 注意class是Python关键字所以用class_ print(\n所有class为item的li:) for item in all_items: print(item.text) # 4. CSS选择器 - 更强大灵活的选择方式 # 选择所有li标签 lis soup.select(li) print(\nCSS选择器选择所有li:) for li in lis: print(li.text) # 选择class为special的li special_li soup.select_one(li.special) # select_one返回第一个匹配项 print(\nCSS选择器选择li.special:, special_li.text) # 选择id为list下的所有li items_in_list soup.select(#list li) print(\nCSS选择器选择#list li:) for item in items_in_list: print(item.text) # 5. 获取属性 - 获取链接的href link soup.find(a) print(\n获取a标签的href属性:, link.get(href)) # 或 link[href]3.2 实战爬取一个静态新闻网站标题我们以某个模拟的新闻网站为例实际使用时请替换为合规的目标网站并遵守其robots.txt。import requests from bs4 import BeautifulSoup url http://quotes.toscrape.com/ # 一个用于练习爬虫的网站 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } try: response requests.get(url, headersheaders, timeout5) # 设置5秒超时 response.raise_for_status() # 如果状态码不是200抛出HTTPError异常 response.encoding response.apparent_encoding # 根据内容自动设置编码避免乱码 except requests.RequestException as e: print(f请求失败: {e}) exit() soup BeautifulSoup(response.text, lxml) # 假设新闻标题在 span classtext 标签内 (根据目标网站结构调整) quote_tags soup.find_all(span, class_text) print(f共找到 {len(quote_tags)} 条内容) for i, quote in enumerate(quote_tags, 1): print(f{i}. {quote.text})关键点异常处理网络请求可能失败用try...except包裹并设置超时(timeout)是良好习惯。编码处理response.encoding正确设置可以解决中文乱码问题。find_all与findfind_all返回所有匹配的列表find返回第一个匹配项。结构调整代码中的选择器‘span.text’是针对练习网站的。实际项目中你必须通过浏览器开发者工具F12查看目标网页的真实HTML结构并据此调整你的选择器。这是爬虫工程师的核心技能之一。4. 应对动态加载内容当简单的Requests失效时现代网站大量使用JavaScript动态加载数据你直接用requests.get拿到的HTML是空的或者不包含数据。这时需要新的工具。4.1 识别动态内容在浏览器中打开一个页面如某个瀑布流图片网站看到内容慢慢加载出来。但查看网页源代码CtrlU却找不到这些内容。这就是动态加载。4.2 方案一分析Ajax请求推荐效率高大多数动态内容是通过Ajax请求一种后台数据请求技术获取的JSON数据。我们可以直接模拟这些Ajax请求。打开浏览器开发者工具F12切换到Network网络标签。刷新页面或触发加载更多操作。在Network列表中寻找类型为XHR或Fetch的请求这些通常是Ajax请求。点击其中一个请求查看其Headers请求头和Payload/Request请求参数特别是URL、请求方法、请求头、查询参数或表单数据。在Preview预览或Response响应标签中查看返回的数据通常是结构清晰的JSON。然后用requests库模拟这个请求。例如某个网站通过GET请求https://api.example.com/items?page2来获取第二页数据。import requests import json url https://api.example.com/items params { page: 2, size: 20 } headers { User-Agent: 你的User-Agent, Referer: https://www.example.com/, # 有时需要 X-Requested-With: XMLHttpRequest # 有时需要表明是Ajax请求 } response requests.get(url, paramsparams, headersheaders) if response.status_code 200: data response.json() # 直接解析JSON # 处理data它可能是一个字典或列表 for item in data[items]: print(item[title], item[url])这种方式直接获取结构化数据效率极高是处理动态内容的首选。4.3 方案二使用Selenium模拟浏览器全能但笨重当数据加密复杂、请求难以模拟或者需要执行点击、滚动等交互操作时可以使用Selenium。它通过驱动真实浏览器如Chrome来获取渲染后的完整页面。from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time # 1. 配置浏览器驱动需提前下载对应浏览器的driver如chromedriver并放在PATH中 options webdriver.ChromeOptions() options.add_argument(--headless) # 无头模式不显示浏览器窗口 options.add_argument(--disable-gpu) options.add_argument(--no-sandbox) # 可添加User-Agent options.add_argument(user-agentMozilla/5.0 ...) # 2. 启动浏览器 driver webdriver.Chrome(optionsoptions) try: driver.get(https://www.example.com/dynamic-page) # 3. 等待某个元素加载出来避免页面未加载完就查找 # 显式等待最多等10秒 wait WebDriverWait(driver, 10) target_element wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, .dynamic-content)) ) # 4. 获取渲染后的页面源代码 page_source driver.page_source # 5. 可以用BeautifulSoup继续解析page_source from bs4 import BeautifulSoup soup BeautifulSoup(page_source, lxml) # ... 后续解析操作 # 或者直接用Selenium的方法查找元素 items driver.find_elements(By.CSS_SELECTOR, .item) for item in items: print(item.text) # 6. 模拟交互如点击“加载更多” # load_more_btn driver.find_element(By.ID, load-more) # load_more_btn.click() # time.sleep(2) # 等待加载 finally: # 7. 关闭浏览器 driver.quit()Selenium优缺点优点能处理几乎所有网页模拟真人操作。缺点速度慢占用资源多不适合大规模爬取。选择建议优先尝试分析Ajax接口如果不行或过于复杂再使用Selenium。5. 数据的归宿存储与持久化爬取到的数据不能只打印在屏幕上需要保存下来。根据数据量和用途有不同的存储方式。5.1 存储到文本文件CSV/JSON/TXTCSV (逗号分隔值)适合表格型数据易于用Excel打开。import csv data [ {title: 文章1, author: 张三, views: 100}, {title: 文章2, author: 李四, views: 200}, ] # 写入CSV with open(articles.csv, w, newline, encodingutf-8-sig) as f: # utf-8-sig解决Excel中文乱码 writer csv.DictWriter(f, fieldnames[title, author, views]) writer.writeheader() writer.writerows(data) print(数据已写入CSV文件。)JSON适合嵌套的、结构复杂的数据也是Web API常用的交换格式。import json data { site: example, articles: [ {title: 文章1, author: 张三}, {title: 文章2, author: 李四}, ] } # 写入JSONindent参数使格式美观 with open(data.json, w, encodingutf-8) as f: json.dump(data, f, ensure_asciiFalse, indent2) print(数据已写入JSON文件。)5.2 存储到数据库SQLite/MySQL对于数据量大、需要复杂查询的情况数据库是更好的选择。SQLite轻量级无需安装服务器单个文件即数据库适合小型项目和个人学习。import sqlite3 # 连接到数据库如果不存在则创建 conn sqlite3.connect(crawler_data.db) cursor conn.cursor() # 创建表 cursor.execute( CREATE TABLE IF NOT EXISTS articles ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT NOT NULL, author TEXT, publish_date DATE, content TEXT ) ) # 插入数据 article (Python爬虫指南, 王五, 2023-10-27, 这是一篇关于爬虫的文章...) cursor.execute(INSERT INTO articles (title, author, publish_date, content) VALUES (?, ?, ?, ?), article) # 提交事务 conn.commit() # 查询数据 cursor.execute(SELECT * FROM articles) rows cursor.fetchall() for row in rows: print(row) # 关闭连接 conn.close()MySQL/PostgreSQL适用于生产环境、多用户、高并发的场景。需要使用对应的Python驱动库如pymysql,psycopg2。连接和操作逻辑与SQLite类似但需要配置主机、端口、用户名、密码等信息。5.3 存储到MongoDB非关系型数据库如果数据格式不固定、变化频繁或者就是JSON文档MongoDB这种NoSQL数据库非常合适。from pymongo import MongoClient # 连接MongoDB默认连接本地27017端口 client MongoClient(mongodb://localhost:27017/) # 选择数据库和集合相当于表 db client[crawler_db] collection db[articles] # 插入一条数据文档 article_doc { title: MongoDB存储, author: 赵六, tags: [数据库, NoSQL], meta: {views: 150, likes: 10} } result collection.insert_one(article_doc) print(f插入成功文档ID: {result.inserted_id}) # 查询数据 for doc in collection.find({author: 赵六}): print(doc)6. 爬虫的生存法则应对反爬虫策略网站为了保护数据和服务器资源会设置反爬虫机制。硬闯只会导致IP被封。我们需要一些策略来“友好”地爬取。6.1 基础反爬与应对反爬手段原理应对策略User-Agent检测检查请求头中的User-Agent如果是爬虫库默认的如python-requests则拒绝。伪装成浏览器在请求头中添加常见的浏览器UA。IP频率限制同一IP在短时间内请求过多会被暂时或永久封禁。1. 降低请求频率在请求间添加随机延时(time.sleep(random.uniform(1,3)))。2. 使用代理IP池轮换使用不同的IP发送请求。验证码在检测到可疑行为时弹出要求人工识别。1. 避免触发控制请求频率模拟正常用户。2. 打码平台对接第三方打码API商业方案。3. 机器学习识别对简单验证码可使用OCR库如pytesseract但复杂验证码难度大。登录态数据需要登录后才能访问通过Cookie或Token认证。模拟登录先用requests或Selenium完成登录流程获取并保存Cookie/Session后续请求携带。数据动态加载数据通过JS渲染HTML源码中找不到。分析Ajax接口或使用Selenium。参数签名/加密请求参数或API接口被加密无法直接模拟。逆向分析JS难度大需要一定的JavaScript逆向工程能力。6.2 核心策略代码示例1. 使用随机User-Agent和请求延时import requests import time import random from fake_useragent import UserAgent # 需要安装pip install fake-useragent ua UserAgent() url https://httpbin.org/user-agent # 一个返回请求UA的测试网站 for i in range(5): headers { User-Agent: ua.random # 每次随机生成一个UA } resp requests.get(url, headersheaders) print(f请求{i1}, UA: {resp.json()[user-agent]}) time.sleep(random.uniform(0.5, 2.0)) # 随机等待0.5~2秒2. 使用代理IP示例需自行寻找可靠代理源import requests proxies { http: http://123.45.67.89:8080, # HTTP代理 https: http://123.45.67.89:8080, # HTTPS代理 (注意协议) } # 测试代理 test_url https://httpbin.org/ip try: # 不使用代理查看本机IP resp_normal requests.get(test_url, timeout5) print(f本机IP: {resp_normal.json()[origin]}) # 使用代理 resp_proxy requests.get(test_url, proxiesproxies, timeout5) print(f代理IP: {resp_proxy.json()[origin]}) except requests.exceptions.ProxyError: print(代理连接失败) except requests.exceptions.ConnectTimeout: print(连接超时)重要提醒免费代理大多不稳定、速度慢、有风险。生产环境应考虑使用付费代理IP服务并做好IP有效性验证和异常处理。3. 处理Cookie维持会话import requests # 创建一个会话对象它会自动处理Cookie session requests.Session() # 模拟登录假设登录接口 login_url https://example.com/login login_data { username: your_username, password: your_password } # 通常登录后服务器会通过Set-Cookie头设置会话CookieSession会自动保存 login_resp session.post(login_url, datalogin_data) if login_resp.status_code 200: print(登录成功或失败具体看响应内容) # 访问需要登录的页面Session会自动携带Cookie profile_url https://example.com/profile profile_resp session.get(profile_url) print(profile_resp.text[:200]) # 打印前200字符7. 从脚本到工程构建健壮的爬虫项目写一个能跑通的脚本只是开始。一个可维护、可扩展、健壮的爬虫项目需要考虑更多。7.1 项目结构规划一个良好的项目结构有助于代码管理和协作。your_crawler_project/ ├── config/ # 配置文件 │ ├── settings.py # 通用设置如数据库连接、请求头模板 │ └── user_agents.txt # User-Agent列表文件 ├── spiders/ # 爬虫核心代码 │ ├── base_spider.py # 基础爬虫类封装通用方法请求、解析、存储 │ ├── news_spider.py # 新闻网站爬虫 │ └── product_spider.py # 商品信息爬虫 ├── items/ # 数据模型定义 │ └── news_item.py # 定义新闻数据的结构 ├── pipelines/ # 数据处理管道 │ ├── json_pipeline.py # 存储到JSON │ └── mysql_pipeline.py # 存储到MySQL ├── utils/ # 工具函数 │ ├── logger.py # 日志配置 │ ├── proxy.py # 代理IP管理 │ └── request_helper.py # 请求辅助函数添加UA、重试等 ├── data/ # 存储爬取的数据.gitignore忽略 │ └── 20231027_news.json ├── logs/ # 日志文件.gitignore忽略 │ └── crawler.log ├── requirements.txt # 项目依赖列表 └── main.py # 项目主入口7.2 日志记录爬虫的“黑匣子”没有日志爬虫在后台运行时就像个瞎子出错难以排查。# utils/logger.py import logging import os from datetime import datetime def setup_logger(name, log_fileNone, levellogging.INFO): 配置并返回一个logger # 创建logger logger logging.getLogger(name) logger.setLevel(level) # 避免重复添加handler if logger.handlers: return logger # 定义日志格式 formatter logging.Formatter(%(asctime)s - %(name)s - %(levelname)s - %(message)s) # 控制台handler console_handler logging.StreamHandler() console_handler.setFormatter(formatter) logger.addHandler(console_handler) # 文件handler如果指定了文件 if log_file: # 确保日志目录存在 log_dir os.path.dirname(log_file) if log_dir and not os.path.exists(log_dir): os.makedirs(log_dir) file_handler logging.FileHandler(log_file, encodingutf-8) file_handler.setFormatter(formatter) logger.addHandler(file_handler) return logger # 在爬虫中使用 # spider/news_spider.py from utils.logger import setup_logger logger setup_logger(news_spider, log_filelogs/news_crawler.log) try: response requests.get(url, timeout10) logger.info(f成功请求 {url}, 状态码: {response.status_code}) except requests.exceptions.Timeout: logger.error(f请求超时: {url}) except Exception as e: logger.exception(f请求发生未知错误: {url}, 错误: {e})7.3 异常处理与重试机制网络不稳定请求失败是常态。一个健壮的爬虫必须能处理异常并尝试恢复。import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry import time def create_session_with_retry(retries3, backoff_factor0.5): 创建一个带重试机制的Session session requests.Session() # 定义重试策略 retry_strategy Retry( totalretries, # 总重试次数 backoff_factorbackoff_factor, # 退避因子等待时间 backoff_factor * (2^(重试次数-1)) status_forcelist[429, 500, 502, 503, 504], # 遇到这些状态码才重试 allowed_methods[GET, POST] # 只对GET和POST方法重试 ) # 将重试策略应用到HTTP和HTTPS适配器 adapter HTTPAdapter(max_retriesretry_strategy) session.mount(http://, adapter) session.mount(https://, adapter) return session # 使用带重试的Session session create_session_with_retry(retries3) try: response session.get(https://example.com, timeout5) response.raise_for_status() # 如果状态码不是200-399抛出HTTPError except requests.exceptions.RequestException as e: print(f请求最终失败: {e}) else: print(请求成功)7.4 使用Scrapy框架进阶选择当项目变得复杂手动管理请求、解析、管道、中间件会非常繁琐。此时可以考虑使用专业的爬虫框架Scrapy。优点异步处理、速度快内置项目结构、中间件、管道、调度器功能强大社区活跃。缺点学习曲线较陡对于非常简单的任务可能显得重。创建一个Scrapy爬虫的基本流程# 安装 pip install scrapy # 创建项目 scrapy startproject myproject cd myproject # 生成爬虫 scrapy genspider example example.com # 运行爬虫 scrapy crawl exampleScrapy要求你以特定的类和方法来组织代码Spider, Item, Pipeline, Middleware这强制了良好的工程结构非常适合中大型爬虫项目。8. 法律与道德边界做一个负责任的爬虫开发者技术无罪但使用技术的人需要负责。在开始任何爬虫项目前请务必明确以下几点遵守robots.txt协议网站根目录下的robots.txt文件指明了哪些页面允许或禁止爬取。使用urllib.robotparser可以解析它。尊重它是行业惯例。查看网站的服务条款很多网站在用户协议中明确禁止爬虫。违反条款可能导致法律风险。控制访问频率不要对目标网站服务器造成压力。你的爬虫不应该影响网站的正常服务。添加足够的延时避免并发过高。识别公开数据与个人数据爬取公开信息如新闻、商品列表与爬取非公开的个人信息如用户私信、联系方式有本质区别后者很可能违法。版权与数据用途即使数据是公开的其内容也可能受版权保护。大规模复制并用于商业用途可能侵权。爬取的数据应合理使用例如用于个人学习、研究或公益项目。认证与授权不要尝试破解登录、绕过付费墙。这不仅是道德问题还可能违反《计算机信息系统安全保护条例》等相关法律法规。核心原则将你的爬虫想象成一个特别有礼貌、动作很轻的用户。它不应该做任何真人用户不会做或不能做的事情。9. 常见问题排查清单FAQ在实际操作中你几乎一定会遇到下面这些问题。这里提供一个快速排查指南。问题现象可能原因排查步骤ModuleNotFoundError: No module named XXX1. 未安装该库。2. 在错误的Python环境如系统环境中运行。1. 在当前激活的虚拟环境中执行pip install XXX。2. 检查命令行前缀是否有(venv_name)。请求返回状态码 4031. 请求头特别是User-Agent被识别为爬虫。2. IP被封锁。3. 需要特定的Cookie或Token。1. 添加或更换更真实的User-Agent。2. 添加Referer,Accept-Language等常见请求头。3. 尝试使用代理IP。4. 检查是否需要先登录。请求返回状态码 404URL错误或资源已不存在。1. 手动在浏览器中访问该URL确认。2. 检查URL拼接是否有误。中文乱码响应内容的编码与解析编码不一致。1. 查看response.encoding和response.apparent_encoding。2. 尝试response.encoding utf-8或gbk。3. 使用response.content.decode(utf-8)。BeautifulSoup找不到元素1. 网页是动态加载的源码中没有。2. 选择器写错了。3. 解析器问题。1. 检查浏览器“查看网页源代码”中是否存在该元素。若无需用Selenium或分析Ajax。2. 用浏览器开发者工具的“检查”功能右键元素“Copy selector”或“Copy XPath”进行验证。3. 尝试更换解析器为lxml或html.parser。爬取速度很慢1. 网络延迟。2. 没有使用并发。3. 解析逻辑复杂。1. 添加代理IP有时更快。2. 对于IO密集型任务网络请求使用异步库如aiohttp或多线程/多进程。3. 优化解析代码避免不必要的循环和查找。Selenium报错chromedriver相关1. 未下载chromedriver。2.chromedriver版本与Chrome浏览器版本不匹配。3.chromedriver未加入系统PATH。1. 去ChromeDriver官网下载对应版本。2. 查看Chrome浏览器版本下载匹配的chromedriver。3. 将chromedriver可执行文件放在项目目录或系统PATH包含的目录下或在代码中指定路径webdriver.Chrome(executable_path/path/to/chromedriver)。数据库连接失败1. 数据库服务未启动。2. 连接参数主机、端口、用户名、密码错误。3. 网络或防火墙问题。1. 检查MySQL/PostgreSQL服务是否运行。2. 使用命令行或图形化工具测试连接。3. 检查Python驱动库如pymysql是否安装正确。学习爬虫乃至任何编程技能最有效的方法就是动手。从模仿本文的示例代码开始找一个结构简单、允许爬取的网站如 https://httpbin.org 、 https://quotes.toscrape.com 进行练习。然后尝试挑战更复杂的目标在实践中遇到问题、搜索问题、解决问题这个循环才是能力提升的加速器。记住这套教程提供的不是一堆可以无脑拷贝的代码而是一套解决问题的思维模式和工具箱。当你能够独立分析一个陌生网站的数据获取路径并设计出稳定高效的爬取方案时你就已经从一个“教程跟随者”成长为一名合格的“爬虫工程师”了。