经常有人问我:Python 常用库有哪些? 说实话,这个问题一抛出来,我基本能判断对方是个刚入门的朋友。因为 Python 生态里常用这两个字,从来不是一张固定榜单,而是跟着实际场景走的。做数据分析的人天天离不开 Pandas,写爬虫的人把 Requests 当水喝,搞机器学习的人提起 scikit-learn 就像聊老同事,哪个库值得进你的工具箱,取决于你在解决什么问题。这篇东西我不会给你列一份十大必装库的流水账,而是按我自己这些年实际干活的经验,把 Python 环境准备、数据处理分析、爬虫自动化、机器学习、打包发布这几个最常见场景拆开讲。每个场景里哪些库确实好用、怎么绕开安装和使用中的坑,一次说清楚。不管你是刚装好 Python 的零基础学习者,还是已经写过一些脚本、想系统化自己工具箱的进阶用户,应该都能从里面找到可以直接照抄的做法。1. Python 常用库到底该怎么选?先搞清场景再谈工具1.1 别被库的数量吓住,先按需求分类打开 PyPI 看一眼,你会发现自己面对的是几十万个包,光是浏览名称都能耗掉半天耐心。真正理性的做法是:先把需求归类,再去对号入座。我习惯把实际开发里最常见的需求分成七个方向,每个方向记两三个核心库就够了。需求类别常用库典型场景数据处理NumPy、Pandas、openpyxl数组计算、表格清洗、读写 Excel数据可视化Matplotlib、Seaborn、Plotly折线图、柱状图、交互图表网络请求与爬虫Requests、httpx、BeautifulSoup、Selenium抓取网页、调用接口、模拟浏览器Web 开发Flask、Django、FastAPI写接口、做后台、搭小网站机器学习scikit-learn、TensorFlow、PyTorch分类、回归、聚类、深度学习自动化办公os、shutil、subprocess、python-docx文件批量处理、调用系统命令、操作 Word打包发布PyInstaller、Nuitka把脚本打包成 exe 可执行文件这个表不是让你全装,而是你遇到某个问题时知道该往哪个方向找。比如你刚接了个任务,要统计几十个 Excel 文件里的数据,直觉告诉我你应该打开 Pandas,而不是自己写一堆循环去解析文件格式,那是标准库 csv 和 openpyxl 都很难受的活。反过来,如果只是读一个简单的配置文件,直接 import json 就行,这时候上 Pandas 反而是杀鸡用牛刀。1.2 选库的四条经验法则很多新手容易被这个库很流行或者那个库功能最全带偏,我的经验是看四个点。第一,社区是否活跃。打开一个库的 GitHub 页面,看最近是否有 release、issue 有没有人回复。一个一年不更新的库,就算 API 写得很优雅,你也不知道它在你用的新版本 Python 上会不会突然崩掉。第二,文档质量。真正好用的库,官方文档里一定有 quickstart 和完整示例。第三,依赖是不是轻量。有些库为了一个很小的功能,能把半个科学计算生态拽进来,装完直接占用几百兆磁盘,在服务器上部署时很煎熬。第四,性能是否够用。比如解析 HTML,BeautifulSoup 对新手非常友好,但大规模抓取时速度不如 lxml;如果你的爬虫任务只有几百个页面,BeautifulSoup 完全够,没必要一上来就用复杂工具。这里我说句实在话:能用标准库解决的,不要急着引第三方库。os、json、csv、datetime 这些模块其实比你想象中强大。我见过一个同事,为了把时间戳转成格式化的日期,专门装了一个库,后来发现 Python 标准库 datetime 三行代码就搞定了。装库之前先搜一下标准库能不能做,这个习惯能帮你少踩很多依赖冲突的坑。2. 环境准备:装库之前先把 Python 运行时搞定2.1 安装 Python 和配置 PATH 的那些坑很多人在Python 常用库这个问题上卡住,不是因为库本身难装,而是连 Python 运行时都没配好。最常见的一句报错大家一定见过:python 不是内部或外部命令。这句话在 Windows 上出现,九成原因是安装时没有勾选 Add Python to PATH。我第一次给新机器配环境时也栽过,当时从官网下载了安装包,一路 Next,结果打开命令行一敲 python,直接报错。后来学乖了,不管是 Windows 还是 Linux,装完第一件事就是打开终端验证一下版本:python --version pip --version如果你的电脑上这两条命令都能正常输出版本号,说明基本环境没问题。这里有一个容易搞混的点:Windows 上还有一个python was not found; run without arguments to install from the Microsoft Store的提示。这个情况和 PATH 未配置不太一样,通常是系统应用执行别名把 python.exe 指向了 Microsoft Store 的安装入口,或者你安装的 Python 版本没生效。解决办法有两个,一是去系统设置里找到管理应用执行别名,把 python.exe 和 python3.exe 的别名开关关掉;二是重新安装 Python,务必勾选 Add Python to PATH。如果你机器上装了多个 Python 版本,我更推荐用 py 启动器来管理,py -3.11 指定版本,比在 PATH 里来回折腾省心得多。2.2 理解 site-packages、pip 与 venv 虚拟环境很多初学者会问Python 的库到底装到哪个目录下了,这个问题其实很关键。正常情况下,你用 pip 安装的第三方库会统一放到 Python 安装目录下的 Lib\site-packages 文件夹里。想知道某个包具体装在哪,一条命令就行:pip show 包名它会显示这个包的版本、作者、依赖和安装路径,排查问题特别好用。比装到哪更重要的是别装乱。Python 生态里最让人头疼的问题之一就是版本冲突,项目 A 要 numpy 1.x,项目 B 要 numpy 2.x,如果你全装在一个全局环境里,总有一个项目要遭殃。解决办法是虚拟环境 venv,它的本质就是给每个项目开一个独立的小仓库,互不干扰。我的标准操作是:python -m venv .venv然后激活环境。Windows 下运行 .venv\Scripts\activate,macOS 和 Linux 下运行 source .venv/bin/activate。激活之后,命令行提示符前面会出现 (.venv) 的字样,这时候再用 pip install,所有依赖都只会装进这个项目的环境里。装完依赖记得顺手导出清单,这样换电脑或者同事接手项目时,一条命令就能复现环境:pip freeze requirements.txt pip install -r requirements.txt还有一个实际体验:国内的网络环境下,直接用 pip 官方源下载大型库经常慢到怀疑人生。我一般会把 pip 源换成清华 PyPI 镜像,一条配置命令搞定:pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple配完之后,scikit-learn、opencv-python 这类几百兆的包下载速度能提升非常明显。这不是什么技巧,是每个 Python 开发者迟早都会经历的过程。2.3 vscode 与 pycharm 的 Python 环境关联知道虚拟环境之后,还有一个小坑是编辑器里选了错误的环境。用 vscode 写 Python,你得先装官方 Python 扩展,然后按 CtrlShiftP,输入 Python: Select Interpreter,选你刚建好的 .venv 目录下的那个 python.exe。否则你在终端里明明装好了库,编辑器里一运行却提示 ModuleNotFoundError,检查了半天才发现两边用的不是同一个环境。pycharm 的逻辑也类似。新建项目时,或者到 Settings - Project - Python Interpreter 里,把解释器指向虚拟环境。我用 pycharm 时有个习惯,项目解释器一定点成 venv 目录里的 python.exe,并且看一遍 Site Packages 列表,确认目标库已经出现在里面,这比盲目写代码靠谱得多。3. 数据处理与分析:NumPy、Pandas 与 Matplotlib 的黄金组合3.1 NumPy:为什么处理数组比列表快只要你接触 Python 数据处理,NumPy 就是绕不开的第一块基石。它的核心对象是 ndarray,也就是多维数组。你可以把它理解成一个高性能的数组容器,和 Python 内置 list 的最大区别在于,NumPy 数组在内存里是连续存储的,并且支持向量化运算。我用一个最简单的例子说明问题。假设你要计算一万个数的平方,用列表推导式写,Python 要一个数一个数地在循环里处理;用 NumPy 写,则是直接在底层用 C 语言级别的循环帮你把整块数组算完。两段代码:# 列表推导式 import time data_list list(range(10000)) start time.time() result [x**2 for x in data_list] print(列表耗时:, time.time() - start) # NumPy 向量化 import numpy as np data_array np.arange(10000) start time.time() result_array data_array ** 2 print(NumPy耗时:, time.time() - start)数据量小的时候差距不明显,但当你处理的是十万、百万,甚至上千万条数据时,这个性能差距就是天壤之别。日常数据分析里,NumPy 里最常用的操作包括创建数组、切片、数学函数和聚合统计。很多人口中的数组切片其实就是从数组里按条件截取一部分数据:arr np.array([10, 20, 30, 40, 50]) print(arr[1:4]) # 取索引 1 到 3,结果是 [20 30 40] print(arr[::-1]) # 倒序,结果是 [50 40 30 20 10]二维数组的切片会稍微绕一点,arr[:, 1] 表示取所有行的第 1 列,这个语法初看不习惯,但用多了会觉得特别自然。3.2 Pandas:从读 Excel 到写 Excel 一条龙如果说 NumPy 是数据处理的底层地基,那 Pandas 就是普通开发者最友好的工作台。它的核心概念是 DataFrame,你可以把它理解成一张内存里的二维表格,和 Excel 表格长得非常像。我在处理日常办公数据时,最常用的技能叫读 Excel、筛数据、写 Excel,这三板斧就能解决大量重复劳动。读文件很简单:import pandas as pd df pd.read_excel(销售数据.xlsx) # 读 Excel # 或者 df pd.read_csv(数据.csv, encodingutf-8)然后就可以按条件筛选。比如找出华东区且销售额大于 10000的订单:result df[(df[区域] 华东) (df[销售额] 10000)]再做一步统计,按区域汇总销售额,一行代码:summary df.groupby(区域)[销售额].sum()最后写回 Excel:summary.to_excel(汇总结果.xlsx, indexTrue)这里有个很容易踩的坑:to_excel 默认写出的文件没有表头索引的格式问题,通常建议加 indexFalse 来控制是否保留索引列。如果写入时报错 Missing optional dependency openpyxl,说明你还没装 Excel 读写后端,执行 pip install openpyxl 就行。这也是很多人第一次接触python 写入 excel时最常遇到的问题,不是 Pandas 的问题,而是缺少配套库。3.3 Matplotlib 画图:横坐标太密集的解决思路数据分析最后一步通常要可视化,Matplotlib 是使用率最高的绘图库。一个新手的经典场景是:画出来的折线图数据本身没问题,但横坐标几十个点全挤在一起,标签叠成一团黑疙瘩,压根看不清。这个问题我自己在当年也遇到无数次,后来总结出三种处理办法,几乎能覆盖所有情况。第一种,旋转标签:plt.xticks(rotation45)把横坐标标签旋转 45 度,两个标签之间就不至于完全重叠。第二种,每隔几个点显示一个标签,适合数据量很大的场景:x list(range(100)) plt.xticks(x[::10])这样横坐标只显示 0、10、20……而不是 100 个点全部糊在一起。第三种,直接调整画布尺寸:plt.figure(figsize(12, 6))把画布拉宽,给坐标轴留出足够空间。这三招配合使用,基本上python 画图横坐标太密集这个问题就告别了。再高级一点,你可以用 plt.gca().xaxis.set_major_locator(ticker.MaxNLocator(nbins10)) 来让 Matplotlib 自动决定显示多少个刻度,自由度更高。4. 爬虫与自动化:Requests、BeautifulSoup 帮我把重复劳动干掉4.1 静态页面抓取:Requests BeautifulSoup爬虫被很多人当成 Python 的入门驱动力,但我要先强调一句:爬虫技术只能用来抓取公开可访问的数据,而且要遵守目标网站的 robots 协议和合理频率,别给别人的服务器造成压力,更不能抓取隐私或敏感信息。用对了,它是帮你节省重复劳动的好工具。我最常用的组合是 Requests 负责发 HTTP 请求,BeautifulSoup 负责解析返回的 HTML。流程很简单:先向网页发起请求,拿到源码,再从源码里定位需要的元素。举个我写过多次的例子,抓取一个公开页面的标题列表:import requests from bs4 import BeautifulSoup url https://example.com/news # 这里仅作示例,换成目标公开页面 headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)} resp requests.get(url, headersheaders, timeout10) resp.encoding utf-8 soup BeautifulSoup(resp.text, html.parser) for item in soup.select(.news-title): print(item.get_text(stripTrue))这里有个容易忽略的点:requests.get 一定要设置 timeout,否则遇到反应慢的服务器,你的脚本可能一直卡在那里。还有一个点:resp.encoding 最好明确指定,不然中文内容很容易出现乱码。4.2 动态页面与浏览器自动化:Selenium 的适用场景Requests 只能拿到服务器直接返回的 HTML。但很多现代网页的数据是页面加载后通过 JavaScript 异步请求填充的,你再怎么用 Requests 抓,也拿不到动态内容。这时候就得请出 Selenium,它能驱动一个真实的浏览器去加载页面,等 JavaScript 跑完,然后再读取内容。Selenium 的使用思路是:定义一个浏览器驱动,打开地址,等元素出现,然后取数据。核心代码骨架:from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver webdriver.Chrome() driver.get(https://example.com) wait WebDriverWait(driver, 10) elem wait.until(EC.presence_of_element_located((By.CLASS_NAME, content))) print(elem.text) driver.quit()这套方案唯一的痛点是驱动版本要和浏览器匹配。Chrome 升级之后 selenium 的 driver 没更新,就会报 session not created 的错误,解决方法是去对应浏览器驱动管理页面下载匹配版本。后来我基本改用 webdriver-manager 这类库自动处理驱动,省掉很多麻烦。4.3 自动化杂活:shutil、os 与 subprocess除了写爬虫,Python 干活还有一大块是日常文件操作和调用系统命令。shutil 和 os 模块负责文件搬运,subprocess 负责跟操作系统交互。你可以把这类脚本理解成一个批处理工具箱。比如我之前有个需求,要把一个文件夹里所有 .txt 文件按文件名里的日期分类到不同的子目录,脚本就几十行:import os import shutil src_dir files for filename in os.listdir(src_dir): if filename.endswith(.txt): date_part filename.split(_)[1] target_dir os.path.join(src_dir, date_part) os.makedirs(target_dir, exist_okTrue) shutil.move(os.path.join(src_dir, filename), target_dir)再看python 连接 cmd这个需求,其实就是用 Python 调用系统命令。我建议你用 subprocess 而不是 os.system,因为 subprocess 的参数传递更安全,还能拿到程序的输出和返回码:import subprocess result subprocess.run([ping, -c, 4, 127.0.0.1], capture_outputTrue, textTrue, timeout15) print(result.stdout)subprocess.run 里的 capture_outputTrue 会把命令输出捕获到内存里,方便后续处理;textTrue 让输出以字符串而不是字节形式返回。如果你是做嵌入式调试的,还可以用 pyserial 这类库读取串口日志,把单片机打印的原始数据自动化整理到 Excel,这也算是 Python 常用库在硬件调试场景里的一种延伸。4.4 打包发布:PyInstaller 把脚本变成 exe脚本写好了,但同事电脑上没有 Python 环境,怎么办?这就需要把脚本打包成可执行文件。PyInstaller 是这个领域最主流的工具,一条命令就能把你的 .py 文件变成独立运行的 exe:pip install pyinstaller pyinstaller --onefile --windowed 你的脚本.py--onefile 表示生成单个可执行文件,--windowed 表示运行时不弹出黑色控制台窗口(如果你需要输出日志就别加这个参数)。打包出来的文件体积通常几十兆,这很正常,因为它把 Python 解释器和依赖库都塞进去了。实际操作中需要注意两个问题。第一,打包后如果程序里引用了外部图片、配置文件,运行时可能报找不到资源,这时候要用 --add-data 参数把资源文件一起打包,或者写一个 .spec 文件来管理复杂的打包配置。第二,一些杀毒软件对 PyInstaller 打包出的 exe 会误报,这不是你的程序有问题,把文件加入白名单即可。我通常会在交付给业务同事前,先在干净环境里跑一遍打包产物,确认功能正常再发出去。5. 机器学习与量化策略:sklearn 入门够用,别急着上深度学习5.1 安装 scikit-learn 的依赖关系与常见报错机器学习方向,普通业务场景其实用 scikit-learn 就覆盖了百分之七八十的需求。但它不是独立运行的,底层依赖 NumPy 和 SciPy,所以安装时经常出现python 安装 sklearn 库失败的报错。常规做法是:python -m pip install --upgrade pip python -m pip install numpy scipy scikit-learn如果安装过程中报错说缺少 Microsoft Visual C 组件或者编译失败,先别慌,看报错最后几行,多半是你的 pip 版本太老,或者 numpy 装了个不兼容的版本。先把 numpy、scipy 单独装好,再装 scikit-learn,成功率会高很多。另外,如果只是想在机器学习流程里跑个测试,也可以直接装 Anaconda 全家桶,里面已经带好 skearn 和大部分数据处理库,缺点是体积大,适合本地学习不适合线上部署。5.2 一个最小可用的机器学习流程很多人以为机器学习很玄,其实对库的调用来说,核心就 fit、predict、score 三个动作。我用最经典的鸢尾花分类数据集写个骨架:from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestClassifier data load_iris() X_train, X_test, y_train, y_test train_test_split( data.data, data.target, test_size0.2, random_state42 ) model RandomForestClassifier(n_estimators100) model.fit(X_train, y_train) print(准确率:, model.score(X_test, y_test))train_test_split 负责把数据分成训练集和测试集,避免你用同一份数据既当题目又当答案。fit 是训练,score 是评估。理解了这三个概念,你就迈过了机器学习的第一道门槛。热词里还有一个python 量化交易策略代码,很多人想用 Python 处理金融数据。我不展开具体的交易策略,但可以告诉你做这类练习的一般套路:用 Pandas 读取行情数据,计算技术指标,比如双均线策略里短周期均线是否上穿长周期均线,然后模拟历史回测,计算收益率。整个过程本质仍是数据处理与分析,注意只用公开的行情数据做编程练习,不要把它当成投资建议。5.3 深度学习框架要不要现在装我见过不少新手一上来就想装 TensorFlow 或 PyTorch,结果环境配置折腾一星期,最后还是没跑通。我的建议是先把 scikit-learn 用熟,把特征、训练集、测试集、评估这些概念真正理解,再考虑深度学习框架。PyTorch 的安装还要分 CPU 版和 GPU 版,GPU 版又得匹配 CUDA 版本,稍微选错就报各种底层错误。对这些框架,我的态度是:等真正需要时再装,不要提前给自己制造麻烦。6. 常见安装与运行报错排查实录:这些坑我替你踩过了6.1 高频报错速查表技术人不骗技术人,下面这张表里的报错,我基本都在不同机器上遇到过。每次排查都是从看最后几行报错开始,别一上来就卸载重装大法。报错现象常见原因处理方式python 不是内部或外部命令Python 未安装或 PATH 未配置重新安装并勾选 Add Python to PATHPython was not found; run without arguments...Windows 应用执行别名干扰关闭 python.exe 执行别名,或改用 py 命令pip 不是内部或外部命令Scripts 目录不在 PATH 中用 python -m pip 代替 pip 执行ModuleNotFoundError: No module named xxx库没装,或装到了别的环境激活正确的虚拟环境,再 pip install安装包一直超时失败网络原因使用国内镜像源,或加 --timeout 参数sklearn 安装报错依赖 numpy/scipy 版本冲突先升级 pip,再依次安装 numpy、scipy、sklearncv2 装不上包名不是 cv2安装 opencv-pythonCould not install packages due to an EnvironmentError文件被占用或权限不足关闭相关进程,或加 --user 安装项目提示要安装缺失的节点项目依赖没有安装查看项目的 requirements 文件,按提示执行安装opencv-python 的报错非常典型,因为 Python 里 import 的名称为 cv2,但 pip 安装的包名是 opencv-python,不少人直接写 pip install cv2 就报错,正确的包名是 opencv-python。另一个典型是某些项目出错提示要安装缺失的节点,请先在你的 Python 环境中运行 pip install -u --pre xxx,这类报错通常意味着项目依赖没有装齐,你需要的不是硬着头皮装单个名字,而是找到项目根目录下的 requirements.txt 或环境配置文件,一次性把依赖装全。命令里的 --pre 表示允许安装预发布版本,在普通项目里尽量少用,因为它可能会把不稳定版本引进来。6.2 一套通用的排查思路遇到任何报错,我的套路都是一样的,按照这个顺序排查能省一半时间。第一步,完整复制报错信息,重点看最后五行。报错末尾通常写着 TypeError、ImportError 或 FileNotFoundError,定位到具体原因。第二步,判断是哪一层的问题:是 Python 本身没装对,还是某个库缺失,还是库版本之间不兼容。第三步,当前环境里跑一下 python -m pip list,确认你真正在用的环境里有哪些包,很多时候你以为自己安装了,其实是装到了另一个环境。第四步,升级 pip 再重新安装出问题的包,pip 版本太老会出现很多奇怪的解析错误。还有一点额外提醒:网上有一些免费 python 源码大全之类的资源,下载之后直接双击运行是很危险的习惯。有些代码会包含收集系统信息或恶意操作的内容,拿到任何源码,第一件事应该先读一遍结构和关键调用,再决定是否运行。这个习惯不是小题大做,我已经见了好几个因为运行不明代码导致环境被搞坏的案例。写在最后的一点个人体会拿我个人经验说,Python 的库生态一年比一年丰富,但你真正能用到顺手、关键时刻靠得住的,往往就那几个。我每次开新项目,第一件事是建虚拟环境,第二件事是装完依赖后马上 pip freeze 锁版本,换个电脑也不会翻车。另外我特别建议你保持写小工具的习惯,比如用 turtle 画个爱心图案、用 PIL 给朋友生成一张节日祝福图片,这些看似在玩的小程序,其实能把语法、文件操作、第三方库、异常处理这些零散知识串成一条线。搞技术没有捷径,把常用库用熟、把排查思路练成肌肉记忆,比收藏一百份常用库清单有用得多。