本文是《性能之巅》Systems Performance第 2 版第 3 章的导读。本书是系统性能领域的经典本系列逐章导读把书的核心概念讲清楚。城市地图前两章我们讲了城市管理者的工作和巡检流程。但有个前提还没解决你得先有一张城市地图。不知道工厂在哪、办公桌在哪、仓库在哪、快递网点在哪你怎么巡检不知道内核管什么、进程怎么跑、内存怎么分你怎么分析性能问题这一章就是那张城市地图。它不教你怎么查问题而是告诉你这座城市的内部结构——市政府内核怎么运转、市民进程怎么生活、公共设施内存、文件系统、网络怎么管理。这张地图画好了后面的章节才有落脚点。你去看 CPU 时知道它在内核的哪个位置你去看磁盘时知道它经过哪些层。没有地图你看到的所有数字都是孤立的。一、市政府内核内核是什么你有没有想过一个问题你打开浏览器、微信、音乐播放器它们同时都在运行。它们怎么知道该谁用 CPU怎么知道谁的内存是哪个怎么知道谁该读写文件它们自己不知道。有一个东西在帮它们管理——这个东西就是内核。城市里最核心的建筑是市政府——它不直接生产东西但所有事情都要经过它。内核就是市政府谁可以用工厂CPU 调度谁可以用办公桌内存管理文件怎么存文件系统快递怎么走网络协议栈谁能进哪个区域权限管理那内核凭什么能管这些因为它运行在特权模式——它能访问硬件能管所有资源能做任何事。而普通市民应用程序运行在用户模式——它们不能直接碰硬件必须“申请”。用户模式市民区 内核模式政府办公区 ┌─────────────────┐ ┌─────────────────┐ │ 应用程序 │ │ 内核 │ │ 企业 │ │ 市政府 │ │ │ │ │ │ 不能直接访问硬件 │ │ 可以直接访问硬件 │ │ 通过系统调用申请 │───────→│ 处理申请 │ └─────────────────┘ └─────────────────┘这个边界非常重要。很多性能问题就出在这个边界上系统调用太多——每次调用都要从用户模式切到内核模式有开销内核态 CPU 太高——说明应用程序在频繁申请服务可能是 I/O 太多模式切换频繁——上下文切换的代价那内核自己是怎么组织的呢内核的两种模型市政府可以有两种组织形式宏内核Monolithic所有部门都在市政府大楼里共享一个地址空间。Unix、Linux、BSD 都是这种。优点各部门沟通快——直接函数调用像在同一个办公室里喊一声。缺点一个部门出问题整个市政府瘫痪。微内核Microkernel市政府只留最核心的部门其他部门搬到外面独立办公。QNX、Minix 是这种。优点一个部门出问题不影响其他部门。缺点沟通慢——要走 IPC像寄信而不是当面说。Linux 是宏内核。它的所有核心功能——调度、内存、文件系统、网络——都在内核里。这也是为什么 Linux 性能分析要深入内核所有事情都发生在内核里。那市民怎么向市政府申请服务呢系统调用市民的“申请表”市民不能直接进市政府办事必须填申请表——这就是系统调用syscall。市民我要读文件 ↓ 填写申请表系统调用 ↓ 市政府收到我来处理 ↓ 处理完成返回结果常用的系统调用系统调用用途read读文件write写文件open打开文件close关闭文件fork创建进程exec执行程序mmap映射内存socket创建网络连接ioctl设备控制系统调用的代价模式切换——用户模式 → 内核模式参数检查——内核要验证申请是否合法执行操作——真正干活返回结果——内核模式 → 用户模式模式切换本身有开销。虽然单次只有几百纳秒但如果一秒调用一百万次加起来就是几百毫秒——足以拖慢应用。就像你去市政府办事每次都要先排队取号、安检、登记。单次可能只要几十秒但如果你一天跑一百次光排队就浪费了几个小时。怎么知道系统调用多不多# 看系统调用总数perfstat-esyscalls:sys_enter_*-asleep5# 看每个系统调用的次数perf trace-s-p$(pgrep mysqld)那市民在办事的时候如果外面有紧急情况怎么办中断紧急警报CPU办事时可能会被打断——电话响了、有人敲门、火警响了。这些就是中断。中断分两种硬件中断设备发来的信号。磁盘说“我读完了”、网卡说“有包来了”、键盘说“有人按键了”。这些设备不管你正在干什么直接“按门铃”。软件中断程序自己触发的。系统调用故意进入内核、异常除零、缺页、陷阱调试断点。中断的处理正在执行用户程序 ↓ 中断来了 ↓ 保存现场当前执行到哪了 ↓ 跳到中断处理程序 ↓ 处理完恢复现场 ↓ 继续执行用户程序中断是异步的——你不知道它什么时候来。这意味着性能分析时必须考虑中断如果中断太多CPU 会被不断打断如果中断处理太慢其他任务会被延迟如果中断都集中在一个 CPU 上那个 CPU 会成为瓶颈就像你正在写代码每隔几秒就有人敲门问问题。你每次都要保存进度、起身开门、回答问题、回到座位、恢复状态。如果敲门太频繁你根本没法集中精力干活。怎么看中断# 看硬中断cat/proc/interrupts# 看软中断cat/proc/softirqs# 用 mpstat 看中断占用的 CPUmpstat-PALL1# %irq 列是硬中断%soft 列是软中断那城市有没有一个统一的节拍告诉大家“现在几点了”时钟城市的节拍城市有一个中央时钟它负责更新时间触发定时任务给线程分配时间片调度维护 CPU 统计时钟的“滴答”叫 tick。传统上每秒 100 次100 Hz或 1000 次1000 Hz。tick 的代价每次 tick 都要打断当前任务tick 太频繁 → 开销大tick 太稀疏 → 时间精度低就像学校里每节课的铃声。太频繁——老师刚讲一半就被打断。太稀疏——学生不知道什么时候该换教室。现代的解决方案无滴答内核tickless kernel——没事的时候不触发 tick让 CPU 好好睡觉。怎么看时钟频率# 看内核配置grepCONFIG_HZ /boot/config-$(uname-r)那城市里真正干活的是谁呢进程市民进程就是城市里的市民。每个进程有自己的身份证PID办公桌内存地址空间文件柜打开的文件工作记录CPU 时间统计进程的创建父进程 ↓ fork复制自己 子进程和父进程一模一样 ↓ exec换一个程序 新程序开始运行fork exec 是 Unix 的核心设计。fork 复制自己exec 换程序。为什么要这么设计因为你可以在 exec 之前设置好环境——打开文件、重定向 I/O、设置权限。就像你开一家新公司先把办公室装修好、设备装好然后才让员工进来干活。进程的生命周期被调度时间片用完等 I/OI/O 完成退出父进程回收就绪运行睡眠僵尸关键状态运行正在 CPU 上执行就绪可以运行但在等 CPU睡眠在等 I/O 或事件性能分析最关心的是“就绪”状态——如果很多进程在“就绪”说明 CPU 不够用。那一个市民能不能同时干好几件事线程市民的“多个动作”一个进程可以有多个线程。线程是进程里的“执行流”——它们共享进程的内存和文件但各自独立运行。进程一个市民 ├─ 线程 1在工厂干活 ├─ 线程 2在等快递 └─ 线程 3在写文档线程的优点可以并行执行多个线程跑在多个 CPU 上共享内存通信快创建和切换比进程便宜线程的缺点一个线程崩溃整个进程崩溃共享内存需要同步锁可能争抢Linux 的特殊之处Linux 不区分进程和线程。它用task统称两者。创建进程用clone创建线程也用clone——区别只是共享哪些资源。就像一个人可以同时是“父亲”“程序员”“跑步爱好者”。不同的身份共享同一个身体进程但各自做不同的事线程。那每个进程都以为自己独占整个城市的办公空间这是怎么回事虚拟内存善意的谎言每个市民都以为自己独占整座城市——有一整片办公区域。但这当然是不可能的。虚拟内存就是那个“善意的谎言”——内核给每个进程一个“假的地址空间”然后偷偷把真正用到的部分映射到物理内存。进程看到的 实际上的 ┌─────────────┐ ┌─────────────┐ │ 地址 0 │ │ 物理内存 │ │ 地址 1 │ ────→ │ 页框 0 │ │ 地址 2 │ │ 页框 1 │ │ ... │ │ ... │ │ 地址 2^64 │ │ 磁盘交换 │ └─────────────┘ └─────────────┘为什么要撒这个谎因为它让每个程序都觉得自己是 VIP。程序员不用管物理内存布局不用管别的程序在用哪块内存。每个程序都以为自己从地址 0 开始有一整片连续空间。虚拟内存的三个好处隔离进程 A 看不到进程 B 的内存超售可以分配比物理内存更多的地址空间共享多个进程可以映射同一块物理内存比如共享库就像酒店房间号。你住 301他住 302。你们都以为“我的房间是 301/302”实际上酒店只有那么大。但你们互不干扰因为你们房间号不同。虚拟内存的代价地址翻译每次内存访问都要查表页表缺页用到的内存不在物理内存里要从磁盘读换页物理内存不够要把一些页写到磁盘缺页是性能杀手。一次缺页可能需要几毫秒读磁盘而正常的内存访问只要几十纳秒——差了几万倍。怎么看缺页# 看缺页统计ps-omaj_flt,min_flt-pPID# 看系统级缺页vmstat1# si/so 是换入换出bi/bo 是块设备 I/O那多个市民都要用工厂谁先上工调度器交通调度调度器决定谁先上 CPU。就像城市的交通调度——什么车先走、什么车让行、堵车了怎么办。调度器的核心问题公平性每个进程都能得到 CPU优先级重要的进程先跑延迟交互式任务要快速响应吞吐量CPU 不能闲着Linux 的调度器CFS完全公平调度器默认调度器按“虚拟运行时间”排序谁跑得少谁先跑RT实时调度器优先级最高用于实时任务Deadline按截止时间调度CFS 的核心思想很巧妙——它不记录“谁跑了多久”而是记录“谁应该跑多久”。每个进程有一个“虚拟运行时间”实际运行时间越短虚拟运行时间越短优先级越高。这样既公平又不用复杂的计算。调度器的性能问题调度延迟线程从“就绪”到“运行”等了多久上下文切换线程切换太频繁开销大CPU 亲和性线程在 CPU 之间跳来跳去缓存不友好怎么看调度延迟# 用 runqlat 看调度延迟分布runqlat101# 用 perf sched 看调度统计perf sched record --sleep10perf sched latency那文件是怎么存的呢文件系统城市的图书馆文件系统是城市的图书馆——它管着所有文件的存放和查找。Linux 的文件系统层次应用程序 ↓ 系统调用open、read、write ↓ VFS虚拟文件系统——统一的接口 ↓ 具体文件系统ext4、XFS、btrfs、ZFS ↓ 块设备层 ↓ 磁盘驱动 ↓ 磁盘VFS 是关键。它让不同的文件系统ext4、XFS、NFS、proc看起来都一样。应用程序不需要知道文件存在哪里只需要调用read和write。就像图书馆的检索系统。不管你借的是中文书、英文书、还是电子书你只需要告诉管理员书名他就能帮你找到。VFS 就是那个“统一检索系统”。文件系统的缓存页缓存Page Cache缓存文件内容目录缓存Dentry Cache缓存目录项inode 缓存缓存文件元数据这些缓存决定了文件系统的性能。缓存命中率高文件操作就快缓存命中率低就要去读磁盘。那从应用发出 I/O 请求到数据真正落到磁盘中间经过哪些层I/O 栈物流系统I/O 栈是城市的物流系统——从应用发出请求到数据真正落到磁盘经过很多层。应用程序 ↓ 系统调用read/write ↓ 文件系统 ↓ 块设备层 ↓ I/O 调度器 ↓ 设备驱动 ↓ 磁盘每一层都可能成为瓶颈应用层请求太多文件系统锁争抢、元数据操作块设备层队列太长调度器调度不当驱动中断处理慢磁盘IOPS 不够就像你寄一个快递要经过你打包 → 快递员取件 → 分拣中心 → 干线运输 → 目的地分拣中心 → 快递员派件 → 收件人签收。每一层都可能卡住。你的快递慢了可能是任何一层的问题。性能分析要能定位到具体哪一层。这就是后面磁盘章节的内容。那网络数据是怎么从一台机器到另一台机器的网络栈快递系统网络栈是城市的快递系统——从应用发出数据到数据真正到达另一台机器。应用程序 ↓ Socket 层 ↓ TCP/UDP 层 ↓ IP 层 ↓ 网络设备驱动 ↓ 网卡 ↓ 网络每一层都有开销Socket 层缓冲区拷贝TCP 层拥塞控制、重传IP 层路由查找驱动层中断处理、DMA网卡队列就像你寄国际快递要经过你打包 → 国内快递 → 出口报关 → 国际运输 → 进口报关 → 国内快递 → 收件人。每一层都有手续和开销。网络性能分析要能穿透这些层。二、城市的发展史从 Unix 到 Linux城市不是一天建成的。Linux 的城市规划继承了很多前辈的经验。Unix1969第一个“现代化”的城市规划。引入进程、文件、权限。但很简单只有几十个系统调用。BSD1978改进了 Unix 的很多地方。分页虚拟内存——不再整个进程换出而是按页换。FFS 文件系统——把磁盘分成柱面组减少碎片。TCP/IP 网络栈——第一个高性能网络实现。Jails——轻量级虚拟化。Solaris1982VFS——统一的文件系统接口。完全可抢占内核——低延迟。Slab 分配器——高效的内存分配。DTrace——第一个生产环境安全的动态追踪工具。Zones——OS 虚拟化。Linux1991借鉴了 Unix、BSD、Solaris 的很多设计但发展出了自己的特色。Linux 的性能演进Linux 从 1991 年到现在一直在性能上改进。重要的里程碑版本时间改进2.52002O(1) 调度器、抢占2.62003CFS 调度器、epoll、RCU3.x2011无滴答内核、TCP Fast Open4.x2015扩展 BPF、KPTI、XDP5.x2019多队列 I/O、io_uring扩展 BPF 是最近最大的变革。它让 Linux 从一个“可观测”的系统变成一个“可编程”的系统——你可以在内核里跑自己的程序做自定义的统计和追踪。这就像市政府本来只提供固定几个窗口。现在你可以在市政府里开自己的“临时窗口”想办什么业务就办什么业务。这就是为什么 BPF 是性能分析的“终极武器”。内核比较哪个内核最快这个问题没有标准答案。Linux性能最好生态最全但复杂FreeBSD网络栈很好Netflix 用它做 CDNSolaris企业级特性多但市场萎缩比较内核性能很难。因为微基准测试可能测的不是真实负载不同的配置和调优会改变结果不同的工作负载有不同的表现不要盲目相信“XX 内核更快”的说法。要用你自己的负载来测。三、怎么看懂地图内核可观测性的三个来源看内核在干什么有三个来源1. /proc 文件系统# 看进程信息cat/proc/PID/status# 看系统统计cat/proc/statcat/proc/meminfo# 看磁盘统计cat/proc/diskstats2. /sys 文件系统# 看 CPU 信息cat/sys/devices/system/cpu/cpu0/cache/index0/size# 看内核参数cat/sys/kernel/mm/transparent_hugepage/enabled3. Tracepoint 和动态追踪# 用 perf 看 tracepointperf trace-eblock:block_rq_issue# 用 bpftrace 看任意函数bpftrace-ekprobe:vfs_read { [comm] count(); }三种来源的关系/proc和/sys是计数器——内核预先埋好的数字Tracepoint是静态追踪——内核预先埋好的事件动态追踪是手电筒——想看哪里照哪里怎么看进程进程是城市的主角看进程的状态就是看城市在干什么。# 看所有进程psaux# 看进程的 CPU 时间pidstat1# 看进程的内存pmap-xPID# 看进程的 I/Opidstat-d1# 看进程的系统调用strace-pPID关键指标%CPU进程用了多少 CPURSS进程用了多少物理内存VSZ进程用了多少虚拟内存iodelay进程等了多久 I/O怎么看内存内存是城市的办公桌不够用就会出问题。# 看整体内存free-m# 看内存详情cat/proc/meminfo# 看进程内存pmap-xPID# 看内核内存slabtop关键指标free空闲内存available可用内存包括可回收的缓存buff/cache缓存和缓冲区swap交换空间使用注意Linux 会把空闲内存用作缓存。所以free低不一定是问题看available才准。怎么看文件系统文件系统是城市的图书馆看它的状态就知道 I/O 多不多。# 看文件系统使用率df-h# 看挂载选项mount# 看文件系统缓存free-m# buff/cache 列# 看文件系统 I/Oiostat-xz1关键指标容量用了多少还剩多少缓存命中率cachestatI/O 延迟iostat的await怎么看 I/O 栈I/O 栈是城市的物流系统看它就知道数据流动顺不顺畅。# 看块设备统计iostat-xz1# 看进程 I/Oiotop# 看 I/O 延迟分布biolatency# 看单次 I/Obiosnoop关键指标IOPS每秒多少次 I/O吞吐量每秒多少字节延迟每次 I/O 花多久队列长度多少 I/O 在排队怎么看网络网络是城市的快递系统看它就知道数据传得顺不顺畅。# 看网络接口ip-slink# 看网络统计nstat# 看 TCP 连接ss-tiepm# 看网络吞吐sar-nDEV1关键指标吞吐量每秒多少字节重传率多少包需要重传连接数有多少活跃连接延迟RTT 是多少四、总结内核是市政府——它管一切但用户程序看不到它只能通过系统调用“申请服务”。进程和线程是市民和市民的多个动作——它们共享资源但能并行执行。虚拟内存是善意的谎言——每个进程都以为自己独占整座城市实际上是内核在偷偷分配。调度器是交通调度——它决定谁先上 CPU调度延迟是性能分析的重要指标。文件系统是图书馆I/O 栈是物流系统网络栈是快递系统——它们都有层次每一层都可能成为瓶颈。从 Unix 到 Linux城市在不断进化——BSD 贡献了分页、FFS、TCP/IPSolaris 贡献了 VFS、Slab、DTraceLinux 贡献了 CFS、BPF。可观测性有三个来源——/proc和/sys是计数器Tracepoint 是静态事件动态追踪是手电筒。看进程、看内存、看文件系统、看 I/O、看网络——这五个方面覆盖了操作系统性能分析的主要场景。下一章讲观测工具——也就是“城市监控系统”。地图画好了接下来看用什么工具来看这座城市。我们会介绍计数器、剖析、追踪三大类工具以及/proc、/sys、tracepoint、kprobe、uprobe 等观测来源。