凌晨两点半群里突然炸了。一台线上机器CPU跑到800%监控大屏飘红值班同事接连被抖醒。我登录服务器后没急着开top第一件事是敲了一行命令ps ax。为什么不是top因为top是动态刷新加瞬时快照而ps ax配合排序、过滤、状态列能在一两秒内把全部进程的父子关系、运行状态、CPU累计时间一次性摊在眼前。这一行命令基本是Linux事故排查的入场券也是理解Linux调度器行为的最短路径。“ax调度”这个名字说白了就是围绕着ps ax这条命令去观察、分析、反向验证操作系统调度器做了什么。很多人天天用ps aux却从没认真想过每个字节的含义也有很多人背下了进程状态的字母表但遇到真实的D状态、Z状态、R状态时依然不会定位。这篇文章不打算写成man手册而是把我这些年用ps ax排查问题、调整优先级、验证定时任务的经验连同调度器的底层逻辑一起讲清楚。适合刚入行的运维、后端开发以及所有想在服务器上多留个心眼的同学——不需要你熟读内核源码只要你愿意在下次出事前先把这个命令玩明白。1. 为什么是ax一行命令的前世今生1.1 从ps aux的三段式说起但凡接触过Linux的人几乎都敲过ps aux。这个组合太经典了以至于很多人根本没意识到里面藏着三个完全不同的选项更没理解ps ax和ps aux到底差在哪。先把这三段拆开看a列出所有用户的进程不受当前用户身份限制。u以用户为中心的格式显示包含USER、%CPU、%MEM、VSZ、RSS这些列。x列出没有控制终端的进程也就是守护进程、系统服务这一类“后台幽灵”。组合起来ps aux的意思是把系统里所有用户进程、连同没有终端的后台进程一起用带用户和资源占用信息的详细格式展示出来。而ps ax则少了一个u输出格式变成默认的精简风——PID、TTY、STAT、TIME、COMMAND没有USER也没有百分比CPU。听起来好像ps ax更不实用恰恰相反当我需要快速判断“系统里到底是什么进程在跑、处于什么状态”时精简输出反而干净没有一堆百分比干扰判断等锁定了嫌疑进程再用-o去定制列也不迟。再说说风格问题。Linux的ps命令同时兼容两种写法System V风格用单横线ps -efBSD风格用不带横线的字母组合ps aux、ps ax。很多人会在习惯了某一种写法后混着用比如敲ps -aux。在Linux的util-linux版ps里ps -aux实际上是解析成了“带横线的所有进程”但x在System V风格中会被当成别的选项于是输出结果可能和你想的不一样甚至给出warning。我自己的习惯是查看全量进程一律用ps ax或ps aux需要完整命令行信息用ps -ef需要看层级关系用ps -ef --forest或者ps aflx。保持风格的统一是避免低级误判的第一步。1.2 ax不是调度器但能看见调度结果有人听到“ax调度”这四个字会误以为有个叫ax的调度框架。其实这里说的不是某个分布式任务分发平台而是指通过ps ax这个命令去观察Linux调度器产生的直接结果。调度器是内核的一部分它在每个CPU上不断决定“下一个该执行哪个进程”而我们肉眼能看到的东西就是ps ax输出里的STAT状态列、PRI优先级列、TIME累计CPU时间列。换句话说调度器负责“安排”ps ax负责“展示”。R、S、D、Z、T这些状态就是进程在内核调度状态机里的不同排队位置。比如一个进程如果频繁处于R状态说明它一直在等着CPU执行权大概率是计算密集型任务如果长时间卡在D状态说明它被IO阻塞挂住了调度器想让它跑也跑不了因为内核已经把它的执行线程丢进IO等待队列里了。理解这个映射关系你才能从一行ps ax的输出里真正读出系统的健康程度。2. 看懂STAT从ps ax输出理解内核调度状态机2.1 STAT里的每个字母都是一张排队票先看个最常见的输出片段[rootlocalhost ~]# ps ax PID TTY STAT TIME COMMAND 1 ? Ss 0:01 /usr/lib/systemd/systemd 25 ? S 0:00 [kworker/0:1] 345 ? D 0:03 [kjournald] 1280 ? I 0:00 [kcompactd0] 4201 pts/0 R 0:05 topSTAT那一列就是整个进程状态的浓缩。单个字母的含义如下Rrunning或runnable进程正在CPU上跑或者处于就绪队列中等待被调度。S可中断睡眠进程主要在等待某个事件比如等待网络数据、等待锁能被信号唤醒。D不可中断睡眠通常是因为内核层面的IO操作比如等待磁盘读写完成此时几乎没法通过普通信号打断。T已被停止可能是收到了SIGSTOP或者被调试器挂起。Z僵尸状态进程已经退出但父进程还没有调用wait系统调用回收它的“尸体”。I空闲的内核线程这是内核4.14以后才单分出来的状态主要用于区分那些无事可做的内核线程避免和普通S状态混淆。这些字母后面还会带一串附加符号比如s代表会话领导进程l代表多线程进程代表在前台进程组中代表高优先级N代表低优先级。注意看上面输出里systemd的STAT是Ss含义就是“可中断睡眠的会话领导进程”。很多初学者看到s会发懵其实把它理解为“这个进程是所属会话的老大”就行了。2.2 从STAT倒推调度行为既然状态能反映进程在内核调度器里的排队情况那我们就能用它反推系统正在发生什么。这是排查问题最有价值的部分也是“ax调度”的核心玩法。第一如果大量进程集中在R状态说明系统CPU资源紧张就绪队列一直在堆积。这时配合top看CPU使用率、vmstat看r列基本能确认是计算瓶颈。第二如果进程大面积处于S状态且没有业务进展多半是在等某种资源比如数据库连接池、网络请求、锁。第三最头疼的是D状态堆积进程卡在不可中断的IO等待里load average飙升但CPU使用率可能并不高甚至空闲。很多人不理解为什么load很高CPU却很低其实Linux负载计算时会把D状态的进程也计入所以D状态满了load自然就上去了。要批量统计进程状态分布可以直接用ps ax加awkps ax -o stat | awk {print $1} | sort | uniq -c输出会告诉你当前R、S、D、Z、I各有多少个。如果D状态数量长期不下优先检查磁盘IO、NFS挂载、以及慢速存储设备如果D状态伴随某个进程一动不动下一步就用/proc/PID/stack和/proc/PID/status去看它卡在内核的哪个函数上。这个技能比对着网上各种“压测脚本”瞎调参数有用得多。3. 优先级、nice值与谁先跑的真相3.1 那些让你迷惑的PRI与NI列很多人用top时都会看到PR优先级和NInice值两列但理解常常是错的。先明确一个底层事实Linux普通进程的调度优先级不是直接写死的数字而是由nice值映射出来的权重再参与CFS调度器的虚拟运行时间计算。对于非实时进程默认nice为0围绕它正负浮动范围是-20到19数字越小优先级越高越“霸道”数字越大越“谦让”把CPU让给别人。在ps ax -o pid,pri,ni,comm的输出里PRI列在不同版本的ps中显示规则不同。传统上Linux把nice值映射到100到139这个区间默认PRI是120不过现代内核和部分工具已经改用更直观的显示。无论如何你只需要记住NI是原始调整值PRI是动态优先级结果两者配合看才不会误判。判断一个进程是否被“拔高”过优先级直接看NI列是否为负数——负数代表优先级被调高正数代表被调低。实时进程是另一套逻辑。SCHED_FIFO和SCHED_RR这类实时调度类拥有0到99的实时优先级并且在任何时刻都优先于普通进程执行。也就是说只要系统里存在可运行的实时进程CFS队列里的普通进程就只能等着。排查问题时如果发现某个普通进程饿死了先去看看有没有实时优先级过高的进程霸占CPU。可用ps ax -o pid,rtprio,cls,commCLS列会标出进程的调度类是TS普通分时还是FFSCHED_FIFO、RRSCHED_RR一眼见分晓。3.2 实操用renice调整一个CPU密集任务假设你发现一个后台数据处理进程占满了CPU而且业务上允许把它降级处理。这时候直接用renice调整它的nice值比乱杀进程安全得多。操作非常简单# 先从ps ax里找到目标进程PID例如PID是7723 ps ax -o pid,nice,comm | grep data_worker # 把nice值调成10让它让出CPU renice -n 10 -p 7723 # 再确认一遍是否生效 ps ax -o pid,nice,comm | grep data_worker需要注意普通用户只能把自己进程的nice值调高变得更谦让不能调低只有root才能把进程nice值调到负数。另外renice对已运行的进程立即生效不需要重启进程这对线上问题非常友好。假如这个进程是个多线程程序调整时记得关注它的线程是否继承了这个属性必要时用ps -eLf查看线程级别的调度信息。从系统调度的角度看手动调整nice值之后CFS调度器会按新的权重重新计算vruntime推进速度。nice值高的进程vruntime增长速度相对快于是该进程在同等待遇下的实际CPU份额会下降。整个调整过程不需要重启、不需要改写代码这就是“读得懂ps ax、用得好调度器”带来的直接收益。3.3 CFS的公平幻觉vruntime的直觉理解进程调度领域里CFS最大的创新是“虚拟运行时间”这个概念。可以这样理解每个进程都有一个“累计跑量”度量调度器每次都挑累计跑量最少的进程来执行。nice值在这个过程中扮演的不是直接加分项而是一个分母系数。nice越低的进程在同一个真实运行时间段内其虚拟时钟走得越慢所以它更容易保持在队尾从而获得下一次执行机会。用生活类比的话这就像一个多窗口排队每个人办理业务的速度相同但你把“积分兑换”窗口设为高优先级后普通用户在低优先级窗口排队高优先级用户来了就能插队。CFS尽量做到不是靠绝对饥饿策略而是通过动态调整“虚拟份额”让所有进程都有兑现执行时间的可能。这也是为什么Linux桌面系统在你同时开编译任务和浏览网页时网页依然能保持一定响应速度——交互型进程虽然优先级没被显式拔高但系统对睡眠唤醒型的进程在vruntime上会有补偿机制。4. 排查实战三类高频故障的ax打法4.1 CPU飚高一秒揪出烧CPU的元凶遇到CPU打满绝大多数人习惯先开top看列表这没错。但top动态刷新的模式下进程列表会跳来跳去有时反而看不清到底谁在烧。我更建议在top之前先用一条命令定死现场ps ax --sort-%cpu -o pid,ppid,user,%cpu,%mem,stat,comm | head -n 15这条命令把所有进程按CPU使用率降序排列只取前15行。注意--sort后面加负号是降序。如果你想知道具体是哪个线程在消耗CPU再补一条ps -eLf查看线程号每条线程的PID列值不同但PPID相同通常可以从线程名定位到业务模块。如果进程跑在容器里/proc/PID/cgroup会直接显示容器ID顺着这个ID去查Pod或容器名命中速度非常快。还有一种场景CPU看着高但找不到明确的用户态进程。这时要怀疑内核线程或中断。跑ps ax看COMMAND列为中括号[xxx]的进程那是内核线程比如[kworker]、[ksoftirqd]。如果[ksoftirqd]对应的CPU核满载说明软中断异常下一步查网卡多队列、流量突变以及是否有硬币级的DPDK之类的程序抢占了CPU。使用ps ax批量配合top -bn1共同判断能帮你快速收敛排查范围。4.2 进程卡死与D状态无法kill的时候怎么办D状态是排查中最容易让人绝望的状态。你执行kill -9进程毫无反应你用任何命令去查进程它像一块石头一样卡在那。原因很简单进程直接卡在内核的IO等待路径或特定内核锁上而普通信号只有等到进程回到用户态才能被处理。如果它回不来信号自然无效。常见触发场景包括磁盘IO长时间无响应磁盘坏道、网络存储断开、NFS挂载点失联导致的访问卡死、内核文件系统bug、以及内存回收路径上的阻塞。排查思路是用ps ax确认进程是否处于D状态并记下PID。查看/proc/PID/status里的State字段确认是D还是R等其它状态。查看/proc/PID/wchan看它当前在内核中的等待函数或等待通道。用cat /proc/PID/stack查看内核调用栈需要root权限判断是否卡在某类锁或IO路径上。结合dmesg查看有无IO错误检查挂载点是否可用、磁盘smart值是否异常。如果确认是NFS挂载导致尝试用umount -l强制卸载挂载点如果是本地磁盘故障通常只能等待IO超时或者重启虚拟机/物理机。有些云厂商的云磁盘出现底层超时后也会导致D状态进程“拔不掉”。这时候最稳妥的办法是先保留现场信息然后有计划地重启、摘除异常存储。千万不要在生产环境盲目执行echo c /proc/sysrq-trigger这类强制宕机操作除非你已经做好容灾切换。4.3 僵尸进程Z状态的清理敲门砖僵尸进程大概是所有异常状态里最“吓人但往往不可怕”的存在。它的本质是进程资源已经被内核回收只剩下task_struct结构体占着PID、记录着退出码等待父进程调用wait系列函数进行最后清理。如果父进程一直不清理僵尸就会一直挂着。先看僵尸进程从哪里来ps ax -o pid,ppid,stat,comm | awk $3 ~ /Z/这条命令筛选出STAT列匹配Z的进程同时显示PID和PPID。如果僵尸进程的PPID是1也就是被init/systemd收养但systemd迟迟没有回收可以试试systemctl daemon-reexec刷新更多情况下僵尸的父进程是某个业务进程——它fork了子进程但没有wait它。这时候排查比较快找到父进程对应的服务看看代码里是不是遗漏了子进程回收或者是否用了信号处理去wait子进程。处理僵尸进程的正确方式不是直接kill僵尸本身因为僵尸已经死了kill -9对它毫无意义。你要么让父进程正确wait要么直接处理父进程。如果父进程是临时起的一次性任务重启这个服务即可如果父进程是长期服务那就要修代码。需要注意的是大量僵尸进程堆积会导致PID耗尽新进程fork失败具体表现是日志里报Resource temporarily unavailable或fork: Cannot allocate memory。所以哪怕单个僵尸无害量级上来了也必须马上处理。5. 从看调度到做调度用ps ax验证任务生命周期5.1 验证cron任务别瞎猜日志定时任务跑没跑很多人第一反应是去翻日志。但cron日志有可能被截断、被轮转、或者干脆没配日志。我更喜欢直接看证据任务如果还在执行进程列表里一定会有它的身影。比如有一个每小时跑一次的数据同步脚本怀疑它这一轮卡住了直接执行ps ax -o pid,etimes,stat,comm,args | grep sync_data.shetimes是进程已运行秒数stat能看出它是正常sleep还是在疯狂消耗CPU。如果看到任务进程还在但etimes远超脚本正常执行时间那就是脚本卡住了需要进一步去看内部日志或strace。如果任务进程不存在而当前时间确实在cron安排的窗口里那就说明cron可能没触发或者触发后秒退了下一步转查cron服务和系统日志。这里有个小坑grep会把grep自身的进程也匹配出来。虽然这条命令里grep不在输出里因为我匹配的是sync_data.sh但如果你用ps ax | grep 关键词这种写法很可能看到一条grep进程自己匹配自己初学者常常被误导。规避方法就是用pgrep -af 关键词或者ps ax | grep 关键词 | grep -v grep。不过我还是推荐pgrep它本身就是干这个的干净利落。5.2 给任务加超时timeout命令的隐藏价值排查中经常发现一个脚本“卡死了还没人能及时发现”。与其事后救火不如在写任务时就用系统自带工具把超时控制做好。timeout命令是coreutils自带的很适合给命令加执行时限timeout 600s sh /opt/scripts/sync_data.sh这句命令的意思很直白让sync_data.sh最多跑600秒超时后发送默认的SIGTERM信号给孩子进程。如果应用对SIGTERM不敏感还可以强制指定timeout --kill-after30s 600s sh /opt/scripts/sync_data.sh这表示600秒超时后先发SIGTERM再过30秒还不退出就发SIGKILL。配合cron使用可以极大减少任务卡死无人管的局面。而且你依然能用ps ax去验证在600秒窗口内任务进程的etimes会少于600秒超时点一到进程会消失日志和退出码告诉你它被timeout干掉了。5.3 nohup、setsid与TTY?的后台进程聊到进程生命周期还有个绕不开的话题前台进程和后台进程。用ps ax看进程列表时TTY列为?的进程是没有控制终端的典型代表是系统服务、守护进程。如果你自己启动一个长时间运行的脚本直接./job.sh 虽然能丢到后台但它依然和当前终端会话绑定一旦你关闭SSH终端会收到SIGHUP信号进程很可能随之退出。所以我通常这样启动需要长期跑的脚本nohup sh /opt/scripts/job.sh /tmp/job.log 21 nohup的作用就是忽略HUP信号让进程在终端退出后继续跑。更彻底一点可以用setsid它会直接让进程成为新会话的领头进程完全脱离当前终端。启动后再用ps ax确认一下TTY列是不是变成?就能确定它已经成功“洗白”成后台守护进程。这个习惯能帮你避免很多“明明后台运行了终端一关就断”的尴尬。6. 常见误判与问题速查最后整理一份我平时用得最多的快速参考表很多问题只要对照这个表方向就不会跑偏。场景/现象如何用ps ax定位错误做法正确处理方向CPU使用率飙高ps ax --sort-%cpu取前几条盲目kill -9先判断是业务热点还是异常进程必要时限流进程卡死kill无效看STAT是否为D反复kill -9查IO、NFS、/proc/PID/stack、dmesg僵尸进程增长ps ax过滤Z状态尝试kill僵尸本身找PPID处理父进程或修代码任务明明该跑但没跑ps ax查任务进程只信cron日志检查cron服务、脚本退出码、超时配置后台任务跟着终端一起死ps ax看TTY是否连线nohup或screens混用使用nohup/setsid并确认TTY普通进程被饿死看CLS、PRI、NI列直接提高另一进程优先级检查是否存在实时进程抢占审慎调整nice负载高但CPU低查D状态数量死盯CPU占用率重点查磁盘IO、NFS、内存回收还有三个比较“虚”但实际很有用的体会分享给你。第一不要等到故障发生了才想起ps ax。平时就应该把进程状态分布、关键进程的PID都记在脑子里。熟悉正常情况下的“进程基线”出问题时才能一眼看出哪里不正常。第二用ps ax观察调度结果时要结合时间维度。单次快照只能看到当下最好配合watch -n 1 ps ax --sort-%cpu | head -10看变化趋势或者用pidstat记录历史曲线。单点数据说明不了趋势趋势才是诊断依据。第三所有调度相关的调整都应该是可回退的。修改nice值、设置实时优先级、调整cron超时动手前先记录原始值改完后再验证一次。我的习惯是每次调整都用ps ax截图或记录输出这一步在回滚问题时会救命。我在实际排查里看到太多人把ps ax当成了“看一眼就走的命令”但它其实是理解Linux进程和调度最廉价、最直接的一扇窗。把这一行的每个字段读熟很多看似玄学的系统问题在你这儿都会变成明牌操作。