最近帮人处理一台 Ubuntu 升级后重启直接停在 initramfs 提示符的机器键盘敲了半天没反应等好不容易能输入了umount又报 target is busypivot_root直接给我 Invalid argument。那台机器没有外接光驱手边也没有 live CD唯一的入口就是这个残缺的 initramfs。我在里面折腾了一个下午最后靠一个叫 nullfs 的“空壳层”思路把 rootfs 顺利卸载并换成了真实根。本文把原理、实操和踩坑都记录下来如果你是做系统救援、定制 initramfs、或者对 Linux 换根机制感兴趣的人应该能用上。1. 现场还原ubuntu升级后停到initramfs到底卡在哪了1.1 键盘不能输入先别急着开骂先说说那个让很多人血压升高的场景系统提示升级完成重启结果屏幕没有落到登录界面而是停在 initramfs 的 busybox shell 提示符。你按键盘屏幕没反应仿佛整个机器变成了一块砖。遇到这种情况第一反应是怀疑键盘坏了其实大多数时候是 initramfs 里没有对应的 USB 键盘驱动。Ubuntu/Debian 的 initramfs 默认只打包了根磁盘必要的模块usbhid、ehci/xhci 这些驱动如果没被检测到就不会被带进内存根。你的键盘在 GRUB 阶段还能用是因为 GRUB 有独立的 USB 栈一进入内核驱动没加载键盘自然就“死”了。排查方法很笨但有效看键盘灯是否还亮着灯亮说明硬件通电问题多半在驱动层。找一个 PS/2 圆口键盘插上去PS/2 是内核原生支持的通常能直接输入。如果能进入 shell执行ls /dev/input和cat /proc/bus/input/devices看内核认不认设备。在 GRUB 启动项上临时加usbhid到 initrd 的模块列表或者加rootdelay10等参数给 USB 设备枚举留时间。键盘问题只是导火索。真正让人崩溃的是当你终于能敲命令了却发现自己拿 initramfs 里这个根文件系统毫无办法。1.2 能输入之后更崩溃的问题来了rootfs 动不了进入 initramfs shell 后常规救援思路是把硬盘上的真实根分区挂到一个目录然后 chroot 进去修系统。于是你执行mount /dev/sda2 /mnt这一步通常没问题。但如果你想“干净地”切到真实根把 initramfs 的根卸载掉麻烦就来了。umount /会告诉你 target is busypivot_root会告诉你 Invalid argument。原因在于 initramfs 的根不是普通文件系统。内核启动时把 initramfs 的 cpio 包解压到内存里挂在rootfs上。这个 rootfs 可能是 ramfs也可能是 tmpfs取决于内核配置。它和你在用户态挂的 ext4、xfs 完全是两回事普通挂载点可以卸载rootfs 是内核“根中之根”挂在挂载树的最顶端内核不允许你把它随便拆掉也不允许把它当作pivot_root的新根。用cat /proc/self/mountinfo能看得特别清楚1 0 0:1 / / rw,relatime - rootfs rootfs rw第一列是挂载 ID第二列是父挂载 ID。rootfs 的父挂载 ID 是 0也就是说它在挂载树里没有爹是祖宗节点。对这样一个节点执行umount内核直接拒绝。1.3 换根的三条路线既然要切到真实系统业界有几种做法我把它们放到一起对比方案核心动作优点痛点switch_root清空 rootfs 上所有文件把新根挂到根目录再 exec chrootinitramfs 标准方案busybox 自带稳定会删除旧根文件不可回退要求新根目录可写pivot_root把新根设为当前根旧根挂到指定子目录保留旧根现场适合救援和调试对 new_root 和 put_old 要求多旧 rootfs 仍然难以卸载nullfs 空壳层先用空壳挂载点“架空” rootfs再 pivot_root最后卸载旧根能真正 umount 掉旧 rootfs保留现场可回退需要理解挂载树原理步骤比 switch_root 多大多数发行版默认走 switch_root因为它就是为“一次性启动”设计的。但如果你需要的是“旧根还能再抢救一下”或者想让 initramfs 里的工具和现场环境保留到切换之后switch_root 就不够用了。这时候nullfs 这个空壳思路就有了用武之地。2. 认识 nullfs这层“空壳”为什么能让 rootfs 退休2.1 从 BSD 借来的名字Linux 里怎么理解nullfs 这个名字在老 BSD 系统里很常见作用是挂载一个“透明的转发层”把一个目录原样映射到另一个挂载点。而 Linux 主线内核并没有标准的 nullfs 文件系统很多嵌入式或魔改内核里倒是有类似实现挂载后就是一个空目录读写操作基本被丢弃或拒绝。我在 rescue 场景里说的 nullfs重点不是那个文件系统本身而是它的“空壳”特质你需要一个独立挂载点盖在 rootfs 上面让 rootfs 从“根挂载点”退化成“被覆盖的旧目录”。如果内核没有 nullfs 模块tmpfs 空挂载点也能承担同样的角色。实操时我会这样判断modprobe nullfs 2/dev/null mount -t nullfs nullfs /nullroot 2/dev/null || mount -t tmpfs tmpfs /nullroot在内核恰好带 nullfs 的机器上优先用它没有的时候tmpfs 在“满足新根必须是挂载点”这个要求上完全等价。关键不是文件系统叫什么而是它能不能在你执行 pivot_root 之前给你一个合法的挂载点。2.2 挂载点覆盖与引用计数空壳是怎么“骗”过内核的理解这套方案先要理解 Linux 挂载树的“覆盖”机制。VFS 里的挂载点是一棵树你把新文件系统挂到某个目录上时这个目录原本的内容并不会立即消失只是被新挂载点“盖住”了。所有从根路径访问该目录的请求都会落到新的挂载点而不是旧目录。rootfs 卡住不让你卸载核心原因是它身上还有引用当前进程的根目录、当前工作目录、挂载树父子关系任何一个引用没断umount都会报 busy。nullfs 空壳层做的事情就是先在那个顽固的 rootfs 之上加一层新的挂载点把“根”的角色交接出去。可以类比成换门老房子的大门旧了你想拆掉换新的但一家人还住里面门拆不了。正确做法是先在外侧装一个新门所有人从新门进出等老门彻底没人用了再把它拆走。nullfs 就是那个新门rootfs 就是老门。当你把进程根目录切到新根后rootfs 其实已经没有任何进程在使用它了。它之所以还赖在挂载树里只是因为内核把它当成初始根节点。这时普通umount依然会碰壁但umount -l可以强制把整个挂载子树从挂载树里剪掉。这一步做完rootfs 就真正“退休”了。2.3 和 switch_root 的本质区别switch_root 的动作是“清场”它会把 oldroot 里的所有文件递归删除然后mount --move把新根挂到根目录最后 exec chroot。这样做的好处是非常干净坏处是 initramfs 里的一切都被销毁了。如果切根之后你发现新根起不来想退回 initramfs 调试已经没机会了。nullfs 空壳层的动作是“架空”先把旧根隐藏起来切根成功后再按需处理旧根。你可以选择umount -l彻底释放也可以先在旧根里拷贝点日志、提取点配置然后手动释放。对于做救援的人来说多留一手就是多一条活路。所以我个人建议正常启动流程用系统自带的 switch_root 就好没必要炫技一旦涉及 rescue、调试、定制 initramfsnullfs 这套思路才值得搬出来。3. 实操在 initramfs 里用 nullfs 完成 umount 和 pivot_root3.1 先确认环境能用哪些工具进到 initramfs shell 后先别急着敲。确认三件事有没有/proc、/sys、/dev三个虚拟文件系统挂载。没有就手动挂。busybox 里带没带pivot_root和mount。绝大多带但极简架构可能会阉割。真实根分区是哪个设备。用lsblk或blkid看不要猜。基础环境准备命令mount -t proc proc /proc mount -t sysfs sys /sys mount -t devtmpfs dev /dev没有 /dev 的话很多设备节点不存在后续操作会很痛苦。devtmpfs 是内核直接维护的设备文件系统initramfs 下一般都能挂。3.2 完整命令序列可以直接抄的版本下面这套命令我在虚拟机里反复跑过逻辑是通的。设备路径请按你自己的实际情况改我这里假设真实根是/dev/sda2。# 1. 挂载基础虚拟文件系统 mount -t proc proc /proc mount -t sysfs sys /sys mount -t devtmpfs dev /dev # 2. 找到并挂载真实根先只读检查 mkdir -p /target mount -o ro /dev/sda2 /target # 3. 创建空壳层 mkdir -p /nullroot if modprobe nullfs 2/dev/null; then mount -t nullfs nullfs /nullroot else mount -t tmpfs tmpfs /nullroot fi # 4. 把真实根挂载点挪进空壳层 mkdir -p /nullroot/target mount --move /target /nullroot/target # 5. 进入新根创建 oldroot 存放旧 rootfs cd /nullroot/target mkdir -p oldroot # 6. 执行 pivot_root pivot_root . oldroot # 7. 把虚拟文件系统挪到新根 mkdir -p /proc /sys /dev mount --move /proc /proc mount --move /sys /sys mount --move /dev /dev # 8. 让旧 rootfs 真正卸载 umount -l /oldroot # 9. 切换到新根的 init exec chroot . /sbin/init这套序列里真正关键的是第 3、4、6、8 四步。后面我逐条拆给你看。3.3 步骤拆解每条命令都在干什么第 3 步创建空壳层。pivot_root要求新根必须是一个挂载点而且不能是 rootfs。initramfs 里你当前所在的根目录就是 rootfs直接pivot_root / /oldroot是行不通的。空壳层挂载点给了你一个“独立于 rootfs 的新挂载点”后续切根的目标就是它。第 4 步mount --move。这一步是把真实分区的挂载点从/target挪到/nullroot/target。很多教程会让你直接挂载到/nullroot/target效果一样。挪过去之后新根的真实文件系统已经挂在空壳层管辖范围内了。第 6 步pivot_root . oldroot。这里的.就是/nullroot/target它是一个挂载点的根目录符合内核要求。oldroot是它下面的目录用来接收原来的 rootfs。执行完之后当前进程的根已经变成真实根旧 rootfs 则被挂到/oldroot上。第 8 步umount -l /oldroot。这是普通方案里最难做到的一步。pivot_root 之后rootfs 已经不在根路径上但普通umount还是可能报 busy因为内核根挂载点引用还在。umount -l是懒卸载先脱离挂载树等引用清空再释放资源。如果你确实想让 rootfs 消失这里必须用它。这里我要特别提醒如果你是在生产机器上操作第 8 步之前先在旧 rootfs 里确认一下有没有需要保留的东西。因为懒卸载之后旧根里的调试工具、临时文件、内核模块就都不在了。3.4 把它固化到 initramfs以后升级不再手足无措手动敲命令适合救急但你不可能每次都记这么长一串。更好的做法是把这套逻辑写成一个脚本塞进 initramfs 的init流程里让它在检测到异常时自动执行。我一般会做成一个函数nullfs_switch_root() { local newroot$1 local nullroot/nullroot mkdir -p ${nullroot} modprobe nullfs 2/dev/null mount -t nullfs nullfs ${nullroot} 2/dev/null \ || mount -t tmpfs tmpfs ${nullroot} mkdir -p ${nullroot}/target mount --move ${newroot} ${nullroot}/target cd ${nullroot}/target mkdir -p oldroot pivot_root . oldroot mkdir -p /proc /sys /dev mount --move /proc /proc mount --move /sys /sys mount --move /dev /dev umount -l /oldroot exec chroot . /sbin/init }在调用它之前确保新根已经挂到了$newroot并且是真实分区。脚本里没有写死设备路径就是为了复用。放入 initramfs 前先在虚拟机里用一台装了 Ubuntu 的测试机过一遍确认你的内核支持这些挂载选项。4. 常见问题与排查技巧实录4.1 umount: target is busy这是我被问得最多的问题。出现这个提示本质上是还有进程的根目录或者当前工作目录在挂载点里或者挂载树内部还有子挂载点没解挂。排查思路# 看哪些进程还占着挂载点 fuser -m /oldroot # 或者用 lsof 看打开文件 lsof f -- /oldroot解决办法按优先级排列把还在旧根里跑的 shell 进程 kill 掉或者确认当前 shell 已经cd /到了新根。检查/oldroot/proc、/oldroot/sys、/oldroot/dev是否还挂着子文件系统有就先umount。最后才用umount -l。懒卸载是亲测有效的但心里要清楚它只是先让挂载点脱离命名空间如果挂载点还被其他进程持有资源要等那些进程退出才会释放。4.2 pivot_root: Invalid argument这个报错通常有两个原因。第一个原因当前目录不是挂载点。很多人把cd /nullroot/target漏了直接在空壳层目录执行 pivot_root内核认为 new_root 不合格。判断方法mountpoint .如果输出提示不是挂载点那就要先切进真实的挂载点目录。第二个原因new_root 和 put_old 在同一个文件系统里或者 put_old 不在 new_root 的下级路径。我们方案里把oldroot建在/nullroot/target下面天然满足要求。如果你手工改路径务必保证 oldroot 在 new_root 内部。4.3 键盘不能输入usbhid、rootdelay 与控制台再回到热词里那个典型故障。键盘不能输入的排查顺序我建议是这样先确认当前 shell 是不是真的接收输入。有时候是显示卡住不是键盘问题按 CtrlD 或回车看有没有回显。stty -F /dev/console sane把控制终端参数重置一下能解决一部分“看似键盘失灵”的问题。执行modprobe usbhid如果模块存在键盘通常会立刻恢复。如果模块不存在说明 initramfs 里没打包需要在/etc/modules或 initramfs-tools 的 hook 里加上 usbhid然后重新生成 initramfs。每一次在 initramfs 里遇到键盘失灵我都会先怀疑驱动再怀疑 tty别急着怪硬件。USB 键盘和无线键盘在 initramfs 阶段就是容易出问题这跟系统升级本身没有必然关系。4.4 问题速查表症状常见原因推荐处置initramfs shell 键盘没反应initramfs 缺 USB 键盘驱动modprobe usbhid加 rootdelay确认 ttyumount 报 target is busy进程或子挂载点占用fuser/lsof 查占用先解子挂载最后 umount -lpivot_root 报 Invalid argument新根不是挂载点或 put_old 路径不对mountpoint 检查cd 到挂载点根目录重新建 oldrootmount --move 失败目标目录不是空目录或不属于同一挂载树先 mkdir 空目录检查源挂载点是否正常chroot 后系统起不来真实根挂载不对或 init 路径错误用 ro 先挂载检查 fstab确认 /sbin/init 存在最后再分享一个小技巧这套空壳层思路不只救急做 live 系统也能用。把 squashfs 或 overlay 先挂到一个临时目录再 pivot_root 到它比传统 chroot 干净还能随时 umount 回 live 环境。我踩过几次坑之后反而越来越喜欢这种“贴封条”的方式。希望这篇记录能让你下次遇到 initramfs 时手上有一个比重启更从容的方案。