1. 缘起为什么我要在家里塞下60TB和18台服务器先交个底这套东西不是一天建成的也不是一拍脑袋就买的。我从最早一台蜗牛星际矿渣机开始折腾NAS到后来慢慢添置二手服务器、组K8s集群前后大概花了三年多时间。目前家里常驻的算力设备是18台其中真正跑业务的大概12台剩下的是备用节点和测试机存储池裸容量60TB出头可用容量在45TB上下网络侧是双K8s集群一个跑生产级自建服务一个专门用来做破坏性实验。很多人第一次听到这个规模会问同一个问题你一个人用得着吗说实话纯从“用”的角度一台四盘位NAS加一台迷你主机就够了。但我做这套东西的核心目的不是“用”而是“练”和“验证”。K8s集群搭建、服务器虚拟化、对象存储服务、GPU算子调度这些技能你在公司里能碰到的永远是别人搭好的环境你只能在外围打转。只有自己从裸机开始从BIOS、RAID、网络桥接、存储池、容器运行时一层层往上搭才会真正理解一个分布式系统在出问题的时候故障是怎么传导的。所以这篇导览不是炫配置而是把我这几年踩过的坑、做过的取舍、以及2026年当下这套环境的真实状态完整地摊开讲一遍。适合谁来读如果你正在考虑搭自己的家庭实验室或者你已经在跑K8s但想扩展到多节点、带GPU、带大容量存储那这篇内容应该能帮你少走至少半年的弯路。如果你只是好奇“60TB到底能装什么”那也可以当一篇配置参考来看。先给一个整体轮廓方便你建立空间感类别数量/容量主要用途计算节点18台K8s工作节点、虚拟化宿主、GPU推理存储裸容量60TBNAS、对象存储、备份池K8s集群2套生产集群、实验集群GPU2块推理、算子验证网络2.5G10G混合存储内网、业务外网分离下面我按“整体设计思路 → 核心细节 → 实操过程 → 问题排查”这个顺序展开每一块都会讲清楚我为什么这么选以及你如果照做需要注意什么。2. 整体设计与思路拆解2.1 为什么是“双集群”而不是一个大集群一开始我也想过把所有节点塞进一个K8s集群用namespace做隔离。但实际跑下来发现两个致命问题。第一实验性操作会污染生产环境。K8s的很多故障是集群级别的比如etcd压力过大、CNI插件配置错误、kube-proxy规则异常这些一旦发生整个集群的Pod网络都会抖。你不可能在跑着自建服务的集群上随便改CNI配置。第二资源争抢不可控。实验集群经常要跑一些吃满CPU和内存的压测任务如果和生产Pod混在一起QoS再怎么做也会互相影响。所以最终方案是物理隔离生产集群3台控制面加5台工作节点实验集群1台控制面加3台工作节点剩下的机器做虚拟化宿主和存储。两个集群共用一套物理网络但VLAN隔离存储流量走独立的10G内网。这个设计的好处是实验集群我可以随便折腾哪怕把etcd搞崩了生产集群完全不受影响。提示如果你预算有限只能搭一个集群至少要把控制面和etcd单独放不要和工作负载混部。etcd对磁盘IO延迟极其敏感一旦和工作负载抢磁盘整个集群的API响应会变得非常慢。2.2 存储分层为什么不用一套存储打天下60TB听起来很多但如果全部做成一个池子性能和管理都会出问题。我的做法是分三层第一层是高速池用NVMe SSD做缓存和热数据容量大概4TB跑数据库、etcd、容器镜像仓库。第二层是容量池用机械盘做RAIDZ2容量约40TB跑NAS共享、媒体库、备份。第三层是对象存储池用MinIO做S3兼容接口容量约16TB专门给K8s里的应用做持久化后端。为什么对象存储要单独一层因为K8s里的有状态应用如果用PVC挂块存储迁移和扩容都很麻烦。而S3接口的好处是应用无状态化Pod漂到哪个节点都能访问同一份数据。MinIO在家庭环境里足够用单节点多盘模式就能跑出不错的吞吐。如果你考虑替代者Ceph也能做但Ceph的运维复杂度在家庭环境里是灾难级的我试过一轮就放弃了。2.3 网络设计2.5G和10G怎么分配网络这块我走过最大的弯路就是一开始全用千兆。千兆跑NAS勉强够但一旦涉及K8s节点间的etcd同步、镜像拉取、存储复制立刻成为瓶颈。后来我改成混合方案管理网和业务网走2.5G存储内网走10G。存储内网用一台二手万兆交换机单独组网不经过主路由。这样做的理由是存储流量是东西向流量特点是突发大、持续时间长如果和上网流量混在一起家里其他人看视频都会卡。独立组网之后存储复制可以跑满万兆同时不影响外网访问。DDNS配合动态公网地址访问NAS的需求也通过主路由的端口转发单独处理和存储内网完全隔离。3. 核心细节解析与实操要点3.1 服务器选型二手企业级还是全新迷你主机这是每个搭家庭实验室的人都会纠结的问题。我的答案是混合使用。核心存储和虚拟化宿主用二手企业级服务器比如Dell R730、HP DL380 G9这类优点是内存槽多、盘位多、带IPMI远程管理缺点是噪音大、功耗高。边缘计算节点和实验节点用迷你主机比如N100、N305的小机器优点是安静省电缺点是扩展性差。具体到我的18台4台企业级2U做虚拟化和存储8台迷你主机做K8s工作节点3台做控制面剩下3台是各种测试机。这个配比是经过多次调整的。早期我全是企业级结果电费一个月多出好几百后来把轻负载全部迁到迷你主机电费直接降了一半。注意买二手服务器一定要检查RAID卡电池和硬盘背板。我遇到过RAID卡电池失效导致写缓存被禁用存储性能直接掉到十分之一。另外IPMI固件要升级到最新老版本有安全漏洞。3.2 K8s集群搭建kubeadm还是二进制网上关于K8s安装部署的教程很多k8s权威指南第五版pdf下载也是热搜词但真正动手的时候第一个选择就是安装方式。我的建议是生产集群用kubeadm实验集群用二进制或者k3s。kubeadm的好处是标准化升级路径清晰社区支持好。缺点是隐藏了很多细节出问题的时候你不知道底层发生了什么。所以我建议你在实验集群里用二进制方式手动装一遍把etcd、apiserver、controller-manager、scheduler、kubelet、kube-proxy一个个启动起来理解它们之间的证书和通信关系。装完一遍之后再用kubeadm装生产集群这时候你对整个体系的理解完全不一样。具体到版本选择2026年当下建议用1.30以上的版本因为1.29之后很多API已经稳定比如Gateway API、Pod Scheduling Readiness这些。容器运行时用containerd不要再用Docker了K8s 1.24之后已经移除dockershim继续用Docker只会给自己找麻烦。3.3 GPU接入两块显卡怎么分配给K8s我手上有两块GPU一块是NVIDIA RTX 4060 Laptop GPU一块是Intel UHD Graphics。前者跑CUDA推理后者跑一些轻量级的视频转码和OpenVINO推理。在K8s里接入GPU需要装device pluginNVIDIA的插件叫k8s-device-pluginIntel的用intel-device-plugins-operator。这里有个坑RTX 4060 Laptop GPU是移动版核心驱动和桌面版不完全一样。pytorch安装教程gpu里通常讲的是桌面版你如果照着装可能会遇到驱动版本不匹配。我的做法是先装NVIDIA官方驱动确认nvidia-smi能正常输出再装CUDA Toolkit最后装PyTorch的CUDA版本。顺序不能反否则会出现各种奇怪的库冲突。GPU在K8s里的调度单位是整卡不支持显存切分除非用MIG但消费级卡不支持。所以如果你的推理服务只需要2GB显存剩下6GB就浪费了。解决办法是用时间片轮转多个Pod共享一块卡但这样会有上下文切换开销。我的做法是把大模型推理和轻量推理分开大模型独占卡轻量推理走CPU或者Intel核显。3.4 存储实现ZFS、MinIO和NAS共享怎么共存存储这块是家庭实验室里最复杂的部分。我的方案是底层用ZFS做池管理上层分别导出iSCSI、NFS、SMB和S3。ZFS的好处是数据完整性校验、快照、压缩、去重一应俱全而且RAIDZ2能容忍两块盘同时故障。具体配置上容量池用8块8TB机械盘做RAIDZ2可用容量约40TB。高速池用4块1TB NVMe做mirror可用约2TB。对象存储池用4块4TB做RAIDZ1可用约12TB。ZFS的recordsize根据用途调整跑数据库的卷用16K跑媒体库的用1M跑虚拟机的用64K。MinIO部署在K8s里用PVC挂ZFS卷。这里要注意MinIO官方推荐用本地盘直通但在家庭环境里用PVC也能跑只是性能会有损耗。实测下来单节点MinIO在万兆网络下能跑到600MB/s左右足够家庭使用。如果你追求更高性能可以考虑把MinIO直接跑在宿主机上用hostPath挂载。NAS共享这块SMB给Windows设备用NFS给Linux和K8s用iSCSI给需要块设备的虚拟机用。群晖NAS和飞牛NAS我都用过群晖胜在生态成熟飞牛胜在免费和硬件灵活。如果你要装Dify这类AI应用飞牛NAS的Docker管理界面比群晖更友好。4. 实操过程与核心环节实现4.1 从裸机到K8s节点完整初始化流程这一节我按真实操作顺序写你可以直接照着做。假设你有一台刚装好Ubuntu 22.04的机器要把它变成K8s工作节点。第一步系统初始化。关闭swap因为K8s要求swap关闭否则kubelet会报错。执行swapoff -a并注释掉/etc/fstab里的swap行。然后加载内核模块cat EOF | tee /etc/modules-load.d/k8s.conf overlay br_netfilter EOF modprobe overlay modprobe br_netfilter第二步配置网络参数。K8s需要iptables能正确转发桥接流量cat EOF | tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-iptables 1 net.bridge.bridge-nf-call-ip6tables 1 net.ipv4.ip_forward 1 EOF sysctl --system第三步安装containerd。不要用apt自带的版本太老。从官方仓库下载wget https://github.com/containerd/containerd/releases/download/v1.7.20/containerd-1.7.20-linux-amd64.tar.gz tar Cxzvf /usr/local containerd-1.7.20-linux-amd64.tar.gz然后配置containerd使用systemd cgroup驱动这一步很关键不配置的话kubelet和containerd的cgroup驱动不一致Pod会启动失败。第四步安装kubelet、kubeadm、kubectl。用阿里云的镜像源速度会快很多。安装完成后apt-mark hold锁定版本防止意外升级。第五步加入集群。在生产集群的控制面生成token然后在工作节点执行kubeadm join。加入之后用kubectl get nodes确认状态是Ready。提示如果你的节点加入后一直是NotReady先检查CNI插件是否安装。没有CNI节点永远不会Ready。Calico和Flannel选一个就行家庭环境推荐Flannel简单稳定。4.2 存储池创建ZFS命令逐条解析ZFS池的创建是整个存储环节的基础命令写错可能导致数据丢失所以每一步都要确认。创建容量池zpool create -o ashift12 tank raidz2 /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdhashift12是4K对齐对现代硬盘是必须的设错了性能会打折。raidz2是双校验容忍两块盘故障。创建高速池zpool create -o ashift12 fast mirror /dev/nvme0n1 /dev/nvme1n1创建数据集并设置属性zfs create tank/media zfs set recordsize1M tank/media zfs set compressionlz4 tank/media zfs set atimeoff tank/mediacompressionlz4几乎不消耗CPU但能省不少空间。atimeoff减少不必要的写操作。这些属性看起来小但累积起来对性能和寿命影响很大。创建快照和自动快照zfs snapshot tank/media20260101 zfs set com.sun:auto-snapshottrue tank/media自动快照需要装zfs-auto-snapshot工具配置好之后每天自动打快照保留策略可以自定义。4.3 MinIO部署K8s里的对象存储MinIO在K8s里的部署方式有两种单节点多盘和分布式多节点。家庭环境推荐单节点多盘简单可靠。先创建PVC挂载ZFS数据集。然后写DeploymentapiVersion: apps/v1 kind: Deployment metadata: name: minio spec: replicas: 1 selector: matchLabels: app: minio template: metadata: labels: app: minio spec: containers: - name: minio image: minio/minio:latest args: - server - /data - --console-address - :9001 env: - name: MINIO_ROOT_USER value: admin - name: MINIO_ROOT_PASSWORD value: yourpassword ports: - containerPort: 9000 - containerPort: 9001 volumeMounts: - name: data mountPath: /data volumes: - name: data persistentVolumeClaim: claimName: minio-pvc部署完成后用NodePort或者Ingress暴露9000端口。然后进控制台创建bucket配置访问密钥。K8s里的应用用S3 SDK访问endpoint填MinIO的Service地址。注意MinIO的默认密码一定要改而且不要用简单密码。我遇到过扫描器扫到暴露的MinIO端口尝试暴力破解。家庭环境虽然风险低但基本的安全习惯要有。4.4 GPU算子验证从驱动到PyTorchGPU接入K8s之后怎么验证它真的能用我的做法是跑一个简单的CUDA算子测试。先确认节点上GPU被识别kubectl describe node gpu-node | grep nvidia.com/gpu应该能看到nvidia.com/gpu: 1。然后部署一个测试PodapiVersion: v1 kind: Pod metadata: name: gpu-test spec: containers: - name: cuda image: nvcr.io/nvidia/pytorch:24.05-py3 command: [python, -c] args: - import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0)) resources: limits: nvidia.com/gpu: 1如果输出True和显卡型号说明GPU接入成功。这里涉及到一个概念叫cooperative thread array也就是CUDA里的线程块和warp的关系是一个warp是32个线程一个CTA可以包含多个warp。理解这个层级关系对写高效算子很重要但如果你只是跑推理暂时不用深究。5. 常见问题与排查技巧实录5.1 K8s节点NotReady的排查顺序这是最高频的问题。我的排查顺序是先看kubelet状态再看CNI再看证书最后看资源。systemctl status kubelet journalctl -u kubelet -n 100如果kubelet报证书错误检查/etc/kubernetes/kubelet.conf里的证书是否过期。K8s证书默认一年过期到期后节点会NotReady。用kubeadm certs renew all续期然后重启kubelet。如果kubelet正常但节点还是NotReady检查CNI Pod是否运行kubectl get pods -n kube-system | grep -E calico|flannelCNI Pod起不来通常是镜像拉取失败手动docker pull或者ctr pull一下。5.2 存储性能突然下降的几种原因ZFS池性能下降最常见的原因是碎片和空间占用过高。ZFS在池使用率超过80%之后性能会明显下降所以建议保留20%以上的空闲空间。另外如果开了去重去重表会消耗大量内存内存不足时性能会崩。家庭环境不建议开去重压缩就够了。另一个常见原因是RAIDZ的写放大。RAIDZ2的写性能受限于最慢的那块盘而且每次写都要计算校验。如果写性能突然下降检查是否有盘出现坏道zpool status -v如果有盘报错及时更换。ZFS的热备盘可以自动顶替但需要提前配置spare。5.3 GPU崩溃和D3D设备移除的应对Windows下常见的“GPU发生崩溃或D3D设备已移除”在Linux下对应的是Xid错误。用nvidia-smi -q查看Xid如果是Xid 13或31通常是驱动问题升级驱动。如果是Xid 48是ECC错误消费级卡没有ECC忽略即可。在K8s里如果GPU Pod突然失败先看节点上的dmesgdmesg | grep -i nvidia常见问题是GPU被其他进程占用比如宿主机上跑了X server。解决办法是宿主机不装桌面环境纯命令行运行。5.4 常见问题速查表问题现象可能原因解决方法节点NotReady证书过期kubeadm certs renew allPod一直Pending资源不足或污点检查节点资源和taints存储写入慢池使用率过高清理空间或扩容GPU Pod失败驱动不匹配重装对应版本驱动网络不通CNI配置错误重装CNI插件etcd响应慢磁盘IO不足换SSD或独立磁盘提示家庭实验室最大的优势是你可以随便重启、随便重装。遇到搞不定的问题先拍快照然后大胆重装。我很多经验都是重装十几次之后才总结出来的。6. 一些个人体会和后续扩展方向这套环境跑到现在最深的体会是瓶颈永远不在硬件而在你的时间和精力。60TB存储、18台服务器听起来很唬人但真正每天在用的可能就那几台。大部分机器处于低负载状态电费和噪音才是日常成本。所以如果你刚开始搭我的建议是从一台机器开始跑通一个完整的流程再逐步扩展。不要一上来就买一堆设备最后发现大部分在吃灰。后续我打算往两个方向扩展。一是把部分推理任务迁到边缘节点用K3s做轻量级集群减少对中心集群的依赖。二是把备份策略做得更完善目前是本地快照加异地冷备未来考虑加一层云上冷存储但要看成本是否划算。如果你也在搭类似的环境欢迎交流。踩过的坑越多经验越值钱这句话在家庭实验室里尤其成立。