1. 项目概述与核心思路1.1 iSCSI 是用来干什么的从年初开始我陆陆续续给几台测试服务器和一台存储服务器配了 iSCSI 挂载折腾下来最大的感受是这玩意儿比想象中简单但坑也比想象中多。先给还没接触过的朋友把概念捋一遍iSCSI 全称是 Internet Small Computer System Interface说人话就是——把一块远程的硬盘通过 TCP/IP 网络像本地磁盘一样接到你的服务器上。它和 NFS、SMB 这类文件共享协议最大的区别在于iSCSI 工作在块级别客户端看到的是一个裸块设备比如/dev/sdb不是文件夹因此可以在上面任性地分区、格式化、跑数据库、做 LVM、塞给虚拟机当磁盘用。我这次的实际场景是给一台跑虚拟化的主机扩充存储。原来的思路是加一块物理硬盘但机器硬盘槽位紧张而且后续扩容也不方便。后来查了下机房里那台存储服务器平时只用了一半不到的磁盘决定直接在上面划一个 LUN通过 iSCSI 网络挂给虚拟化主机。整个过程从规划到完成大概花了一个下午真正手动敲命令的时间不到半小时中间大部分时间都花在排错上。所以写这篇文章把服务端和客户端两侧的完整配置都记下来给后面要弄的人省点事。1.2 为什么不用 NFS 或 SMB非要 iSCSI肯定有人问共享存储那么多选择NFS 不是更简单吗确实如果只是把文件丢在服务器上共享NFS/SMB 是更省事的选择协议层帮你做了文件锁、权限、目录结构挂载完就能用。但遇到这几种场景iSCSI 就有不可替代的优势第一需要完整的块设备语义。比如要在共享存储上装 Windows 不能装到 NFS 里虚拟化平台KVM、VMware的数据存储如果要走文件级协议性能损耗和兼容性问题都比较头疼。而 iSCSI 呈现的是裸块设备存储上所有事情由客户端说了算你可以在上面初始化 GPT 分区表、创建 vg 做 LVM甚至直接放整块给数据库裸设备灵活性完全由你掌控。第二多路径和高可用需要多连接。iSCSI 天生支持 Multipath可以在客户端创建多条 session 连接同一个 LUN配合 bonding 或独立网卡实现链路冗余和负载均衡。NFS 虽然也能多路径但配置复杂度高得多而且很多平台不支持原生多路径。第三行为最接近直连本地盘。对于数据库、虚拟化这类随机 IO 密集的场景iSCSI 的开销更低因为内核里 SCSI 子系统和块层是原生支持的路径不需要额外的文件系统转换层。对像我这种用普通千兆网络跑测试环境的人来说性能瓶颈通常在网络上但协议的语义开销确实要比 NFS 小。当然 iSCSI 也有它的问题比如部署要操心的东西更多ACL、认证CHAP、多路径、持久化配置这些在后端都是配置项写错一个就可能挂不上或性能异常。所以下文我把值得注意的都标注出来。1.3 环境规划与拓扑说明我这次实验环境分两台机器存储服务器服务端 / TargetUbuntu 24.04 LTS双网卡IP 为192.168.10.10跑targetcli管理 iSCSI Target。存储介质是一块 2TB SAS 盘和一个 SSD 缓存盘。虚拟化主机客户端 / InitiatorRocky Linux 9.2IP 为192.168.10.20通过 iSCSI 连接 Target 上的 LUN把它作为 QEMU/KVM 的虚拟机存储池。生产环境下通常会把 iSCSI 流量单独走一张网卡或 VLAN避免和业务流量互抢带宽。我这里测试环境没这么讲究但为了踩踩多路径的坑我给客户端加了一张万兆网卡并且启用了 Multipath。这个后面在性能调优章节会展开说。规划清楚了就动手。下面先讲服务端配置再讲客户端挂载最后是我踩过的一堆坑和排查思路。2. 服务端配置用 targetcli 建一个 iSCSI Target2.1 安装与启动 targetcli服务端配置最核心的工具是targetcli这是 Linux 上管理 LIOLinux IO Target的命令行工具几乎所有主流发行版都有现成包。Ubuntu 上安装sudo apt update sudo apt install -y targetcli-fb sudo systemctl enable --now targetcli注意 Ubuntu 上包名是targetcli-fbCentOS/Rocky 上是targetcli命名略有差异但命令和用法完全一致。安装完确认一下内核模块有没有加载sudo lsmod | grep target_core如果target_core_mod和target_core_user等模块存在就说明 LIO 已经可用。万一没加载可以手动modprobe target_core_mod拉起来但这在标准内核上基本不会出现。安装好之后不要急着敲命令建议先规划好三样东西LUN 对应的块设备、Target 的 IQN 名称、客户端允许列表。IQN 的全称是 iSCSI Qualified Name格式一般是iqn.2025-01.com.example:storage1。这里2025-01是你的域名反向解析日期com.example是你的域名反写:storage1是自定义标识。理解成“这个存储域的叫一个唯一编号”就行在整个网络内不能重复。我见过有人顺手乱写个iqn.test后面管理和排错的时候把自己坑得不轻所以建议第一次就按规范命名。2.2 创建块后端并暴露 LUN我的存储服务器上全新的一块 800GB 未分区盘/dev/sdb打算直接整盘作为 LUN 暴露出去。进入targetcli交互界面sudo targetclitargetcli是交互式的但也可以一条条命令敲有点像思科设备的命令行。以下是我执行的核心操作/ cd backstores/block /backstores/block create block1 /dev/sdb Created new block device block1 with size 800 GiB.block1是后端的别名/dev/sdb是对应的块设备。如果磁盘上已经有分区或文件系统用lsblk看一下上传整块盘或是分区都可以。但如果是整块盘确认盘上没有任何重要数据因为 Target 会直接接管这块盘Clinet 格式化后该盘原内容会全部消失。接着创建 iSCSI Target/ cd /iscsi /iscsi create iqn.2025-01.com.example:storage1 Created target iqn.2025-01.com.example:storage1.这个命令会自动在该 Target 下创建好默认的tpg1Target Portal Group可以把它理解成一个“接入点组合”里面有 portal、LUN、ACL 这些子配置项。再把刚创建的 block 后端挂到 target 上/ cd iqn.2025-01.com.example:storage1/tpg1/luns /iscsi/iqn.../tpg1/luns create /backstores/block/block1 Created LUN 0. Created LUN 0.这里显示LUN 0表示这是该 Target 的第一个逻辑单元号。客户端看到的盘符如/dev/sdb由客户端自行分配和 LUN 编号没有直接关系。一般一个 Target 对应一个 LUN除非你要做多 LUN 多业务分离那就按同样的操作多建几个注意编号别重复。2.3 配置监听地址和访问控制Target 建好了但还没监听地址客户端找不到它。默认targetcli会监听所有 IP 的 3260 端口。我在生产环境一般指定具体 IP 而不是全监听减少暴露面。假设存储服务器的存储网卡 IP 是192.168.10.10/ cd /iscsi/iqn.2025-01.com.example:storage1/tpg1/portals /iscsi/iqn.../tpg1/portals create 192.168.10.10 3260 Using default IP port 3260. Created network portal 192.168.10.10:3260.如果之前默认配置里已经有一个0.0.0.0:3260的 portal建议先把默认的删掉再新建避免客户端连到非预期网卡/iscsi/iqn.../tpg1/portals delete 0.0.0.0 3260 /iscsi/iqn.../tpg1/portals create 192.168.10.10 3260访问控制是重头戏。默认情况下LIO 会拒绝所有未知客户端发起连接必须显式指定允许访问的客户端 IQNInitiator IQN。客户端侧的 IQN 怎么查在客户端执行sudo cat /etc/iscsi/initiatorname.iscsi # 输出类似InitiatorNameiqn.2023-11.com.example:client01把我的客户端 IQNiqn.2023-11.com.example:client01加进 ACL/ cd /iscsi/iqn.2025-01.com.example:storage1/tpg1/acls /iscsi/iqn.../tpg1/acls create iqn.2023-11.com.example:client01 Created Node ACL for iqn.2023-11.com.example:client01.到这里最基本的配置就完成了。如果想加一层 CHAP 认证强烈建议加后面细说可以这样设置/ cd /iscsi/iqn.2025-01.com.example:storage1/tpg1/acls/iqn.2023-11.com.example:client01 / set auth useridstorageuser / set auth passwordStr0ngPassw0rd! / set auth mutual_useridmutual_user / set auth mutual_passwordMutualPassw0rd!CHAP 密码有长度要求官方建议至少 12 位双向 CHAP 的密码必须不同于单向太短会直接拒绝设置。设置完记得退出并保存配置/ cd / / saveconfig Last 10 configs saved in /etc/target/backup. Configuration saved to /etc/target/saveconfig.json.saveconfig这步不能省。targetcli的配置默认是临时的不保存的话服务一重启所有 Target、LUN、ACL 设置全丢。保存后配置在节点重启时会自动加载这是我最开始踩过的坑之一后文会再提。2.4 服务端防火墙与开机自启如果你机器上开过 ufw 或 firewalld记得把 3260/tcp 端口放行# Ubuntu sudo ufw allow 3260/tcp # Rocky/CentOS sudo firewall-cmd --permanent --add-port3260/tcp sudo firewall-cmd --reload targetcli 服务本来已经 enable 了但如果你的系统把 rtslib 或 target 服务关过确认一下 systemctl status targetcli # 确保 active (running)到这里服务端就绪可以把网线插好准备客户端搞事了。3. 客户端挂载initiator 与磁盘管理3.1 Linux 客户端安装 open-iscsi 并发现 Target客户端要装的是open-iscsi现代发行版上叫iscsi-initiator-utils。Rocky 上sudo dnf install -y iscsi-initiator-utils sudo systemctl enable --now iscsid iscsiUbuntu/Debian 上是sudo apt install -y open-iscsi sudo systemctl enable --now open-iscsi iscsid装完之后要保证 iscsid 在运行。接着发现 Targetsudo iscsiadm -m discovery -t sendtargets -p 192.168.10.10:3260 # 输出应包含类似 # 192.168.10.10:3260,1 iqn.2025-01.com.example:storage1这一步的输出说明 Target 已经被发现。如果这里就超时或没有输出先检查两边网络通不通ping能通但发现失败很可能就是 3260 端口被墙了或者 portal 配置错了我后文排错部分会展开。发现之后-m node 就能看到这个 targetsudo iscsiadm -m node 192.168.10.10:3260,1 iqn.2025-01.com.example:storage1注意如果你没在服务端配 ACL这里节点信息也出得来但后续登录时会被拒绝——别问我是怎么知道的。3.2 登录 LUN 与磁盘验证正式登录到 Targetsudo iscsiadm -m node -T iqn.2025-01.com.example:storage1 -p 192.168.10.10:3260 --login登录成功的话dmesg | tail会看到 SCSI 设备加入的日志。然后fdisk -l或lsblk就能看到新的块设备了sudo lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 80G 0 disk sdb 8:16 0 800G 0 disk/dev/sdb就是我们暴露出去的 800GB LUN。注意这个盘现在是裸块设备像一张白纸需要你自己分区、格式化、挂载——这就是“块级协议”和“文件级协议”最大的区别。我第一次用 iSCSI 的时候以为挂载完就自动出现在/mnt里结果什么都没有愣了半天。后来才反应过来iSCSI 给你的只是硬盘本身不是文件夹。接下来按常规操作分区格式化sudo parted /dev/sdb mklabel gpt sudo parted /dev/sdb mkpart primary xfs 0% 100% sudo mkfs.xfs /dev/sdb1 sudo mkdir /mnt/iscsi-backup sudo mount /dev/sdb1 /mnt/iscsi-backup这里我选了 XFS 文件系统因为它对大容量和高并发写入比较友好也适合虚拟机存储。如果你的用途是跑数据库可能要评估 ext4 或 xfs 的差异或者干脆不做文件系统直接把裸设备交给数据库/虚拟化层。这个选择空间就是 iSCSI 的灵活性所在。3.3 开机自动挂载千万别只写 fstab把 iSCSI 盘挂到/mnt/iscsi-backup之后还要解决重启自动挂载的问题。很多人直接往/etc/fstab里写一行等重启后就会发现起不来原因很简单系统启动时网络和 iSCSI session 尚未就绪文件系统挂载顺序早于网络就绪。正确做法分两步第一步把 open-iscsi 服务的开机自启打开systemctl enable --now iscsid iscsi前面装了就会自动启用第二步再配置 node 的自动登录sudo iscsiadm -m node -T iqn.2025-01.com.example:storage1 -p 192.168.10.10:3260 --op update -n node.startup -v automatic这个操作把该节点的 startup 属性更新为automatic系统重启后 iscsid 会自动重新登录 target块设备就回来了。然后检查是否需要在 fstab 里写挂载。我给虚拟化平台用的盘最终是交给 libvirt 管理不需要在宿主机上挂载文件系统所以 fstab 就省了。但如果你要持久挂到某个目录建议 fstab 里用 UUID 而不是设备名因为 iSCSI 盘的设备名可能重启后变化/dev/sdb变/dev/sdc这种事很常见。先查 UUIDsudo blkid /dev/sdb1 # 类似输出/dev/sdb1: UUID4d3a...-.... TYPExfs然后 fstab 里写UUID4d3a...-.... /mnt/iscsi-backup xfs _netdev,nofail 0 0_netdev让系统等网络就绪后再挂nofail允许该设备暂时缺失时系统仍能正常启动这两参数配合 iSCSI 是标准组合少了任何一个都可能重启直接进救援模式。3.4 Windows 客户端记住几个关键操作点虽然我日常不常用 Windows 当 initiator但测试虚拟机里有 Windows也顺手写过一遍。Windows 自带 iSCSI 发起程序不用额外装直接搜索“iSCSI 发起程序”打开即可。步骤大致是在“目标”标签页输入 Target 的 IP点“快速连接”会列出发现到的 IQN。如果配置了 CHAP需要点“高级”按钮填入“启用 CHAP 登录”的用户名和密码。连接成功后到“磁盘管理”里操作新出现的磁盘初始化、分区、格式化。有一个特别容易忽略的地方Windows 的 iSCSI 发起程序默认不自动重新连接虚拟机重启后盘可能丢。需要到“目标”页右键对应的 Target点“连接”在弹窗里勾上“将此连接添加到收藏目标列表”这样 Windows 启动时会自动重连。另外如果你的 Windows 虚拟机只配了一块虚拟网卡而虚拟化平台用的又是 iSCSI连续登录失败几次之后再去看很容易发现发起程序连接的 IP 不是你预期的——这个牵涉到多路径和虚拟网卡透传生产环境建议 Windows 侧单独配置一张存储网卡别跟业务流量混在一起。4. 性能调优与多路径除了挂上还要挂得稳4.1 打通 TCP 和块层的关键参数挂载只是第一步性能好不好还要看几个关键的 TCP 和块设备参数。我在配万兆网卡时首先调的是 MTUJumbo Frame。标准以太网 MTU 是 1500 字节两块万兆网卡如果都支持 9000 字节巨型帧iSCSI 层的大块传输可以减少拆包次数延迟和 CPU 占用都会下降。在客户端和服务端网卡上同时配置# 存储服务器 sudo ip link set dev eth0 mtu 9000 # 客户端 sudo ip link set dev eth1 mtu 9000注意两端要同时改只改一边会直接用不了或者跑出奇怪的性能问题比如小包能通、大包全丢。改完用ping -M do -s 8972 192.168.10.10验证能通说明 MTU 调整生效8972 是因为 9000 减去 28 字节 ICMP/IP 头。然后是队列深度queue depth和 IO 调度器。queue depth 指设备一次允许多少条未完成 IO 请求进入队列太浅则并发上不去太深则会增加延迟和内存占用。Linux 默认的块层队列深度对于千兆网来说够用但万兆或 SSD 后端建议调大# 查看当前队列深度 cat /sys/block/sdb/device/queue_depth # 调整生产环境慎重测试可尝试 echo 64 /sys/block/sdb/device/queue_depth注意这个参数在服务器端也有对应项但通常情况下客户端调完就有收益服务端默认值已经挺高的。如果性能依然不理想检查 I/O 调度器是否在 NVMe/SSD 设备上用了错误的类型cat /sys/block/sdb/queue/scheduler # 对 SSD 存储一般推荐 none 或 mq-deadline机械盘用 noop/null我的存储服务器后端是 SSD 缓存盘客户端是虚拟化宿主机官方文档和社区反馈都建议对这种随机 IO 场景把调度器设为 none实测下来确实有百兆级别的带宽收益。4.2 多路径 MPIO从单点到两条腿走路生产环境最怕的是“线断了盘就丢”。iSCSI 的解法是多路径Multipath也就是客户端通过多条物理链路连接同一个 LUN。常见做法是给客户端和服务端各插两块网卡用两个独立 IP 在 iSCSI 层建立两个 session。这样一条链路断了IO 会自动切换到另一条对上层应用完全透明。Linux 下用 multipath-tools 配置sudo dnf install -y device-mapper-multipath sudo mpathconf --enable配置前先确认 iSCSI 已经建了两个 sessionsudo iscsiadm -m session # 如果只有一个 Portal需要再添加一个假设服务端第二 IP 是 192.168.10.11 sudo iscsiadm -m discovery -t sendtargets -p 192.168.10.11:3260 sudo iscsiadm -m node -T iqn.2025-01.com.example:storage1 -p 192.168.10.11:3260 --login然后编辑/etc/multipath.conf核心是把你要用的盘加进黑名单白名单不然 multipath 可能把系统盘也做成 dm 设备导致 root 分区挂在 multipath 虚拟设备上重启可能找不到盘。我一般这样配defaults { user_friendly_names yes find_multipaths yes } blacklist { devnode ^sd[a-z]$ } blacklist_exceptions { devnode ^sdb$ }意思是默认黑名单所有sd设备只放行sdbiSCSI 盘。如果你的系统盘也是 sd 开头注意别把真实系统盘放进来。find_multipaths yes让系统只对满足条件的盘启动多路径省得误伤。配好后重启 multipath 服务sudo systemctl restart multipathd sudo multipath -llmultipath -ll会列出多路径设备比如mpatha (360014050... ) dm-0 IET,VIRTUAL-DISK size800G features0 hwhandler0 wprw -- policyround-robin 0 prio0 statusactive |- 1:0:0:1 sdb 8:16 active ready running - 2:0:0:1 sde 8:64 active ready running看到两个路径都是 active 状态说明多路径已就位。此时你挂载/dev/mapper/mpatha而不是/dev/sdb1路径失效时 IO 自动切换应用无感知。这里有个 SQL 查错了会导致看不到多路径设备——我已经踩过一次所以提醒multipath -ll没输出不一定代表有问题先检查 iSCSI 两个 session 是否都活着再检查 WWID 是否被黑名单挡了。多路径的 WWID全球唯一标识符可以在/sys/block/sdb/device/wwid查看multipath.conf 里也可以针对 WWID 单独放行。4.3 CHAP 双向认证与网络安全加固前文提到给 ACL 加了 CHAP这里多说几句为什么建议加。iSCSI 默认是明文的Target 的 3260 端口暴露在网络里任何能访问到该端口的人只要知道 IQN 和 ACL 规则就能尝试连接。虽然 IQN 本身有一定保密性但生产环境尤其是存储和业务网没分离的网络还是建议启用 CHAP。我配置的是双向认证mutual CHAP也就是客户端也要验证服务端身份防止伪 Target。配置时要注意几个细节单向 CHAP 密码要求 12 到 16 位字符双向 CHAP 要求服务端用户密码和客户端用户密码必须不同否则会报错。客户端 open-iscsi 配置 CHAP 是通过--op update写到 node 里的不是只登录时临时指定。具体sudo iscsiadm -m node -T iqn.2025-01.com.example:storage1 -p 192.168.10.10:3260 --op update -n node.session.auth.authmethod -v CHAP sudo iscsiadm -m node -T iqn.2025-01.com.example:storage1 -p 192.168.10.10:3260 --op update -n node.session.auth.username -v storageuser sudo iscsiadm -m node -T iqn.2025-01.com.example:storage1 -p 192.168.10.10:3260 --op update -n node.session.auth.password -v Str0ngPassw0rd!改完以后重新登录才生效。另外如果你要配双向 CHAP还需要设置sudo iscsiadm -m node -T iqn.2025-01.com.example:storage1 -p 192.168.10.10:3260 --op update -n node.session.auth.username_in -v mutual_user sudo iscsiadm -m node -T iqn.2025-01.com.example:storage1 -p 192.168.10.10:3260 --op update -n node.session.auth.password_in -v MutualPassw0rd!两个方向的密码一定不要设成一样的我第一次偷懒设成同一个密码结果客户端登录一直报 CHAP authentication failure排查了半小时才想起这个细节。不同厂商的 initiator 对 CHAP 兼容性也有细微差别Windows 发起程序对双向 CHAP 支持得不太好如果你的客户端是 Windows建议先用单向 CHAP 确认通了再说。如果你用的是测试环境且网络完全隔离CHAP 可以先不开但正式环境务必开启。我在生产里见过一次因为 iSCSI 无认证导致虚拟机磁盘被误挂到别人机器上的事故——那个调试现场简直惨烈。4.4 服务端快照与薄卷管理这是我后面临时加的但发现不少朋友不知道 iSCSI 服务端还能做这些操作所以一并写到这。LIO 支持的块后端里有一个backstores/user、一个backstores/ramdisk后者其实是模拟内存盘速度奇快但对掉电零容忍还有一个backstores/fileio是用文件模拟块设备支持稀疏文件和快照标志。我的场景是虚拟化存储还是老老实实 block 直通没上 fileio。好处是直通块设备性能最接近物理盘缺点是如果后端是 LVM需要 LVM 层自行处理快照。如果你在服务端用 LVM 管理磁盘可以直接在 LVM 层做快照sudo lvcreate -L 20G -s -n snap_storage1 /dev/vg_data/storage1这样对 iSCSI LUN 做卷级快照比在客户端上用文件系统快照快得多而且不占全量空间COW 方式。不过要注意LVM 快照在长时间运行后容易满满了会自动失效这属于运维常识用的时候心里有数。严格来说iSCSI 层本身不提供快照功能需要依赖后端存储LVM、ZFS、硬件阵列来实现。但通过 targetcli 暴露的是块设备这些快照做完之后客户端看到的仍然是同一个 LUN只是数据版本回滚了。所以选后端存储时留个心眼别全压在一颗裸盘上没有冗余万一盘挂了客户端那边所有依赖存储的服务都会跟着报错。5. 常见问题与排查指南从挂不上到性能差5.1 发现 Target 失败与登录失败的根因iSCSI 排错本质上就两条线目标的发现Discovery和目标登录Login。发现失败时先别急着怀疑配置按这个顺序查网络连通性ping 192.168.10.10不通就查网线、VLAN、路由不废话。TCP 端口可访问性用nc -vz 192.168.10.10 3260或telnet 192.168.10.10 3260测试。如果 nc 报Connection refused大概率服务端 targetcli 服务没起来或 portal 没创建成功回到服务端targetcli用ls确认 portal 存在。防火墙ufw/firewalld 有没有放开 3260。测试阶段可以直接临时关防火墙验证生产环境就不要这么干了。ACL 缺失如果discovery能看到 Target但 login 时报No connection could be made because the target is not accepting requests或Authentication failure多半是 ACL 里没加客户端 IQN或者 CHAP 密码不对。去服务端targetcli /iscsi/.../tpg1/acls看看客户端 IQN 在不在。IQN 拼写错误客户端和服务端的 IQN 是全匹配的大小写、冒号都要一致。我一次踩坑就是复制粘贴时带上了一个空格。登录失败后一定要看日志。服务端查journalctl -u targetcli客户端查dmesg | grep iscsi和/var/log/messages95% 的报错信息都能在里面找到具体原因。有些错误信息虽然人话读不懂但对照iscsiadm的退出码比如Exit Code: 8表示连接失败能缩小范围。5.2 挂载之后性能差先分清楚是哪一跳慢有段时间我挂载完成后测速只有 300MB/s 左右而两块网卡是万兆明显不对。排查思路值得分享先用 iperf 测纯 TCP 带宽如果 iperf 只有 1GB/s那就是链路或网卡问题与 iSCSI 无关。如果 iperf 正常但 dd 读盘慢就要看是不是磁盘后端或文件系统的问题。我用dd粗测有很多误导性后来改成fio才靠谱sudo fio --nametest --bs4k --size1G --numjobs4 --rwrandrw --runtime30 --group_reportingfio 测的是真实 IO 负载模式比 dd 更接近数据库/虚拟机的实际使用方式。测完发现瓶颈在 MTU我服务端设了 9000 但客户端忘了跟着改导致大包不通iSCSI 不得不靠 TCP 分段回退性能直线下降。改完两端 MTU 后重新测带宽直接翻倍。另一个常见性能坑是单队列多路径未配置。如果你网卡有多条队列但 iSCSI 只建了一个 session单路带宽上不去。可以用 ethtool 查看网卡队列数sudo ethtool -l eth0 sudo ethtool -L eth0 combined 4 # 调整队列数但在 iSCSI 层更直接的解法就是前面说的多路径配置。IO 分散到多个 session 后带宽和冗余都上来了。5.3 重启后 Target 或 LUN 消失这个问题在新手手里发生率极高核心原因是没保存配置。targetcli 临时配置和保存配置是两回事必须执行saveconfig配置才会持久化到/etc/target/saveconfig.json。如果重启后客户端能发现 Target 但登录失败去服务端跑targetcli ls看 ACL 和 LUN 是不是都在。如果 Target 都没了确认一下 targetcli 服务有没有开机自启systemctl list-unit-files | grep target # target.service 应该是 enabled另外注意不要把块设备名写死在配置里。比如你把/dev/sdb配成 LUN下次重启后系统盘顺序可能变化多了 USB 盘、换了 SATA 口/dev/sdb可能变成别的盘。稳妥做法是在/etc/target/saveconfig.json里看backstores/block引用是不是用的设备路径或 WWID。LIO 在某些内核版本上支持用/dev/disk/by-uuid/...或/dev/disk/by-path/...来定址我就是靠这个解决过一次盘符漂移问题强烈建议生产配置里不要直接写裸sd设备名。5.4 CHAP 认证失败的特殊场景多方客户端密钥不同如果你有多个客户端类如 Linux、Windows、VMware它们对 CHAP 的实现各有怪癖。比如 Linux 的 open-iscsi 对密码里的特殊字符!、、#要求转义实际写进 node 配置时要用引号包住。而 Windows 发起程序有时会在密码末尾自动补空格导致两边不一致。遇到 CHAP 认证失败排错技巧是先把服务端某个客户端 ACL 的 CHAP 临时关掉确认网络、ACL、认证路径哪一环有问题或者用 open-iscsi 的-d 8调试选项打出完整认证流程sudo iscsiadm -m node -T iqn.2025-01.com.example:storage1 -p 192.168.10.10:3260 --login -d 8-d 8的调试日志里能看到 CHAP challenge/response 过程密码错误会直接显示明文吗不会但你能看到是哪一步失败比如CHAP response received后verification failed就说明密码确实错了好好比对两边的密码。5.5 常见问题速查表现象可能原因优先排查路径发现不到 Target服务端 portal 未配置 / 防火墙拦截targetcli ls、nc -vz IP 3260发现到了但登录失败ACL 未添加客户端 IQNtargetcli /acls对照客户端 IQNCHAP 认证失败密码不一致或特殊字符转义问题-d 8调试日志、比对设置的密码挂载成功但重启丢失node.startup 不是 automatic / fstab 没_netdeviscsiadm -m node -o show查 startup挂载的盘符漂移设备名不稳定用/dev/disk/by-uuid或 WWID 代替设备名性能远低于预期MTU 不一致 / 单 session / 队列深度不够先 iperf 测链路、再 fio 压测存储能登录但 IO 时断时续网卡协商失败或链路不稳ethtool -S查丢包 / 错误计数服务端重启 Target 丢失未执行 saveconfig回服务端saveconfig并检查 target 服务自启6. 实操中的几个独家心得与建议6.1 保存配置与命名规范是稳定性的基础这次配置过程中我来回折腾了三四次最深的两条体会是命名和持久化前面分别讲过这里串起来说一下。iSCSI 里 IQN、ACL、LUN、Portal 这些概念本身不难但配置一多如果命名没有规则排查时人很容易晕。我自己的习惯是Target IQN 用iqn.年份-月份.域名反写:业务名-环境名客户端 IQN 用iqn.年份-月份.域名反写:hostnameLUN 编号按业务从 0 开始分配表维护一份在 wiki 或 README 里别让它烂在脑子里配合saveconfig一定要定时执行或者干脆写完配置立刻保存。我吃过一次大亏配完测试环境没保存就去忙别的第二天发现 Target 没了一度怀疑存储盘坏了实际上就是忘了保存。那种焦虑感我不想再体验第二次。6.2 安全加固别嫌麻烦CHAP 和网络隔离都建议做如果你把 CHAP 当成“可选项”我劝你重新想想。测试环境网络自娱自乐当然无所谓但生产环境 iSCSI 流量里跑的是你的数据库、虚拟机、关键业务数据明文传输意味着抓包就能看到块内容。虽然不是像 HTTP 明文那样直接看到密码但泄露的是完整磁盘数据比泄露单个密码严重多了。至少加单向 CHAP让交互过程带认证。有条件就把存储流量隔离到独立 VLAN 或物理网卡再用防火墙规则限制只有指定来源 IP 能访问 3260 端口。有一次我给客户排查问题发现他们的 iSCSI Target 直接暴露在 0.0.0.0 的 3260 端口上且完全无认证。我试着用一台新机器去iscsiadm -m discovery竟然直接发现了 Target。这个隐患细思极恐相当于存储裸奔在网络里。如果你的环境已经这么干了建议尽快在 portal 配置里指定存储网卡 IP并开启 CHAP——做这个改动可能需要短暂断开连接但比起数据泄露的后果这点停机时间完全值得。6.3 多路径的“可用”不等于“会切换”多路验证才靠谱配置好多路径以后很多人看一眼multipath -ll输出有两条 active 就放心了。但生产环境真正要验证的是断掉一条路径后 IO 是否无缝切换。我建议在非业务高峰期做一次破坏性测试拔掉一根网线或 shutdown 一个服务端网口然后持续写数据看有没有报错。如果配置正确写入不会中断只是路径状态变化IO 自动走剩下那条。如果发现问题多半是 multipath 配置里没有设置好path_checker或failback策略。我在测试时用了path_checker turSCSI 测试单元就绪命令和failback immediate切换效果最好。配置示例defaults { path_checker tur failback immediate user_friendly_names yes find_multipaths yes }重启 multipathd 之后再断链测试。切到备用路径后业务无感这个验证做完你才能真正睡得安心。6.4 一定要做好备份iSCSI 本身不提供数据冗余最后想特别强调一个很多人都存在的误解iSCSI 只是一个传输协议它不负责数据冗余和备份。你从 iSCSI 挂载的盘和本地盘一样会发生故障、误删除、损坏。我见过有人以为存储在“服务器上”就是安全的结果服务器硬盘坏了数据没备份后果全部承担。iSCSI 给你的是“远程的裸块设备”底层还是物理硬盘依然遵循“数据可靠性由 RAID/副本/备份决定”的铁律。我的习惯是每个重要的 LUN 都要有对应后端存储的快照策略LVM/ZFS/硬件阵列级别并且定期验证快照可恢复性。另外如果虚拟化平台用了 iSCSI 存储池快照和克隆功能逻辑上独立于 iSCSI但你把虚拟机磁盘放在 iSCSI 上虚拟化层的快照同样要定期测试恢复。千万别把所有鸡蛋放一个篮子里就算那个篮子看起来再高级。这次 iSCSI 的配置过程整体很顺利但中途遇到的坑不少尤其是 CHAP 密码规则和saveconfig这两个细节应该坑了不少人。希望这篇指南能帮你少走弯路让存储挂载这件事变得像搭积木一样清晰。如果配的时候遇到什么奇怪的问题欢迎在评论区留下现象和报错信息我看到会尽量回复。