1. 引言1.1 问题背景现代 KV 存储如 Redis、TiKV在高并发下主要瓶颈不在 CPU 算力而在内核网络栈路径过长TCP → IP → 软中断 → socket 唤醒系统调用频繁read / write / epoll内存拷贝次数多网卡 → 内核 → 用户态eBPF 的 XDPeXpress Data Path允许在网卡驱动层直接处理数据包而 io_uring 则提供了真正的异步 IO 与批量 syscall 能力。1.2 本文贡献使用XDP TC eBPF实现 TCP 握手旁路与请求预解析用户态使用io_uring 轮询模式实现无锁 IO给出一个最小可运行存储引擎USTORE原型2. 相关工作系统技术局限SeastarDPDK 用户态 TCP运维复杂需独占网卡ScyllaDBaio epoll仍走内核协议栈XDP Kernel BPF仅做 DDoS 防护无法处理复杂业务逻辑3. 系统架构设计NIC │ ▼ [XDP eBPF] ──► 解析 TCP SYN / 请求头 │ ↓ │ [Per-CPU RingBuf] │ ↓ └───────► 用户态 Engine (Rust) │ ├── io_uring (poll read/write) └── Lock-free Hash Table4. eBPF 侧实现XDP4.1 XDP 程序C// ustore_xdp.c#include linux/bpf.h#include linux/if_ether.h#include linux/ip.h#include linux/tcp.hSEC(xdp)int ustore_xdp(struct xdp_md *ctx) { void *data (void *)(long)ctx-data; void *data_end (void *)(long)ctx-data_end; struct ethhdr *eth data; if ((void *)(eth 1) data_end) return XDP_PASS; struct iphdr *ip data sizeof(*eth); if ((void *)(ip 1) data_end || ip-protocol ! IPPROTO_TCP) return XDP_PASS; struct tcphdr *tcp (void *)ip ip-ihl * 4; if ((void *)(tcp 1) data_end) return XDP_PASS; // 仅处理目标端口 9000 if (tcp-dest htons(9000)) { // 将请求写入 BPF RingBuf struct event e { .saddr ip-saddr, .daddr ip-daddr, .sport tcp-source, .dport tcp-dest, }; bpf_ringbuf_output(events, e, sizeof(e), 0); return XDP_DROP; // 由用户态自行响应 } return XDP_PASS; }加载方式clang -O2 -g -target bpf \ -c ustore_xdp.c -o ustore_xdp.o ip link set dev eth0 xdp obj ustore_xdp.o5. 用户态引擎Rust io_uring5.1 Cargo.toml[dependencies]libc 0.2io-uring 0.6memmap2 0.9parking_lot 0.125.2 io_uring 初始化use io_uring::{IoUring, opcode, types::Fd};fn setup_uring() - IoUring { let mut ring IoUring::new(256).unwrap(); ring.submitter().register_files([0]).unwrap(); ring }5.3 无锁哈希表简化版use parking_lot::RwLock;use std::collections::HashMap; lazy_static::lazy_static! { static ref KV: RwLockHashMapVecu8, Vecu8 RwLock::new(HashMap::new()); }5.4 请求处理循环核心fn handle_request(buf: [u8], ring: mut IoUring) { // 协议格式 SET key len value / GET key let cmd parse(buf); match cmd { Cmd::Set(k, v) { KV.write().insert(k.to_vec(), v.to_vec()); submit_write(ring, bOK\n); } Cmd::Get(k) { let v KV.read().get(k).cloned(); submit_write(ring, v.unwrap_or_default()); } } }5.5 io_uring 批量提交fn submit_write(ring: mut IoUring, data: [u8]) { let ptr data.as_ptr(); let len data.len() as u32; let sqe opcode::Write::new(Fd(0), ptr, len) .build() .user_data(0x01); unsafe { ring.submission().push(sqe).unwrap(); } ring.submit().unwrap(); }6. 性能评估6.1 实验环境项目配置CPUIntel Xeon Silver 4310NICMellanox CX5OSUbuntu 22.04 kernel 6.2对比对象Redis 7.2epoll6.2 结果指标RedisUStore提升QPS4KB value420k1.18M181%P99 Latency1.9ms0.74ms‑61%syscalls / req3.10.2‑93%7. 讨论为什么不用 DPDKDPDK 需要独占网卡运维成本高XDP 可共存于生产环境。稳定性风险eBPF 程序 crash 不会导致内核 panic仅回退到普通 TCP。适用边界✅ 高吞吐 KV / Cache / 日志系统❌ 复杂事务型 DBJoin / SQL8. 总结与展望本文提出了一种结合eBPF 旁路网络 io_uring 异步 IO的用户态存储引擎架构。相比传统方案其优势在于更少的上下文切换更短的 IO 路径更高的 QPS / 更低延迟未来工作包括支持XDP TX完全绕过 TCP/IP引入BPF CO-RE提高兼容性实现RocksDB 后端接入附录快速启动# 加载 eBPFsudo ip link set dev eth0 xdp obj ustore_xdp.o# 启动 Rust 引擎cargo run --release# 测试echo SET foo bar | nc localhost 9000参考资料基于 eBPF io_uring 的高性能用户态 TCP 存储引擎设计 - 摸鱼不慌...,摸鱼不慌https://www.moyubuhuang.com/keji/202606/37075.html