10Gbps 网络下的 3 节点 Ceph
超融合集群，
IOPS 性能存在巨大的“分层”差异。你的瓶颈通常不在硬盘速度，而在
网络带宽和
CPU 算力。
以下是基于典型生产环境（Proxmox VE
超融合）的性能参考基线：
🚀 全闪存架构（NVMe/SSD）性能预估
这是目前主流的
超融合配置，性能主要受限于
10G 网络吞吐 和
CPU 处理能力。
场景 | 4K 随机读 IOPS | 4K 随机写 IOPS | 瓶颈分析 |
|---|
极限压测（无业务） | 10万 - 20万+ | 1.5万 - 3万 | 网络带宽（10Gbps 理论极限约 30万 IOPS） |
生产环境（超融合） | 5万 - 10万 | 5000 - 12000 | CPU 争抢（PVE 虚拟机与 Ceph 争抢 CPU） |
注意：超融合模式下，写 IOPS 会显著低于读 IOPS。这是因为 Ceph 的多副本机制（通常 3 副本）导致写放大，且 CPU 需要处理网络协议栈和 Ceph 的事务逻辑。
💾 混合/HDD 架构性能预估
如果使用 HDD 作为 OSD，性能将完全受限于机械盘的物理特性，10G 网络会有大量空闲。
场景 | 4K 随机读 IOPS | 4K 随机写 IOPS |
|---|
3节点 HDD | 1000 - 3000 | 几百 |
📊 为什么是这个数字？—— 瓶颈分析
网络瓶颈（硬顶）：
HPC服务器集群安装部署就找荣合技术
10Gbps 带宽 ≈ 1.25 GB/s 吞吐量。
对于 4KB 小数据块，理论 IOPS 上限 ≈ 1.25 GB/s / 4KB ≈ 312,500 IOPS。
实际受 TCP/IP 协议开销、Ceph 内部通信影响，有效 IOPS 通常只有理论值的 50%-70%。
CPU 瓶颈（超融合痛点）：
写放大效应：
⚙️ 提升 IOPS 的关键配置建议
微信号：RH23CN
启用 RDMA（RoCE/iWARP）：如果你的 10G 网卡支持，启用 RDMA 可以大幅降低 CPU 开销，提升 IOPS 和降低延迟。
分离网络：建议使用双网卡，将 Ceph Cluster 网络（后端同步）和 Ceph Public 网络（前端业务）分离，避免网络拥塞。
调整副本策略：对于非核心测试环境，可以尝试 size=2+ min_size=1，这会显著提升写 IOPS，但牺牲安全性（不推荐生产核心业务）。
使用 NVMe 作为 DB/WAL 设备：如果 OSD 是 SATA SSD，为每个 OSD 分配一块 NVMe 盘作为 RocksDB/WAL 日志盘，能极大提升随机写性能。
💎 总结
在 10G 三节点超融合架构中，不要期望单盘式的*低延迟。Ceph 的优势在于聚合带宽和高可用性。对于大多数企业虚拟化负载，全闪存配置下 5000-10000 的写 IOPS 已经足够支撑 20-30 台常规虚拟机运行。
如果你追求*的单虚拟机 IOPS（如数据库），建议考虑本地 SSD + 高速网络备份的方案，而非完全依赖 Ceph。
