请教下 10G 内网 IO 有瓶颈吗?

wuzeiyicixing · 2024-9-16 14:28:38 · 57 次点击
想请教下 10G 网络 IO 有瓶颈吗?有一个需求,需要从同一内网的另一台机器上读取数据,如果我用 10G 网卡连接两台机器,客户端一次性读取一定量小文件(一次几千个,每个小于 1M )的话,会有 IO 上的问题吗?

服务器可以用 NFS SMB 或者其他的方式共享数据、都是 NVME 存储的前提下。
举报· 57 次点击
登录 注册 站外分享
5 条回复  
giyear 小成 2024-9-16 17:37:43
影响因素有
1 、NVME 接口的 PCIE 协议速度
2 、固态硬盘的容量和速度
3 、你文件大小
4 、你主机 CPU 和内存速度和容量
5 、文件系统
6 、SMB/NFS 是否支持 RDMA

以前三个因素举例,PCIE4.0 ,1T 支持 4.0 的 SSD ,在 512B 和 1MB 的读写速度是:
512B:读 60.91MB/s ,写 34.55MB/s
1MB:读 6.8GB/s ,写 5.97GB/s

所以在你操作系统合适,主机性能足够的情况下,文件越接近 1M ,你 10G 网络越会有瓶颈。文件在 16K 左右是个平均值。小于 16K 的多,10G 不是瓶颈。大于 16K ,就会有瓶颈。
GrayXu 小成 2024-9-16 16:24:12
pps 指标和吞吐差别很大,受很多影响。你应该先直接测小包性能而不是吞吐。
ToBeHacker 小成 2024-9-16 15:22:10
都会有 IO 瓶颈的,哪个慢卡在哪儿,只是看你能不能接受这个速度了

具体情况需要做 benchmark
CodeAllen 小成 2024-9-16 15:14:38
CPU 主频不高的话,TCP 协议栈在 10G 下 CPU 开销会大一点,,如果能支持 RDMA 最好,SMB 现在应该能支持 RDMA 。之前在工作站上测试 100G 网络,TCP 峰值也就只能到 33Gbps ,CPU 消耗很大,只能换 RDMA 才能跑满 100G 。
Jinnrry 小成 2024-9-16 14:52:50
机械硬盘,单盘不组 raid ,读取能到 1000M 就不错了
返回顶部