40 条回复  ·  391 次点击
0x663 小成 2024-9-13 16:36:02
iSCSI 快一点吧?
bbsingao 小成 2024-9-13 16:51:54
rclone 可以并发处理多个文件.你试试
ericFork 小成 2024-9-13 17:10:54
试试 sshfs
billccn 小成 2024-9-13 17:12:15
我约 10 年前临时外派到澳大利亚,但域控里我的 Home dir 还是在欧洲,只要打开个文件浏览器就得等几秒,当地办公室还是内网专线,在外面 VPN 就更怀疑人生,所以千万不要在非本地网情况下用 SMB 。我坚持了几天以后和欧洲的 IT 要了一个虚拟机,远程桌面回欧洲。

楼主的需求是需要管理文件比较多,还是需要打开文件比较多?前者可以考虑用 UDP 的远程桌面,这样丢包也不太影响操作效率。

@0x663 公网上跑 iSCSI ?妥妥要损坏文件系统

题外:公司在我外派结束不久还来调研我的体验,最后决定购买一套 Riferbed Steelhead 加速器,这个神奇的机器可以中间人一些常见的企业内网协议,然后通过它专有的协议解决长延迟、高丢包的传输,上线一周以后异地备份就从 5-6 个小时变成几十分钟,同事也反应跨区访问文件非常流畅。我今天搜了一下这个加速器好像不迭代了,不知道是不是因为企业都上云了。
fuis 小成 2024-9-13 17:18:22
公网的话,如果只能上面的选项选择,我可能只会选 WebDAV ,毕竟支持广泛;私网的话肯定是 SMB ofer RDMA 延迟最低,适合大量小文件。

然后我对这个描述有些疑问,“例如进入并列一个大目录并且可以瞬间完成,并且没有多少报文开销”,瞬间完成,跟报文开销的关系并不大吧。常见的 S3 走 https ,list objects 也是很快的(带分页),并且也可以支持大量小文件。我猜测这个问题的原始问题在于需要有一个对象的元数据服务,因为缺少这个服务导致了需要走 list 接口
libook 小成 2024-9-13 17:54:06
SMB 很多压测数据表明很慢,实际使用确实很慢,小文件是灾难;
WebDav 协议很重也快不了;
这三者相对来说 SFTP 最快。

不加密的协议可能会更快,比如 NFS ,但因为本身连认证都没有,所以不大适合临时性的文件传输和公网的传输,适合局域网内长期独占挂载。

同样走 SSH 的话,可能 scp>rsync>sftp>sshfs ,当然具体也看参数优化和传输的文件情况。
hetal 小成 2024-9-13 18:22:25
rsync 最好用
dann73580 小成 2024-9-13 18:49:18
rclone 作为客户端并发远远快于其他的方式,另一段我个人是挂载的 sftp 。在一个有 60w 小文件,10t 总大小的场景,两端延迟超过 150ms,传输速度在 500Mbps 浮动,我觉得很不错的水平。
wheat0r 小成 2024-9-13 19:30:08
webdav 的优势是实现简单、容易加密,别的就算了
lonelyparasol 小成 2024-9-13 19:48:59
SMB 只在 Windows 局域网用过
返回顶部