请教如何管理 lambdalabs gpu 集群

dropdatabase · 2024-8-28 10:14:37 · 27 次点击
请教各位技术大佬,数百台 lambdalabs GPU 服务器如何管理?想接入到 k8s 里做调度/扩缩容。
发现 lambdalabs 没有 vpc 的概念。我理解 k8s 控制平面一般是放在内网里。
没有 vpc 的话,各个组件的通信放在公网上有些不妥。
另外:在大模型环境下,容器基础镜像都比较大,小则几十 G ,也有上百 G 的情况。这块有何最佳实践分享?
各位大佬请指教,感谢。
举报· 27 次点击
登录 注册 站外分享
快来抢沙发
0 条回复  
返回顶部