关于远程执行（ansible 等工具）相关问题

背景：
服务器较多，3w 台左右（且 IP 等都是浮动的，在 2-5w 台），可能会存在同时更新或执行命令的情况，现在是使用 ansible 来管理，但是因为机器数量过多导致经常性同步延迟过大，或者有部分服务器无法联通动问题卡在某个任务上，且运维平台跑 ansible 内存会挤爆（ 16G ），不过这个不是大问题，如果方案可行易用，配置不是问题，可以直接上顶配服务器供给运维平台使用。

故：
现在想结合运维平台调研一个新的远程执行方案，需要能批量跑任务，或直接跑 bash 得到输出值，服务器上可以部署 agent 。

目前在看 saltstack ，问题点是在于我们服务器大多走公网进行维护，网络链路分布全球，没办法保证连接质量。

想知道各位公司都是用什么方案，或者什么工具呢？

你们执行一次 fork 多大

16G 运行 ansible 会挤爆？？？

要不考虑下 awx （ ansible 的 web 版本） 支持动态资产  支持定时任务 可以参考下我写的这个 https://blog.liuliancao.com/roams/ansible/#headline-12 搭建个 demo 试试吧 目前用 git 管理 awx project 了 用起来很 nice

换 salt 这种带 agent 的，不然纯本地 ansible run 的机器调度会很慢

3w 的数量已经不太适合 ansible / ssh 了 ... 执行太太太太太慢了，如果执行的任务中不存在多机器联动的话可以直接自研 agent 之类的拉取任务 , 同时结合 p2p 分发降低请求负载 ...

ansible 分组呗 一个组 1k-2k 台 分批次执行，多 node 并行执行也行。

或者换 salt ，带 agent 的，不过 2w+ 不分组，效率也不行。

规模大了，执行和监控就要分开了，执行完了扔数据库，然后控制到数据库里面去查。

https://docs.rundeck.com/docs/learning/howto/using-ansible.html 可以试试 rundeck

可以试试使用 mitogen 插件加速 SSH 连接  https://mitogen.networkgenomics.com/ansible_detailed.html

https://github.com/cea-hpc/clustershell

声明式+agent ，自研吧。做好任务管理下发，执行和回报交给 agent 。
超大规模的想走 worker+shell 真的是坐大牢。

当然，我觉得最简单的方式。k8s ，damonset 跑 agent ，或者直接上 job ，日志也能统一回收。以 pod 状态/job 状态作为任务执行的结果标识。