把生产服务器干烂了

xiaozhu317 · 2024-7-25 09:55:18 · 712 次点击
-原由:服务器的 SSH 需要升级,因为发现了一些 SSH 漏洞

-过程:我使用的别人整理好的 rpm 文件,确实在测试服务器中升级成功了,但是在正式服务器中升级失败。可能是服务器的 glibc 版本太低,可能导致新版本 SSH 升级失败。(可能有人会问,为什么不自己编译,我在测试服务器自行编译成功升级了,使用 rpm 文件也成功升级了,于是就优先使用的 rpm 文件)

-结果:升级失败后,SSH Session 直接断连,远程连接不上,只好联系服务器供应商。

-庆幸:这个服务器没有在部署的应用,都停掉了,这是唯一庆幸的一点。

-总结:
1.遇到 SSH 升级问题,联系供应商,不要自己尝试,就算自己尝试,提前在供应商那备份快照。
2.确实需要慎重操作服务器。涉及升级软件的操作,一定多测试测试,多准备几个测试环境。
3.工作的时候难免有急躁的时刻,这个时候才是真容易犯错。
4.欢迎各位 V 友指导
举报· 712 次点击
登录 注册 站外分享
53 条回复  
nyxsonsleep 初学 2024-7-27 15:10:22
为什么不用容器呢?
telnet 就算开了也就是保证这个机器不失联,一个最底线的要求。
系统与系统底层软件升级会遇到的问题太多了,就比如说你这次升级 ssh ,如果出现升级后 ssh 出现随机断开、延迟增大情况你准备怎么办?
Cola98 小成 2024-7-26 18:51:55
前两天遇到差不多的问题,当时是在欧拉上编译出来可以执行,然后换到 centos7 上安装会提示 glibc 报错,思路是升级 gcc 在安装高版本 glibc ,操作之前还是问了一下 leader ,发现是在欧拉上编译的,于是找到开源脚本重新编译安装发现没有问题,线上在批量安装,同时保证 telnet 是可以连接的。

出现这个问题可能是因为你 sshd_config 出现了问题
renothing 小成 2024-7-26 16:48:18
不懂不要紧,不懂还胆子大直接强制执行。换我我可能会开掉你。这太给自己埋雷了,这样的人不能做运维。
XDiLa 小成 2024-7-26 16:33:23
吃一堑长一智,一定要对生产环境保持敬畏,别偷懒嫌麻烦 。做好快照
BadFox 小成 2024-7-26 13:31:08
大型企业中有一个流程叫做变更管理,变更需要进行评审、测试、批准等。
jackerbauer 小成 2024-7-26 10:14:13
打个洞,开个 tenlet 也好的,起码不会失连啊
RockShake 小成 2024-7-26 09:58:35
完全模拟 PROD 的测试环境是必须的
guanzhangzhang 初学 2024-7-26 09:28:54
即使不是老旧的系统,如果官方包管理的源里的这类 c 软件没提供新版本,而自己要去下载最新源码编译解决 CVE 的,最好要对 c 语言和编译以及 glibc 相关的要熟悉,否则出问题了你就蒙蔽了,特别是很多运维和 CRUD 的开发这样干崩了后都蒙蔽了。  
-- 另外避免断连,机器的 tty ,vnc ,服务器的 bmc web ,iLo 都要确保能登录
-- 以及最好找一个差不多的内网环境下的一样的 os 作为兜底手段,例如真整崩了,这个内网机器起 web serfer 后把本机的相关 so 打包成 tar 供下载,故障机器上 scp 或者 curl 下载
expy 小成 2024-7-26 09:18:36
系统都 eol 了还在用,估计平常也不升级的,那还管什么漏洞。
cheng6563 小成 2024-7-26 09:14:35
所以才喜欢弄容器化呀,centos6 也是能装个 4.x 内核开容器的
返回顶部