脑残手贱:被NFS祸害的调度系统

小说:大滨菊花朵是什么颜色的?作者:龙石陵更新时间:2019-04-18字数:84760

建议:任何时候,都要三思而后行!!!

事请的缘由

系统中采用slurm调度系统来进行并行计算。但是在GPU节点上,无论如何都无法启动slurmd,报插件初始化错误的故障。
因此需要编译新的munge和slurm来确认是否是软件版本和操作系统版本不不兼容造成的。

悲剧的发生

我们的系统,共享的应用环境放置在NAS上的NFS文件系统。我在A节点上已经卸载了NFS文件,然后挂载点(本地目录)上编译新版本,启动了slurm之后,还是有问题。
因此需要更换一个节点B试试,直接把文件拷贝到B节点很方便。
因此很熟练的scp -r munge-0.5.12 B:$(pwd),看着文档被覆盖,一切都这么顺利的时候,我的内心突然一阵惶恐!
没错,NFS对于所有节点都是可读写的。我神不知鬼不觉地用A 节点上centos7编译的munge覆盖了B节点上NFS挂载的centos6编译的munge,那一刻,我的世界坍塌了。
赶紧找个节点,提交我的测试算例。看着一堆的报错,那一刻我的心都碎了,是的没错,果然影响了在线的系统。完了,彻底完了!
赶紧给领导打电话,说我手残了,系统被我搞垮了,领导安抚了一下我,赶紧把旧的恢复回去,slurm超时300s,来的及的话,还能够拯救。

绝处逢生

我赶忙找找我是否备份了之前的文件。
幸运的是,我在A节点的本地目录下,CP了一份munge.0.5.12.nas_nfs,这就是之前的那个了,万幸!。只要将这个目录再次拷贝回去,应该是没有问题的。
慌不择路。
我scp -r munge.0.5.12.nas_nfs 到NAS上的同一个目录时,发现还是没有拯救回来,报错GLIBC的问题。完了,彻底完了。真的要重新编译吗?可是那耗时还是太长了。
我cd 到munge的目录下,发现把 munge.0.5.12.nas_nfs拷贝到了 munge.0.5.12目录下,也就是说:scp这个目录用错了,没有覆盖,而是拷贝到目标目录下了。
似乎有了希望。
为了确保万无一失,我把munge-0.5.12下的东西全部删除,然后在munge.0.5.12.nas_nfs目录下mv * ../
然后我批量处理所有节点,启动munged,从SUCCESS的字段我看到了自己的命可能保住了。
然后sinfo看到了所有节点还是down。看来的确是slurm通信已经超时,slurm的控制器已经认为节点死了。只能够重新启动slurmd了
批量执行之后,看到SUCCESS之后,我想这次虽然把系统拯救好了,但是那些排队的计算任务,已经无法再次复活了,只能等待重新提交了。

总结

  1. 备份。很重要很重要。假如没有备份的东西,我已经被枪杀了。
  2. 细节。因为没有卸载B节点的NFS,所有直接覆盖了全部节点的共享目录,导致系统出错。
  3. 冷静。还是那句话,故障不要紧,要紧的是无法修复故障。。
  4. 沉着。 运维这个工作,平时没你啥事,有你啥事的时候就有可能是天塌下来的责任。

无论是测试还是上线,旁边最好坐个backuper,不然脑子不够使,毁了系统可能还在傻呵呵地笑
运维最大的难度在于:脑残和手贱。以此为戒,绝不再犯!

当前文章:http://www.leetaemin.cn/forum.php?mod=viewthread&tid=53744

发布时间:2019-04-18 03:15:30

水蜡球价格便宜到你不相信的地步! 最新的蜀桧价格表,千万不要错过 红王子锦带繁殖之播种繁殖 4公分黄玉兰批发基地在哪里? 紫藤苗在几月份的时候可以种植? 网上买月季苗可靠卖家在哪里? 小叶黄杨树苗_小叶黄杨树苗价格_小叶黄杨多少钱 原来江苏沭阳是红梅树的产地之一,再也不用东奔西跑的去寻找啦! 精选好货,我地羽毛枫的价格优惠大,质量好。 百慕大草有什么用途?

85325 85231 16371 59173 76505 31944 81531 29027 12060 86857 89351 63423 98744 87839 42350 73136 62218 87547 97258 41746 11062 15128 41297

我要说两句: (0人参与)

发布