今天晚上心里有点忐忑不安,大概是这么个事。
在weibo 这种大型的软件,很多操作都是吐到队列进行异步处理的。这是前提。
我今天因为要负责几个队列集群的迁移,一大早就在配合DBA 下线一些老队列,上线新队列。
我们这边是有原则的,队列下线前会关闭写的开关,完后必须等队列消费干净才能下线,这是最大程度上避免丢消息。
今天下午快到ddl 的时候,就剩最后一个队列需要下线的时候,程序卡主了,检测出来一个队列有200条消息消费不下去。
下游程序都好好的这个数据就是消费不动,我排查了半个小时确定了这200条消息是很久以前就堆积在里面的。没有办法,只能请示下领导,领导说直接删了。
我其实心里是有在想要不要把这些消息迁移出去,再看看能不能修。但是迫于任务紧急,我还是删除了这些数据,删除之前我还是把所有消息都打了出来。
看了看多半是乱码和乱七八糟的字符串,这些应该是对某一个博主的评论,分析了一下应该是命中了反垃圾或者反spam的逻辑或者是某次队列下游的改动没有处理好。在这里面我突然看到一条评论,大意是这个人对生活好失落,想去自杀这样的话。
我一下子就懵逼了,我刚才的操作彻底删除了一个的评论,这个评论是一个人在另一个人微博下发的,看样子是没有发送成功,但是我也不清楚他有没有再发一次。
完后想起来万一这个人真的是自杀前去寻求另一个人的安慰呢。我就这么把别人评论搞丢了。。这tm ……
真希望这样的事不要再发生,今天真是罪过,如果时间不紧急,我真的想亲手修好这个数据,万一这评论就是救命的,我这真是造孽了。
用户既然信任平台,平台保证每一条消息都不丢失这是最基本的要求。
 
 
Back to Top