翻车了，记一次线上事故

关键词：golang、go、gorm、零值、有担当的富人 翻车日期：2021.03.04 # 翻车现场 今天下午3:30有同事反馈，app冷启动出现了测试公告弹窗。  > `画外音：`半小时前刚更新一个服务，赶紧检查下配置吧。 # 事件回述 - 10:27：代码发布sandbox环境 - 10:27~11:30：测试配置导入（因为配置比较多）生产环境，并手动修改少量差异配置 - 11:30～11:50：sandbox环境验收完成 - 11:51: api开始灰度 - 12:46: 灰度结束，api全量发布 - 15:00: 优化配置解析，重新发布了config服务 - 15:30: 同事反馈app冷启动有测试弹窗，立即检查并修正公告配置 # 蛛丝马迹 上午上线了一个需求，迁移了`48条`配置到业务配置中心（原来的配置是硬编码在项目里面的，每次改都要修改代码重新发布）。 上午上线之前明明验收过，没有问题才发生产的呀！ 为了验证迁移之后接口一致性，我还特地安装了一个json-diff工具（[官网](https://www.npmjs.com/package/json-diff)），还特地从`4.x`、`5.x`、`6.x`验证了多个版本的配置，都没有问题。  为啥现在有几条配置跟我验证时候的不一样了呢？  等等，这些文案不是测试环境的文案么？ > `画外音`：这个很可疑哦! # 来龙去脉 因为配置文件比较多，一个个在生产环境加太麻烦了，我就直接把测试配置导入到生产环境中。然后手动修改下生产和测试不一致的几条配置，其中就包含了`测试公告`的几条配置。 > `画外音`：但是为什么验收的时候是好的，然后下午重新发布了下服务就出问题了呢？ 我打开数据库，看到数据库里面这几条配置记录还是测试的配置，并没有修改过来。。。我打开我的goland，翻看了下编辑接口代码，一下就发现了可疑之处： ```go err := tx.Table(p.tableName).Where("id=?", configID).Updates(t).Error ``` `gorm`的`Updates`有个坑啊——如果你传的是一个`struct`，`gorm`默认是不更新`“零值”`字段的。这个坑我早就知道，无奈再一次重重的的踩进去了。`git blame`看了下作者——原来就是我自己，去年12月份写下的😭（自己的坑自己填，好在没有祸害到别人）。 # 豁然明朗 我画了一个简图，方便大家明白：  - 配置服务是无状态服务，所有配置都保存在内存中（业务配置不多，不会爆内存） - 服务启动的时候从mysql（持久化存储）加载所有配置，并与etcd保持一致性 - 增量配置会保存到mysql中，并通过etcd保持所有节点同步 > `画外音`：终于知道了为什么上午验收是好的，下午重启就出问题了！！！ 上午导入的测试配置，生产环境正好要把他们其中几条改成`空值`。增量数据通过etcd同步到内存是正确的，但是持久化到`mysql`的时候`gorm`把应该置空的字段`忽略`了，导致数据库里面没有修改正确。下午一重启，GG。。。 # 总结 领导好像没有说什么，因为没有客诉，事情并不是很大。 > `画外音`：既然领导没有说故障定责，要不就这样算了？ 犹豫了半分钟——还是主动写个故障报告吧。 我犹豫的是，没有产生客诉，问题时间不长，而且犯得是这么低级的错误，是不是睁一只眼闭一只眼就过去了。。。 还是写了报告是因为内心告诉我，小事都不能承担责任，大事（优质项目）还轮得到我么？ 最近看了《穷爸爸 富爸爸》这本书，书中说到`“穷人的恐惧包括：害怕付不起账单、害怕被解雇、害怕没有足够的钱、害怕重新开始等等”`。简单说就是，穷人总数怕这怕那。而这一次，我选择了做个有担当的富人😭。。。 # 教训与改进 - 使用`json-diff`工具，自认为可以`100%`验证，就自测上线 - 数据同步场景不仅仅要观察表象，也要关注持久化数据是否与表象一致 - 加强开发规范，需求不分大小，都需要请测试把关 - `不能盲目自信，保持一颗敬畏的心` 关键词：golang、go、gorm、零值、有担当的富人