选Go语言还是Java?知乎问答服务重构实践

mb5fdb0a1b25659 · · 1638 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

图片

据了解,知乎从 2017 年开始尝试使用 Go 语言来构建业务系统,目前知乎的问答、评论、文章、个人页、部分反作弊系统、部分搜索和商业的业务是使用 Go 语言进行搭建的,单元测试覆盖率一般在 70% 左右。

Go 语言在知乎的实践历程

从 2017 年开始使用 Go 语言构建业务系统到 2019 年使用 Go 语言重构老系统、开发新系统,这中间知乎一直在不间断的探索 Go 语言在企业中的实践。如果要把 Go 语言在知乎的实践历程划分成不同的阶段,姚钢强认为可以按照年份分为三个阶段:

2017 年,知乎技术平台和个别业务开始尝试使用 Go 语言构建自己的系统,但此时配套的基础设施并不完全,所以在这一年中,前架构团队开发了部分基础设施(RPC 框架、监控),并且使用 Go 语言重写了流量最大的内部 RPC 服务 member。

2018 年,随着知乎的发展,部分 Python 老服务资源消耗严重,于是团队开始针对评论和问答业务进行 Go 语言重写,在重写期间完善了基础设施(日志、降级、单元测试、Sentry),并确定了基础的代码组织结构。2018 年 7 月,知乎完成了评论业务的全部重写和问答业务主要流量接口的重写。2018 年底,知乎完成了关于问答业务 Python 与 Go 语言部分的基于业务的垂直拆分。

2019 年,知乎社区事业部开始针对占用资源较大的老 Python 业务进行 Go 语言重写,同时使用 Go 语言进行大部分新业务的开发。

知乎问答服务重构:Go 语言还是 Java?

问答服务是知乎目前对外流量最大的服务,之所以要重构的原因是随着知乎的发展,流量不断增加,原先使用 Python 构建的项目占用了太多的资源。

重构时是如何进行编程语言选型的呢?姚钢强表示:“我是 2018 年开始负责重构工作,当时我们主要是在 Java 和 Go 语言之间做选择,最终选择了 Go 语言的主要原因是当时在知乎 Go 语言的基础设施相对于 Java 更全面,RPC 框架、监控等基础设施已经完备。另外,知乎 Go 语言的群众基础更好,因为基础架构部门已经使用 Go 语言进行了一些 Proxy 的开发,工程师对于 Go 语言的兴趣更高。”

至于 Java ,姚钢强表示:“如果原先知乎是使用 Java 进行项目开发的话,可能也就不需要重构了。”

重构过程中遇到的挑战

与新建一个系统不同,项目重构更多的是变换过程,将之前的代码变换得到新的代码,而新代码的外部接口和输入输出还要和之前的代码保持一致。所以,项目重构面临的挑战很多,不仅要解决业务方面的问题,同时也要考虑与原有系统之间的关系。

知乎在重构问答服务时,主要的挑战有两个方面。

一是测试,问答服务是知乎很重要的项目,在保证单元覆盖的基础上,功能测试很复杂:读接口是同时发出请求,在线对比通过日志找出差异;写接口就必须在深入了解业务的基础上,与直接负责该业务的同事一起列出所有的 TestCase,先由两位工程师根据 TestCase 分别进行测试,然后交由 QA 进行二次验收;

二是之前的项目大量使用了 Python 的动态特性,尤其是类 GraphQL 的接口。所以,首先知乎团队分析了使用的类 GraphQL 接口,发现只有个别接口需要这种形式;其次,针对需要类 GraphQL 的解析进行一层抽象,单独一层(不使用反射)进行 URL 解析,然后将解析后字段对应到处理函数。

项目重构的收获

Go 语言重构项目完成之后,相比之前的 Python 项目,资源占用减少了 70% - 80% ,复杂接口的性能有 50% 左右的提升。在重构问答服务的过程中,知乎团队也对 Go 语言的基础组件和基础设施进行了完善。

据姚钢强介绍,目前业务中使用到的基础组件主要包括:

  • 基于 Thrift 的 RPC 框架;

  • 基于 go-chi 的 Web 框架;

  • 基于 Sentry 的错误排查系统;

  • 基于 go-resiliency 的降级;

  • 基于 testify 的单元测试;

  • 基于 go-runtime-metrics 的 runtime 监控;

  • 基于 Graphite Grafana 打点和监控;

  • 基于 Kafka 和 Beanstalk 的离线任务 ;

  • 基于存储统一接口(可替换存储)的 cache 库。

知乎的 Go 语言重构计划

据了解,Go 语言已经成为知乎内部项目技术选型的推荐编程语言,不仅新业务的开发会首选 Go 语言,同时也使用 Go 语言重构了很多其它项目。目前知乎对内流量比较高的会员、评论服务和对外流量最大的问答服务都已经完成了重构,文章、个人页等其他服务也完成了部分流量较大接口的重构。

知乎未来是否还有比较大的重构计划?姚钢强表示:“目前没有重构计划,因为我们重构的初衷是节省机器资源,而流量比较大的业务都已经完成了重构,如果再去做其它重构,投入产出比太低了。”

Go 语言重构项目经验总结

什么样的项目适合使用 Go 语言来进行重构呢?姚钢强认为:“如果是占用机器资源比较多,且之前是使用 Python、PHP、Ruby 构建的业务系统,那么使用 Go 语言重构会节省大量机器资源,提高性能。如果原先是使用 Java 构建的业务系统,那么不建议使用 Go 语言进行重构。”

在使用 Go 语言重构项目的过程中,姚钢强认为以下三点是值得注意的:

  • 重构业务系统的第一步永远是了解业务,所以必须要有负责当前业务的同学参与。如果没有了解业务就盲目进行重构,那么很容易出现 Bug,而且还可能导致未来系统难以维护;

  • 项目开发之前要统一代码规范,配置好自动化的严格静态代码检,并且统一错误日志格式,做好调用链路跟踪的打点;

  • 在放量阶段要谨慎一点,针对读接口要先对比,然后逐步灰度放量;针对写接口,要与业务方和 QA 确认好所有的业务 TestCase,工程师先自测,然后交给其他工程师或者 QA 做二次验证。

针对 Go 语言本身,姚钢强也有一些期待:“目前 Go 语言在业务开发方面与 Java 还有很大差距,很多基础组件都不完善,期待之后 Go 语言的基础组件能够更完善,在语法方面能够提供泛型与更好的错误处理。”



有疑问加站长微信联系(非本文作者)

本文来自:51CTO博客

感谢作者:mb5fdb0a1b25659

查看原文:选Go语言还是Java?知乎问答服务重构实践

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1638 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传