初衷
自己在工作中做推荐系统也有不短的时间了,基本上把推荐系统的各个环节都接触到并自己亲自动手操作了一遍,但是并没有完整的自己去实现一整套推荐系统,心里感觉总是少了点什么。
程序员嘛,就算有现成的轮子,也想自己实现一套,这样可以更好的了解其中的细节,查缺补漏,从而提升自己。
同时也可以给正在学习推荐系统的同学们提供个参考吧!另外,我自己的经验肯定也有不对或者不完善的地方,所以也希望在这个过程中可以和大家探讨和学习!
计划
会定期更新「推荐系统从 0 到 1」的这个系列,目标一周至少更新一篇,直到完成这个系列为止。先从线上服务开始,再到离线以及算法和其他部分。
中间可能会穿插一些突发奇想,或者突然想写的内容,又或者有的同学关注的内容,这就说不准了!
内容
整套推荐系统内容来看,说多不多,说少也不少。大概可以分为以下几个模块吧:
- 整体架构描述
- 线上服务,包括 apiserver,recallserver,rankserver,filterserver 等。
- 召回,包括 usercf,itemcf 等一些常用的召回,以及一些验证过效果较好的召回,比如 swing,item2vec 等。
- 用户画像。
- 排序,先从基础版本迭代,逻辑回归到深度模型。
- 其他算法,bandit 算法等。
- 其他,与业务相关联的一些思考。
选型
- 线上服务 golang+etcd+tfserving。
- 批处理 spark+hive+tensorflow。
- 流处理 flink。
- 存储 hbase+redis。
- 其他 kafka+es。
选型这块可能会根据情况,进行不同的尝试,毕竟技术更新这么快,还是要多尝试一些前沿的东西吧,活到老学到老!
那么,开始吧!
任务艰巨,一个人完成需要大量的时间以及精力,但是相信这一切都是值得的,加油吧!
最后,希望有志同道合的朋友可以多多关注和互动!
有疑问加站长微信联系(非本文作者)