最近被日志是折腾得死去活来，写文件无疑效率是最高的，但是分布式又成问题，虽然稍微折腾一下配合NFS，还是可以搞一搞的，但是始终语言设计没有那么方便。 最终决定用redis，换了redis以为就好了，因为内存运行嘛，谁知道tcp连接开销大得一塌糊涂，服务器负载一下子高了许多，使用netstat -an 查看发现一堆的 TIME_WAIT，连ssh到服务器都巨慢无比，所谓天下武功唯快不破，这么慢80岁老太太跳一支广场舞都能给灭了吧。 既然 tcp连接开销这么大，当然首要任务就是解决连接问题，明显一个...阅读全文
鹅厂一面基础技术面二面项目技术面三面综合技术面总结某东南亚互联网公司一面技术面二面研发经理综合面试经过半年的沉淀，加上对MySQL，redis和分布式这块的补齐，终于开始重拾面试信心，再次出征。鹅厂面试职位：go后端开发工程师，接受从Java转语言都知道鹅厂是cpp的主战场，而以cpp为背景的工程师大都对os，network这块要求特别高，不像是Java这种偏重业务层的语言，之前面试Java的公司侧重还是在数据结构、网络、框架、数据库和分布式。所以OS这块吃的亏比较大一面基础技术面电话面试，随便...阅读全文
本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink 现状，Flink 应用以及未来计划四部分分享。 一．平台架构 1.Flink 应用时间线 首先是平台的架构，2018 年 3 月之前基本都是基于 Storm 和 Spark Streaming 来做的。目前，基本已经把 Spark Streaming 和 Storm 淘汰了，主要都是 Flink SQL 来做的。起初还比较传统，一般是接需求然后开发类似于 Flink SQL 的任务，基本是手工...阅读全文
## 背景 有上万台边缘机器，每台都会有多个agent客户端，并且每个agent都会同时向中心系统上报数据，由于上报数据频繁，并发量也大，每个agent都频繁和中心建立连接，导致中心压力非常大，所以需要对此进行优化，对每台机器上的agent上报数据做聚合，批量进行上报，减少边缘和中心的上报频率，从而减轻中心压力。 ## 方案 - 边缘增加一个batch中间件，所有agent上报的数据由原来直接向中心上报变为向batch中间件上报 - batch中间件会聚合请求，再分批向中心上...阅读全文
