数据分析要会写代码

大胡桃夹子 · · 3405 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

最近工作任务有些忙,主要是各个部门的数据分析需求再加上APP后端性能优化挤到一块儿去了。

之前的数据相关工作主要是被动式的,各个部门把数据分析的需求给出来,然后一个人从ES或者Hadoop中对数据进行分析,最终用tableau画图,然后通过Keynote导出成pdf,通过邮件反馈回去。

近期通过了一个提案,就是开发一个内部使用的大数据开放平台,在Web上输入某个关键字,就可以返回相关的信息和分析结果。将自己从很多的手工分析中解放出来。

任务比较急,从零到上线只给一个月时间,而且只有我一个开发人员,还不能耽误平时的正常工作。

所以权衡下来,初步选择基于tableau server提供的Restful API,将后台预先生成的图返回到Web前端。同时会从Redis中获取一个实时计算的数据以及Mysql中获取一些文本类的信息展示。

Nginx主要是用来做安全控制,只允许公司内网使用,这样就不需要账号登录模块了。

总的架构如图所示:


今天升级了一下tableau server到最新版本,可以基于Http Restful API来下载视图的高清图片了。幸好今天升级了,还有不到一个月维护的License就到期了,到时候就无法升级了。而低版本的tableau server提供的API比较弱,完全没法满足初步的需求。

前端会提供一个简单的搜索框,然后搜索的内容和图片会显示在下面,第一版本暂时不会提供数据的导出功能。

目前是基于Python快速搭建一个Demo出来,等到Demo搭建的差不多了,打算使用Golang来做为后台,主要的考虑是顺便捡起遗失已久的Golang。


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:大胡桃夹子

查看原文:数据分析要会写代码

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

3405 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传