9月25 - 27日，2019云栖大会如期召开。在大会最后一天下午，阿里云智能视频云分论坛为今年的云栖大会献上了一场精彩的压轴好戏。视频云V5计划发布 使能生态合作伙伴会上，阿里云智能研究员金戈进行《视频云新“三网一云”，驱动行业应用创新》主题演讲，并发布视频云V5计划。金戈表示：阿里云将全面打造新“三网一云”的产业布局，基于领先的视频和网络技术、阿里云达摩院的AI技术与阿里巴巴商业场景实践三级先发优势，凭借视频云多年沉淀的直播网、点播网和音视频通信网三大视频技术的融合应用，和一系列围绕云端媒体资源全生命周期构建的云计算服务和AI算法引擎，锻造出一个智能、融合、高效、经济、稳定可靠的视频IT基础设施服务平台。据悉，依托新“三网一云”技术底座，视频云V5计划将正式启动。其目的是构筑开放、协...阅读全文
使用consul实现分布式服务注册和发现 七 06 bigwhite技术志 Airbnb, cluster, consul, docker, etcd, Go, Golang, haproxy, hashicorp, json, raft, SmartStack, ZooKeeper, 分布式系统, 强一致性, 服务发现, 服务注册, 选主 No Comments Consul是HashiCorp公司推出的开源工具，用于实现分布式系统的服务发现与配置。与其他分布式服务注册与发现的方案，比如 Airbnb的SmartStack等相比，Consul的方案更“一站式”，内置了服务注册与发现框 架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案，不再需要依赖其他工具（比如Zoo...阅读全文
golang的分布式framework横空出世了，各种酷，不用再羡慕erlang的分布式编程了。 http://www.gocircuit.org/ 神级应用 ，已经在Tumblr经过检验。 项目源码：https://code.google.com/p/gocircuit...阅读全文
从第一天开始学习Golang就知道它有一个很让人心动的特性就是跨平台编译，但一直没有去使用。最近做了一个小东西需要用到这个特性，所以在网上进行了搜索。 首先找到是国内文章是利用下载Go的源码包，将对其进行编译安装，完成后Go/src下的make.bash生成跨平台的编译器，这样在每次用时需要指定ＧＯＯＳ及ＧＯＡＲＣＨ来进行编译，如： CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build ／／编译为linux 64位系统下的程序 如果需要编译windows 64 位下的程序则要再写一个命令： CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build ／／编译为windows 64位系统下的程序 具体介绍请看： “G...阅读全文
2016年12月16日，第一届数据智能与算法革命高峰论坛暨马克威算法交易平台发布会于在上海国际会议中心隆重召开。国家级大数据资产运营平台chinadataPay.com中国数据宝公司副总裁张培作为特邀嘉宾参会并与政府领导、企业高管及高校院士等各领域专业人士一起共同探讨数据智能的发展方向及算法对各行各业的影响。 据了解，马克威算法交易平台是为各行各业的分析人员提供互联网化的分析算法工具和应用模型。其关键技术在于将数据分析和挖掘算法以及行业应用模型开发成独立封装、适应各种运行环境、可以通过互联网交易的知识产品，打造了一个汇集全球所有能公开获得的算法库和行业应用模型库，助力整个中国智能化的发展，同时也为有创造力的算法研究人员提供了知识变现的平台。 当大数据和算法成为...阅读全文
# pholcus [](https://godoc.org/github.com/henrylee2cn/pholcus) [](https://github.com/henrylee2cn/pholcus/releases) Pholcus（幽灵蛛）是一款纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批...阅读全文
8月18日，阿里巴巴诸神之战全球创客大赛（福建赛区）暨全球版权投资与交易论坛在厦门圆满收关。来自阿里巴巴创新中心、阿里系合作伙伴、IP合作领域名企、投资机构及福建的创业精英们齐聚一堂，共同探讨产业合作、投资趋势、明晰IP的发展前景。厦门市集美区人大副主任陈来福、集美区科技局局长张长明出席活动。 福建赛区冠军强势出炉 2017阿里巴巴诸神之战福建赛区于7月正式启动，经过了BP报名、线上评分、大赛路演等多个环节，最终，8月18日迎来赛区决赛。决赛分为文创组与商业组，厦门市创投、集美产投参与，由奥飞贝肯投资、铂欣资本、达晨创投、信息资本、九鼎创投、九贤资本等投资机构担任评委，进行严格比赛。最终，泊喜、游仁科技分别拿下了福建赛区文创组及商业组两个冠军席位，也同时获得了诸神之战...阅读全文
## 简介 Asgard是设计用于综合解决常驻进程应用、计划任务、定时任务的分布式作业管理系统。 ## 架构设计  - Asgard系统由web节点、master节点、agent节点组成。 - web节点主要功能包括实例管理、分组管理、作业配置、作业运行状态控制、作业运行状态查看、日志查询 - master节点负责agent节点的状态监测，同时接收并转存agent节点上报的运行时数据 - agent节点接收web节点的指令在相应的服务器中运作相关作业 - master节点和agent节点之间通...阅读全文
深圳创赛平台,创成汇专业的创赛发布网站平台 深圳创赛发布平台,国内专业的创新创业大赛承办方，创成汇--全球专业的创新创业生态链服务平台，创成汇平台致力于打造全球专业的创新创业生态链，平台以线上系统为服务载体，整合国内外优质资源，采用大数据、智慧智能等高新技术理念和互联互享的先进产业模式，从而搭建政府、企业、创投、企服为一体的创服生态链。 通过创新创业大赛发布平台进行赛事的一个发布，帮助快速促进赛事进程，让更多的创新创业者、投资人等多方面资源迅速整合。 近年来随着国家对双创领域的大力支持与关心，创新创业大赛等双创活动也纷纷涌现，传统的创新创业大赛宣传主要是通过线下的双创载体、校园举行推介会宣传，线上通过新闻发稿等方式的宣传。那么创成汇作为国内专业的创新创业成果转化服务平台，也是创新创业大赛主办...阅读全文
注意点一、 go build 的时候会选择性地编译以系统名结尾的文件(linux、darwin、windows、freebsd)。例如Linux(Unix)系统下编译只会选择array_linux.go文件，其它系统命名后缀文件全部忽略。 注意点二、 在xxx.go文件的文件头上添加 // + build !windows (tags)，可以选择在windows系统下面不编译 // +build !windows package main 总结：golang跨平台没有java好用，但是跟c语言差不多，都得针对不同平台不同特性迭轮...阅读全文
看一段代码 func main() { wg := sync.WaitGroup{} wg.Add(20) for i := 0; i < 10; i++ { go func() { fmt.Println("A: ", i) wg.Done() }() } for i := 0; i < 10; i++ { go func(i int) { fmt.Println("B: ", i) wg.Done() }(i) } wg.Wait() } 输出结果： A: 4 A: 10 A: 10 A: 10 B: 2 A: 10 A: 10 A: 10 B: 9 B: 3 B: 4 B: 5 B: 6 A: 10 B: 0 B: 1 A: 10 A: 10 B: 8 B: 7 结论： A与B所在的协...阅读全文
腾讯大佬：分享百亿级请求高可用Redis分布式集群实践 一、Redis有哪些常用的应用场景 腾讯大佬：分享百亿级请求高可用Redis分布式集群实践 二、Redis选型思考 时延 时延=后端发起请求db（用户态拷贝请求到内核态）+ 网络时延 + 数据库寻址和读取 如果想要降低时延，只能减少请求数（合并多个后端请求）和减少数据库寻址和读取得时间。从降低时延的角度，基于单线程和内存的redis，每秒10万次得读写性能肯定远远胜过磁盘读写性能。 数据规模 以redis一组K-V为例（”hello” -> “world”），一个简单的set命令最终会产生4个消耗内存的结构。 腾讯大佬：分享百亿级请求高可用Redis分布式集群实践 关于Redis数据存储的细节，又要涉及到内存分配器（如jemalloc）...阅读全文
2016年11月29日，由江西省商务厅指导、江西省服务外包产业协会主办的第三届中国长江经济带发展高峰论坛在江西南昌举行，本次论坛以“数据•融合•创新”为主题，围绕外包、制造业服务化、互联网+、电子商务、大数据、人工智能、移动互联网等新兴领域的发展为契机进行高端对话。贵州数据宝网络科技有限公司Chinadatapay.com董事长汤寒林作为特邀嘉宾发表《大数据行业的“淘宝”》的主题演讲，就如何高效开展大数据交易进行分享，并与华道数据、用友网络、中兴软件、联合金融、兴业证券等机构共同探讨大数据与服务贸易行业融合的创新模式。 ![1.jpg](http://studygolang.qiniudn.com/161207/6942fb4a9522d59f113aa36e38fabea3.jp...阅读全文
# xxl-job go-client xxl-job golang 客户端 > 自动注册 > BEAN模式 > kill掉耗时任务 # Example ``` package main import ( xxl "github.com/xxl-job/go-client" "github.com/xxl-job/go-client/example/task" ) func main() { exec := xxl.NewExecutor( xxl.ServerAddr("http://127.0.0.1/xxl-job-admin"), xxl.ExecutorIp("127.0.0.1"), //可自动获取 xxl.Execu...阅读全文
本想让思绪再飞一会儿，但是已经逐渐成型，便一丝不挂托出，这个命题不能偏颇，更不能偏激，尽量走心实在。 他的名字叫Inchain印链，一个区块链圈子里面比较务实的项目。有一群默默耕耘的追梦人，在不断的为这个世界改变输出力量。他们号称区块链先驱践行者；号称国内为数不多的自主研发公有链；号称是西南地区第一个区块链落地应用；号称可以连接大数据、物联网、防伪溯源等，他们正在用自己的理想把区块链的任督二脉激活。 #谈观感# 区块链运动军备竞赛如火如荼，有野蛮人、有抽水机、有矿场霸主，有各种黑白客斗争、扩容也好、分叉也罢，但是整体格局是浩浩荡荡向前推进，Inchain,正好赶上这一波大潮水，顺水推舟，从开始的几个人，发展到30多人的团队，在全国范围内，也可以算增速极快，因为这是项目本身的魅力所在。从一个小...阅读全文
gonet 游戏服务器架构，mmo架构，分布式snowflake64为整形uuid,ai行为树，配置data，游戏大部分都在内存运算,分布式缓存redis。 设计之初，建立在actor模式下的；rpc，以及消息驱动，rpc无需注册，支持int，数据，struct（struct必须要注册结构题即可）；sql封装简单的orm，具体看demo websocket模式下，要在net，websocket注视掉如下代码：https://studygolang.com/articles/14842 代码除了mysql，protobuf，redis这几个第三方库以外，其他都是自己写的，方便性能和修改，主动权在自己手里 服务器之间rpc，客户端服务器之间protobuf + rpc，客...阅读全文
直奔主题，首先安装Intellj IDEA 15（其它版本也行），可以装免费的社区版，也可以装付费的旗舰版，如果你有钱可以买正版，鉴于还有许多像我一样的穷书生，这里给个旗舰版破解的下载链接：http://pan.baidu.com/s/1o76epDo 密码: 7vjk 博主写这篇文章的时候最新版是15.0.3，但是那个版本暂时无法破解，但是15.0.2可以，下载地址里有破解工具和傻瓜式使用说明，只需三步。 然后开始装golang的插件，插件官网地址是：https://github.com/go-lang-plugin-org/go-lang-idea-plugin 提示：Idea的插件仓库里面本身也有Go，但是版本相对更新很慢，博主写文章的时候Go的版本已更新到1.6，而Idea本身插件仓...阅读全文
IPFS 是分布式文件系统，寻求连接所有计算机设备的相同文件系统。在某些方面，这很类似于原始的 Web 目标，但是 IPFS 最终会更像单个比特流群交换的 git 对象。 IPFS ＝ InterPlanetary File System IPFS 云成为一个新的，重要的网络子系统，如果构建得当，那么可以完善或者替换 HTTP，或者说可以完善或者替代更多，听起来很疯狂，但是确实很疯狂！ IPFS 结合了 Git，BitTorrent，Kademlia，SFS 和 Web 的优势，提供跟 HTTP web 一样简单的接口。 IPFS 分为 3 个代码库： * [github.com/ipfs/ipfs](https://github.com/ipfs/ipfs) - IPFS 规范 ...阅读全文
### 岗位职责：### - 参与公司后端公共服务和微服务体系的设计和开发； - 进行微服务相关技术调研分析并在项目中实践； - 负责编制、修改项目相关的技术文档； ### 任职要求：### - 熟练掌握Golang，4年以上工作经验，2年以上Golang开发经验，有完整项目经验，同时熟练掌握Java／PHP／C++等任意一门语言者优先； - 熟练掌握Golang相关技术，熟悉web开发，熟悉Golang协程，熟悉channel和锁，对高并发、高可用架构系统有正确、深刻的理解，有分布式服务设计或开发经验者优先； - 熟悉MySQL，熟悉数据库原理和常用性能优化技术，同时熟悉其他数据库（如Redis、MongoDB等）者优先； - 熟悉微服务docker,k8s者优先； -...阅读全文
[](https://gitee.com/GuaikOrg/go-snowflake) # ❄️ GO-Snowflake ## Snowflake简介 在单机系统中我们会使用自增id作为数据的唯一id，自增id在数据库中有利于排序和索引，但是在分布式系统中如果还是利用数据库的自增id会引起冲突，自增id非常容易被爬虫爬取数据。在分布式系统中有使用uuid作为数据唯一id的，但是uuid是一串随机字符串...阅读全文
10月14日-15日，阿里云2015云栖大会Computing Conference在杭州召开。大会吸引了来自全球约2万名开发者参加。阿里云及其合作伙伴在大会上发布了一系列新的云计算技术，200多家云上企业展示了量子计算、人工智能等前沿科技。 大会由杭州市政府和阿里巴巴集团联合主办，阿里云承办，共设置两个主论坛、约30场分论坛和3场开发者大赛。浙江省省长李强、阿里巴巴集团董事局主席马云出席大会并发表主题演讲。 作为中美技术差距最小的行业之一，中国的计算力量已全面参与到全球的竞争中。云栖大会则是中国计算力量的一次集中展示。作为中国最大的云计算服务平台，阿里云重塑了开发者获取计算资源的方式，帮助创新创业者面向全球提供服务。 创业进入“快消时代” 契合与“互联网、创新、创业...阅读全文
什么是Cloudtask? Cloudtask 是一个轻量级的分布式定时任务管理平台，它非常轻量小巧，使用简单，我们可以上传、暂停/启动任务，克隆一个任务，修改任务的执行命令，或者查看任务的调度状态、执行日志，开发人员可以采用自己最熟悉的编程语言来编写任务程序，可以是一个控制台程序，也可以是一段 shell 脚本，上传至平台后设置定时执行规则即可。 设计方案 Cloudtask 后端为无状态服务，通过 Zookeeper 实现集群各节点间的发现与协调，节点以心跳方式注册到注册中心，中心服务器统一管理着所有集群，任务调度以集群方式进行分配，具有良好的可扩展性，任务分配信息按集群划分并将分配数据存储到 Zookeeper 节点，保持分配数据的一致性。 更多文档 https://cloudtask...阅读全文
Samaritan 是一个开箱即用的数字货币量化交易框架，可以非常方便地部署属于自己的量化交易平台，目前已适配了 okcoin 中国、火币网、Poloniex、BTCC、中国比特币、okcoin 期货等交易所的接口，更多的交易所适配和功能特性正在陆续开发中。    { re, _ := regexp.Compile(`a=(\d+),b=(\d+)`) c := re.ReplaceAllString("test regexp a=1234,b=5678. test regexp replace a=8765,b=3210 ", "c=$2,d=$1") fmt.Println(c) } 输出： test regexp c=5678,d=1234. test regexp replace c=3210,d=876...阅读全文
上次用Scala写了个爬虫。最近在闲工夫之时，学习Go语言，便用Go移植了那个用Scala写的爬虫，代码如下： package main import ( "fmt" "io/ioutil" "net/http" "regexp" ) var ( ptnIndexItem = regexp.MustCompile(`< atarget="_blank" href="(.+\.html)" title=".+" >(.+)`) ptnContentRough = regexp.MustCompile(`(?s).*
## 国内新闻 1.银联银行推出银行业统一APP“云闪付” http://www.ebrun.com/20171211/258453.shtml 2.香港投资者反对东芝芯片交易 正联合其他基金阻止 http://tech.sina.com.cn/it/2017-12-11/doc-ifypnsip8203141.shtml 3.微信iOS版更新带来全新来电界面 与原生应用同级 http://www.cnbeta.com/articles/tech/678695.htm 4.自媒体还有多少能可以“赋”与“被赋” http://www.lanjingtmt.com/news/detail/30802.shtml ...阅读全文
package main import ( "errors" "fmt" "sync" "time" ) const ( twepoch = int64(1417937700000) // 默认起始的时间戳 1449473700000 。计算时，减去这个值 DistrictIdBits = uint(5) //区域 所占用位置 NodeIdBits = uint(9) //节点 所占位置 sequenceBits = uint(10) //自增ID 所占用位置 /* * 1 符号位 | 39 时间戳 | 5 区域 | 9 节点 | 10 （毫秒内）自增ID * 0 | 0000000 00000000 00000000 00000000 00000000 | 00000 | 000000 0...阅读全文
## dcron 分布式定时任务库 ### 原理 基于redis同步节点数据，模拟服务注册。然后将任务名 根据一致性hash 选举出执行该任务的节点。 ### 流程图  ### 特性 - 负载均衡：根据任务数据和节点数据均衡分发任务。 - 无缝扩容：如果任务节点负载过大，直接启动新的服务器后部分任务会自动迁移至新服务实现无缝扩容。 - 故障转移：单个节点故障，10s后会自动将任务自动转移至其他正常节点。 - 任务唯一：同一个服务内同一个任务只会启动单个运行实例，不会重复执行。 - 自定义存储：通过实现driver接口...阅读全文
package cron import "time" func StartTimer(F func()) { go func() { for { F() next := now.Add(time.Hour * 24) next = time.Date(next.Year(), next.Month(), next.Day(), 0, 0, 0, 0, next.Location()) t := time.NewTimer(next.Sub(time.Now()阅读全文
****51reboot 运维开发又双叒叕的搞活动了，鉴于之前 51reboot 的活动反馈，每次活动结束后（或者已经结束了很长时间）还有人在问活动的事情。这一次小编先声明一下真的不想在此次活动结束后再听到类似下面的话了 我之前不知道有活动 (这个锅小编我背了) 这个活动还有吗？ 我想了解一下这个活动 跟小编说可以给我按活动价算吗？ .......... 针对以上类似的询问小编在此统一回复大家： image 好了，接下来进入今天的重中之重 image 本次活动：Python 运维开发——18天训练营 本课程为：网络班+面授班（北京） 第一：免费是真的，仅限前 60 名报名者，61-150 名超级特价。 第二：开课时间 5月12日 第三：为期18天（每周一天） 主讲师： Panda ：曾就职于...阅读全文
作用：比如你手头只有Mac系统，而你的用户有Linux和Windows的，他们也想用，你可以通过交叉编译出Linux和Windows上的可执行文件给他们用 (1)首先进入go/src 源码所在目录，执行如下命令创建目标平台所需的包和工具文件。 $ cd /usr/local/go/src $ CGO_ENABLED=0 GOOS=linux GOARCH=amd64 ./make.bash 如果是 Windows 则修改 GOOS 即可。 $ CGO_ENABLED=0 GOOS=windows GOARCH=amd64 ./make.bash (2) 现在可以编译 Linux 和 Windows 平台所需的执行文件了。 $ CGO_ENABLED=0 GOOS=linux GOARCH=a...阅读全文
聚合支付也叫四方支付，是一款各类型商户多种支付渠道便利收款、对账的需求，整合市面上多种支付渠道，如支付宝、微信、银联、京东，支持多种终端，如PC端、移动端、智能终端等的统一支付产品，不仅如此，无论企业使用哪种支付渠道，只要通过聚合支付接入，即可使用聚合支付对账单及数据统计，实现收款、结算、数据统计全面聚合，解决商户在不同渠道重复对账，独立统计的弊端。 现在市面上的支付系统太多了，价钱不一、开发语言多种多样，什么JAVA、.NET、PHP、GOLANG等等。每个公司都打着自己的支付系统才是真正好的系统，那么到底哪一款才是真正实用，适合自己的系统呢？ 娱谷科技自主研发的聚合支付系统（支付技术服务）可提供最专业的ＳＤＫ、ＡＰＩ数据服务，从而打造一站式的接口管理，形成简单稳定的聚合支付云服务，覆盖全...阅读全文
# 分布式任务调度平台 ## 前言 在企业系统开发过程中难免少不了一些定时任务来进行定时触发执行任务，对于非分布式环境系统中，我们只需要在对应系统中内部集成一些调度库进行配置定时触发即可。 比如：使用Spring框架集成quartz,只需要进行一些简单的配置就能定时执行任务了。但是随着企业的系统越来越多、逐步从单一应用慢慢演变为微服务集群。 在分布式集群系统中主要面临出如：任务的重复执行、没有统一定时任务配置、任务节点故障转移、任务监控&报警等一些列的功能都是要在分布式系统中进行解决。 此分布式的定时任务调度平台，它非常轻量小巧，使用简单，后端以中心服务器为调度核心，负责集群中各种任务的动态分配和调度执行。 在平台前端支持Web界面可视化管理，我们可以创建、暂...阅读全文
http://godoc.golangtc.com/doc/faq#inc_dec 简单地说, 在golang中++,--操作是语句而不是表达式. 所以a=b++, return x++之类绝对提示错误. 语句是无法放到表达式的位置 Why are ++ and -- statements and not expressions? And why postfix, not prefix? Without pointer arithmetic, the convenience value of pre- and postfix increment operators drops. By removing them from the expression hierarchy altogether...阅读全文
SeaweedFS 是简单，高伸缩性的分布式文件系统，包含两部分：存储数十亿的文件；快速为文件服务。SeaweedFS 作为支持全 POSIX 文件系统语义替代，Seaweed-FS 选择仅实现 key-file 的映射，类似 "NoSQL"，也可以说是 "NoFS"。 SeaweedFS 仅花费 40 字节的硬盘来存储每个文件的元数据。 基准测试基于 Mac Book，固态硬盘，CPU：1 Intel Core i7 2.6GHz。 编写 1 百万的 1KB 文件：
Concurrency Level: 16 Time taken for tests: 88.796 seconds Complete requests: ...阅读全文
前言 一个成熟的大型网站（如淘宝、天猫、腾讯等）的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的，它是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发生了很大的变化，就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统架构是随着业务的扩展而逐步完善的，并不是一蹴而就；不同业务特征的系统，会有各自的侧重点，例如：淘宝，要解决海量的商品信息的搜索、下单、支付，例如腾讯，要解决数亿用户的实时消息传输，百度它要处理海量的搜索请求，他们都有各自的业务特性，系统架构也有所不同。尽管如此我们也可以从这些不同的网站背景下，找出其中共用优化的技术，这些优化技术和手段广泛运用在大型网站系统的架构中，下面让我们来认识这些优化性能的技...阅读全文
在企业项目开发中会定时执行对应的job，对于一些简单少的job可以直接使用调度器调度执行任务。当随着公司的业务越来越多，执行任务越来越多。那么直接使用任务调度器调度任务执行会变得臃肿，而且对于任务是动态配置不可实现。如：想某一个时刻停止任务的执行、删除此任务然后修改更新任务执行时间等，如某一个任务配置到多台机器上如何做到不可用时，进行转移等问题。 为了解决此类问题，我们需要对任务的调度和执行进行分开。有统一的任务调度中心-专门进行任务的调度分发任务工作，各个任务的具体任务执行分配到个个项目中。从而达到对任务的统一配置和管理。 #基础环境 #GO环境 cd /usr/local/src/ mkdir -p $HOME/gocode/src # tar -zxf go1.8.3.linux-am...阅读全文
## 高级Golang研发工程师 ### 岗位职责： 1. 参与公司微服务架构的整体设计和开发，进行相关技术调研、选型和实践； 2. 负责编制、修改项目相关的技术文档和规范； 3. 负责新人指导和code review，技术难题研究，提升团队技术水平； 4. 参与公司开源项目的设计与开发，提高公司在业界的影响力。 ### 任职要求： 1. 熟练掌握Golang，4年以上工作经验，2年以上Golang开发经验，有完整项目经验，同时熟练掌握Java／Ruby／Python／C#等任意一门语言者优先； 2. 熟练掌握Golang相关技术，熟悉Golang协程，熟悉channel和锁，对高并发、高可用架构系统有正确、深刻的理解，有分布式服务设计或开发经验者优先； 3. 熟悉M...阅读全文
一、前言在计算机领域，当单机性能达到瓶颈时，有两种方式可以解决性能问题，一是堆硬件，进一步提升配置，二是分布式，水平扩展。当然，两者都是一样的烧钱。今天聊聊我所理解的分布式系统的架构思路。 二、分布式系统的两种方式平时接触到的分布式系统有很多种，比如分布式文件系统，分布式数据库，分布式WebService，分布式计算等等，面向的情景不同，但分布式的思路是否是一样的呢? 1.简单的例子假设我们有一台服务器，它可以承担1百万/秒的请求，这个请求可以的是通过http访问网页，通过tcp下载文件，jdbc执行sql，RPC调用接口…，现在我们有一条数据的请求是2百万/秒，很显然服务器hold不住了，会各种拒绝访问，甚至崩溃，宕机，怎么办呢。一台机器解决不了的问题，那就两台。所以我们加一台机器，每台承...阅读全文
TiDB 是国内 PingCAP 团队开发的一个分布式 SQL 数据库。其灵感来自于 Google 的 [F1](http://research.google.com/pubs/pub41344.html), TiDB 支持包括传统 RDBMS 和 NoSQL 的特性。 **TiDB 的源码已经托管在 Git@OSC 上，详情请查看：** [http://git.oschina.net/pingcap/tidb](http://git.oschina.net/pingcap/tidb) 架构：  特性： [](http...阅读全文
Keith Morrow作为Scala的支持者，发表了这篇倾向于Scala的文章，主要也是为了反驳一年前 Paul Dix 的文章:why he prefers Go over Node and Scala，Paul Dix认为Go好于Scala的原因在于下面几个方面：并发性, 易理解性, 代码分享和学习难度。之所以时隔一年才有人反驳，一则因为双方不了解，二则可能是随着Go编写的Docker流行，拳头产品的出现让大家对Go刮目相看。 Keith Morrow则认为Go比Scala易于学习是因为Go是一种命令式语言。这相对不习惯函数语言的人来说易于掌握一些。 因为大多数人对于命令式语言比较熟悉，因此毫无疑问在代码共享方面Go要易于Scala。那么，在学校曲线上，命令式语言的人学习函数编程要难一...阅读全文
通过 go help testflag 可以看出，可以使用 test.run 加正在表达式来指定要测试的用例。 如有以下用例在包 foo/test 中： func TestFoo(t *testing.T){} func TestFoo1(t *testing.T){} func TestAbc(t *testing.T){} go test -v foo/test 将测试所有的用例 (-v 表示输出详细信息，无论成功失败) go test -v -run TestFoo foo/test 将测试 TestFoo 和 TestFoo1 go test -v -run ^TestFoo$ foo/test 将只测试 TestFo...阅读全文
Volcano 是基于 Kubernetes 的批处理系统，源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入，提供高性能任务调度引擎，高性能异构芯片管理，高性能任务运行管理等能力。 ## 整体架构  Volcano 提供一整套目前 K8S 在批量和弹性工作负载处理中缺失的机制，包括： 1. 机器学习/深度学习 2. 生物信息学/基因组学 3. 其他“大数据”应用 这些类型的应用程序通常运行在Volcano集成的Tensorflow，Spark，PyTorch，MPI等通用域框架上...阅读全文
package util import ( "regexp" "strconv" "strings" ) //表情解码 func UnicodeEmojiDecode(s string) string { //emoji表情的数据表达式 re := regexp.MustCompile("\\[[\\\\u0-9a-zA-Z]+\\]") //提取emoji数据表达式 reg := regexp.MustCompile("\\[\\\\u|]") src := re.FindAllString(s, -1) for i := 0; i < len(src); i++ { e := reg.ReplaceAllString(src[i], "") p, err := strconv.Parse...阅读全文
7月26日，网易云创峰会在杭州举行。会上，网易轻舟微服务发布了支持Service Mesh、分布式事务框架GTXS、全新API网关等重大更新。网易云基础服务总经理陈谔称，此次更新将主要帮助企业应对在线业务中台建设过程中面临的挑战，帮助企业完成业务架构的进化，建成在线业务中台，支撑业务快速创新。在线业务中台建设面临两大挑战去年的云创大会，是网易一站式微服务解决方案“轻舟”的首次亮相。一年来，轻舟在业界进行了大量实践和探索。网易考拉基于轻舟微服务平台实现了核心系统的分布式改造，全面实现资源层和应用层的弹性，有效支撑了618、818、双11、黑五等电商大促活动；德邦快递基于网易轻舟微服务平台进行了系统的微服务改造，最终实现IT的全面升级，加快数字化进程；大华股份借助网易轻舟微服务平台，构建了统一的...阅读全文
阿里大鱼在国内算是比较好的短信服务平台了，作为阿里出品自然为开发者们提供了许多语言的SDK，但其中并不包括Golang，这也是alidayu-go产生的原因...阅读全文
Gosl 是用 Go 编写的科学计算库，用于帮助科学研究软件的开发。 这个库尽可能做到通用，它使用了多线程并发技术，以及基于消息传递的并发计算。它还实现了几何计算，随机数生成和概率分布的功能和结构、优化算法以及绘图和可视化...阅读全文
// xuhh_go_channel project main.go /* channel 1. channel 在读取数据的时候，如果此时通道内没有数据，则会阻塞。 在取数据的时候，如果此时通道内没有数据，则也会阻塞。 2. channel 在创建的时候会存在一个数据缓冲，如果通道内存入的数据超过缓冲，则就会崩溃。 range 在遍历 channel 的时候需要注意的问题： 1. range在遍历channel的时候，一直在运行，直到close(channel)的时候才会结束调用。 2. range会一直读取数据，如果没有数据，就会阻塞在那里。 len(channel):channel内未被读取的len cal(channel):channel的容量 select机制 : 1. 检查每个c...阅读全文
10月27日，广东省云浮市市委书记、市人大常委会主任庞国梅一行在贵安新区花溪大学城管委会主任罗松华的陪同下，莅临ChinaDataPay中国数据宝公司进行参观考察。双方针对政府数据开放与国家大数据战略在数据宝公司进行深入交流探讨，并对数据宝公司“双创”平台的建设工作给予了充分肯定。 据悉，广东省在政务数据资源整合、共享、开放等领域先行一步。10月26日正式开通广东省政府数据统一开放平台“开放广东”。作为广东省政府数字统一的开放平台，首批开通了信用、交通、农业、经济、信息化、文化和国土等7个领域共104个数据集，10个数据应用和8个数据接口，方便公众和企业对接使用，计划到2020年底，“开放广东”平台将在零售服务等重点领域开放500个以上的政府数据集，形成50个以上的开放数据应用...阅读全文
