浙江的创业者们看过来：总计4.1亿元政策及现金奖励；知名媒体360°专访报道；数千万元融资对接，构成了2017诸神之战（浙江赛区）3D立体化奖项设置，你不容错过！ 奖项及奖励 一、浙江赛区奖项及奖励设置 1、浙江赛区决赛冠军 1）工商注册在中国（杭州）人工智能小镇且入驻办公的，可享受以下奖励政策： 50万元杭州未来科技城专项资金奖励； 三年最高600方免租金办公场地； 三年最高600万元研发补助； 领军型人才最高300万元安家费补助； 三年最高45万元云服务补助； 三年最高6万元创新券补助； 硕士、博士一次性生活补贴及人才竞购车牌补助； 金融支持：最高500万元创业贷风险池；最高150万元天使梦想基金；最高2000万元让利性股权投资引导基金。 2）3...阅读全文
看标题就知道，这是一个很简单的问题，就一个函数的事，但是，今天一同学golang的几个人中，已经不止一个人问我了，在这里我就说一下，也希望对不清楚的娃有些许帮助，大神别喷，飘过就行了。 大家知道，golang对于不确定返回值可以用interface{}代替，这确实很方便，但是也带来了问题，那就是如何判断返回值是什么类型的？其实可以用反射也就是reflect来判断，通过函数 reflect.TypeOf() 即返回类型！ $(function () { $('pre.prettyprint code').each(function () { var lines = $(this).text().split('\n').length; var $numbering = $('
最近给 go.image/tiff 增加了 Tile/Gray/Gray16/RGB16bit 等格式的支持. 还有一些特性以后会陆续完善. Go语言图像库的基本思路是能尽量提供完善的解码功能(当然只支持文件的第一个图像). 而编码功能则比较有限, 主要是支持基本的不同颜色模型, TIFF特有的特性应该不会完整支持. 最近有用户反馈生成的tiff在Mac系统不能正常浏览(Issue6421). 而我自己的Win7/64可以正常打开有问题的图像. 用 tiffinfo 也没有看到什么异常的Tag(有问题的已经修改之后). 之后无意中用GIMP也不能打开Mac有问题的tiff影像. 既然问题已经重现, 查找原因就容易多了. 初步分析之后, 发现问题主要是针对非RGB的图像(灰度和调色板). 然后...阅读全文
Go语言是谷歌2009发布的第二款开源编程语言。Go语言专门针对多处理器系统应用程序的编程进行了优化，使用Go编译的程序可以媲美C或C++代码的速度，而且更加安全、支持并行进程。但Go语言除了擅长处理服务器端任务外，它还可以用来做图。 package main import ( "log" "github.com/fogleman/pt/pt" ) func main() { scene := pt.Scene{} wall := pt.SpecularMaterial(pt.HexColor(0xFCFAE1), 2) scene.Add(pt.NewSphere(pt.Vector{4, 7, 3}, 2, pt.LightMaterial(pt.Color{1, 1, 1}, 1, p...阅读全文
有没有好奇过redis、memcache等是怎么实现集群负载均衡的呢？ 其实他们都是通过一致性hash算法实现节点调度的。 讲一致性hash算法前，先简述一下求余hash算法： hash(object)%N 一个缓存服务器宕机了，这样所有映射到这台服务器的对象都会失效，我们需要把属于该服务器中的缓存移除，这时候缓存服务器是 N-1 台，映射公式变成了 hash(object)%(N-1) ； 由于QPS升高，我们需要添加多一台服务器，这时候服务器是 N+1 台，映射公式变成了 hash(object)%(N+1) 。 1 和 2 的改变都会出现所有服务器需要进行数据迁移。 一致性HASH算法 一致性HASH算法的出现有效的解决了上面普通求余算法在节点变动后面临全部缓存失效的问题： type ...阅读全文
Cocos-BCX Golang SDK 语言上线，支持无缝高效开发操作近日，Cocos-BCX 测试网 Golang SDK 上线，支持开发者使用 Golang 语言在 Cocos-BCX 链上进行无缝，快速，高效的开发操作。Golang 是由 Google 的 Robert Griesemer，Rob Pike 及 Ken Thompson 开发的一种静态强类型、编译型语言，正式推出于2009年11月，成为开放源代码项目，并在2016年被软件评价公司TIOBE 选为“TIOBE 2016 年最佳语言”。 在开发过程中，Golang 语言擅长于处理大并发、处理数据、计算能力，适合用于区块链开发、服务端开发等情景。目前，Cocos-BCX 战略合作伙伴比特派，正在使用 Golang 语言在 ...阅读全文
点开其他文章时，也有这种情况，过会儿之后会显示正常内容。这篇文章是一直这样，浏览器：Chrome ，是一套消息队列的七层应用协议标准，由摩根大通和iMatrix在2004年开始着手制定，于2006年发布规范，目前最新版是AMQP 1.0，MaxQ基于AMQP 0.9.1...阅读全文
乘着打盹的时间看了一眼前两天写的日期转换的开源工具: ts。发现管道 pipeline 的功能点可以放大一下, 就此记录一下以备将来只需。 管道是什么 但凡在类 Unix 系统上敲过命令的人，大多使用过管道功能. 所谓管道，就是将A程序的标准输出作为B程序的标准输入。而在类 Unix 系统只需要使用 | 符号，连接 A 和 B 程序即可, 即 A | B。通过多次管道连接，就可以实现非常强大的功能。所以在类 Unix 系统上开发命令行程序有个著名的原则: KISS，即 Keep It Simple Stupid。 画了张简单的图： Go 程序 在 Go 程序中实现管道功能及其简单，直接上码： //先取程序的标准输入属性信息 info, err := os.Stdin.Stat() if er...阅读全文
最近在研究区块链，由于之前不了解这方面的概念，在学习过程中造成了很大的困扰，时不时冒出来的新名词都让我不知所谓，故此在此将一些相关的概念做一个简单的整理，希望能帮助到正在研究区块链技术的朋友。后续也会将学习成果分享出来，对区块链有兴趣的朋友可以加我的微信一起交流。 1.比特币 说区块链就不得不提比特币，08年10月31日，中本聪提出比特币设计白皮书 2008年10月31日中本聪提出比特币设计白皮书，比特币首次真正意义上实现了足够安全可靠的去中心化数字货币机制，比特币作为一种数字货币主要解决了现有金融货币系统的几个问题： 被掌握在发型机构手中； 自身的价值无法保证； 无法匿名化交易。 比特币与现有的金融货币最大的不同在于它不依靠特定的货币发行机构发行（即不需要类似央行这样的中央系统发行货币，所...阅读全文
摘要： 来自阿里云RDS团队的论文“**TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” （TcpRT：面向大规模海量云数据库的服务质量实时采集与诊断系统）**被数据库顶会SIGMOD 2018收录。 ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。 SIGMOD和另外两大数据库会议VLDB、ICDE构成了数据库领域的三个顶级会议。相对而言，SIGMOD比另外两个会议的含金量更高，被录取的难度...阅读全文
自己做的demo小项目，上传到服务器上之后编译通过，执行后可以正常访问，但过会儿链接被挂起后就断了。 请问如何以守护进程方式启动golang项目...阅读全文
首发于：http://blog.shajiquan.com/2015/12/golang-time-format/ 今天有人在群里问： 问一个时间格式化问题： fmt.Println(time.Now().Format("2006year 01month 02day")) 2015year 12month 18day fmt.Println(time.Now().Format("2015year 01month 01day")) 181253year 12month 12day 为什么？ 困扰好久 首先，这是一个很奇葩的问题。 其次，我，以及比我对 Golang 更了解的朋友，都掉过这个坑。我们曾在这个问题上，花了很多时间，最后发现是 Golang 自己的奇怪设定导致。尤其是，一段时间不用 ...阅读全文
摘要： 想要了解一个互联网项目如何实现持续集成吗？想要知道持续集成过程中需要经历哪些阶段吗？想要明白开发测试同学如何配合工作吗？阿里巴巴持续集成持续交付平台——云效，将为大家呈现由真人配音、全程视频演示的项目的一生。精彩不容错过！ 想要了解一个互联网项目如何实现持续集成吗？想要知道持续集成过程中需要经历哪些阶段吗？想要明白开发测试同学如何配合工作吗？阿里巴巴持续集成持续交付平台——云效，将为大家呈现由真人配音、全程视频演示的项目的一生。精彩不容错过！ 360_1075659409938733_59ccabdada656e4.png 云效官网视频链接：（进入页面后选择左侧帮助视频栏--云效研发整体流程视频） http://ali-aegis.aliyun.com/hel...阅读全文
乘着打盹的时间看了一眼前两天写的日期转换的开源工具: ts。发现管道 pipeline 的功能点可以放大一下, 就此记录一下以备将来只需。 管道是什么 但凡在类 Unix 系统上敲过命令的人，大多使用过管道功能. 所谓管道，就是将A程序的标准输出作为B程序的标准输入。而在类 Unix 系统只需要使用 | 符号，连接 A 和 B 程序即可, 即 A | B。通过多次管道连接，就可以实现非常强大的功能。所以在类 Unix 系统上开发命令行程序有个著名的原则: KISS，即 Keep It Simple Stupid。 画了张简单的图： Go 程序 在 Go 程序中实现管道功能及其简单，直接上码： //先取程序的标准输入属性信息 info, err := os.Stdin.Stat() if er...阅读全文
HDFS，Hadoop分布式文件系统，它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集的应用程序。 **HDFS的设计特点是：** 1. 大数据文件，非常适合上T级别的大文件或者一堆大数据文件的存储，如果文件只有几个G甚至更小就没啥意思了。 2. 文件分块存储，HDFS会将一个完整的大文件平均分块存储到不同计算器上，它的意义在于读取文件时可以同时从多个主机取不同区块的文件，多主机读取比单主机读取效率要高得多得都。 3. 流式数据访问，一次写入多次读写，这种模式跟传统文件不同，它不支持动态改变文件内容，而是要求让文件一次写入就不做变化，要变化也只能在文件末添加内容。 4. 廉价硬件，HDFS可以应用在普通P...阅读全文
最终的实现代码： https://github.com/esdb/drbuffer本文是整个 kafka agent 实现过程中的第一步：https://segmentfault.com/a/1190000004567774 内存结构 每个写入的packet格式如下 --- packet_size(uint16) --- packet_body([]byte) --- 通过存储packet的长度实现变长数据的存储。目标是把这样的内存结构存储到一个ring buffer里。整体的ring buffer的结构如下 --- <-- nextReadFrom packet 1 --- packet 2 --- <-- nextWriteFrom ... 除了每个packet是一个变长的结构体，貌似并...阅读全文
一年最期盼到来的日子，就是这一天，没有之一。 一年最懊悔错过的日子，也是这一天，一样没有之一。 相信你已经猜到了，这一天就是——11.11 今年这个重要的日子，阿里云域名又将带来什么样的惊喜和欢愉呢？！ 促销清单已新鲜出炉，高能剧透看过来~~ ————————————域名低价注册1元起——————————— 活动的方式简单点，优惠的力度粗暴点。 对于大家喜闻乐见的需求，这个双11统统满足你。 届时将有近20种域名后缀，纷纷打出年度最低价格和独家折扣。 • 国家顶级域名 .cn 11.11注册：¥11/首年 原价39元 （活动时间：11.11 08:00-24:00） • 国际顶级域名 .com 11.11注册：¥45/首年 原价60元 （活...阅读全文
老司机带你用 Go 语言实现 Raft 分布式一致性协议 随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。 为了解决这样一系列问题，大型网站的架构也在不断发展。提高大型网站的高可用架构，不得不提的就是分布式。任何一个分布式系统都无法同时满足 Consistency（一致性），Availability（可用性），Partition tolerance（分区容错性）这三个基本需求，最多只能满足其中两项。 但是，一个分布式系统无论在 CAP 三者之间如何权衡，都无法彻底放弃一致性（Consistency），如果真的放弃一致性，那么就说明这个系统中的数据根本不可信，数据也就没有意义，那么这个系统也就没有任何价值可言。所...阅读全文
raft算法种类的实现有很多，比较流行的是etcd raft和hashicorp raft，这两个都是Go语言实现的raft算法库，并且都大量应用到生产环境中，可靠性高。由于本人对hashiro raft熟悉一点，刚好又对Go语言有兴趣，所以选择了hashicorp raft来实现一个简单的分布式key/value系统. 系统设计的基本目标： 具有容错性 - 可以在线自动线性扩展节点 - 可以自动增删节点 - 具体增删查改操作 - 可以适配多种存储引擎 - 支持日志/快照重建 https://github.com/laohanlinux/riot https://laohanlinux.github.io/2016/04/25/%E4%BD%BF%E7%94...阅读全文
项目地址：yeqown/go-qrcode同类项目：skip2/go-qrcode 纠错算法和bitset使用了该库，后续可能会考虑自己实现一遍 go-qrcode 示例 link to CODE package main import ( "fmt" qrcode "github.com/yeqown/go-qrcode" ) func main() { qrc, err := qrcode.New("https://github.com/yeqown/go-qrcode") if err != nil { fmt.Printf("could not generate QRCode: %v", err) } // save file if err := qrc.Save("../testd...阅读全文
摘要： 想要了解一个互联网项目如何实现持续集成吗？想要知道持续集成过程中需要经历哪些阶段吗？想要明白开发测试同学如何配合工作吗？阿里巴巴持续集成持续交付平台——云效，将为大家呈现由真人配音、全程视频演示的项目的一生。精彩不容错过！ 想要了解一个互联网项目如何实现持续集成吗？想要知道持续集成过程中需要经历哪些阶段吗？想要明白开发测试同学如何配合工作吗？阿里巴巴持续集成持续交付平台——云效，将为大家呈现由真人配音、全程视频演示的项目的一生。精彩不容错过！ 云效官网视频链接：（进入页面后选择左侧帮助视频栏--云效研发整体流程视频） http://ali-aegis.aliyun.com/help/help.html?spm=0.0.0.0.W35KAx 视频解读： ...阅读全文
创声明作者: 刘丹冰Aceld，微信公众号同名 作为当今互联网后端技术栈工程师、无论Golang、Java或者其他系，分布式的理论概念都逐步成为必备理论基础知识之一, 本文主要讨论分布式的CAP理论的推进，这是你走进分布式大门的第一块敲门砖。 提纲:一、从本地事务到分布式理论二、ACID理论三、CAP理论四、CAP理论“3选2”论证五、BASE理论 附加:分布式概念 分布式实际上就是单一的本地一体解决方案，在硬件或者资源上不够业务需求，而采取的一种分散式多节点，可以扩容资源的一种解决思路。它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给多个计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 那么在了解分布式之前，我们应该从一体式的构造开始说明...阅读全文
最近一个案例引发了我对区块链公司用人要求的思考。一周前推荐了一位我认为不错的候选人，985院校计算机专业硕士学历，两年工作经验，毕业后一直在一家知名的互联网公司上班，技术也比较扎实，近期两个月在持续关注区块链并看好区块链行业，想趁年轻进入这个行业，看看有没有更好的发展机会。他的条件不错，我帮他推荐了业内三家不错的区块链公司。当初拿到他的简历时，我挺满意的，认为他很大概率上会拿到这几家公司的offer，因为之前操作过类似的case，这种背景的人一般都会被offer。等待了一周，结果却在我的意料之外。那么问题到底出现在哪里呢？我这几天一直在思考。直到今天和一位区块链公司的招聘聊天中她的一句话提醒了我：请尽量帮我找资深一点的人吧，要来了就能干活的那种，薪资不是问题，都能谈。从去年年底到现在，半年多...阅读全文
随着互联网数据规模的不断增大，对文件存储系统提出了更高的要求，需要更大的容量、更好的性能以及更高安全性的文件存储系统，与传统分布式文件系统一样，HDFS分布式文件系统也是通过计算机网络与节点相连，但也有优于传统分布式文件系统的优点。 **1. 支持超大文件** HDFS分布式文件系统具有很大的数据集，可以存储TB或PB级别的超大数据文件，能够提供比较高的数据传输带宽与数据访问吞吐量，相应的，HDFS开放了一些POSIX的必须接口，容许流式访问文件系统的数据。 **2. 高容错性能** HDFS面向的是成百上千的服务器集群，每台服务器上存储着文件系统的部分数据，在集群的环境中，硬件故障是常见的问题，这就意味着总是有一部分硬件因各种原因而无法工作，因此，错误检测和快速、自...阅读全文
kafka官网上介绍kafka是一个分布式流处理平台。 那什么是流处理平台呢，流处理平台有以下三种特性: 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录，并且有较好的容错性。 可以在流式记录产生时就进行处理。 第一个特性很好理解，我们可以用kafka去发消息和接受消息，做一个广播，这个很多工具都可以做到，redis也支持，自己实现也可以，但是kafka强大在他的高可用高性能和可靠性。 第二点，kafka他自己有个参数，log.retention.hours，日志删除的时间阈值（小时为单位），默认是168小时，也就是七天，这七天内的消息，你都可以重新消费到，也可以确定从何处开始消费。 第三点，kafka利用Kafka Streams，我们可以对kaf...阅读全文
好程序员大数据入门学习之Hadoop技术优缺点(1)Hadoop具有按位存储和处理数据能力的高可靠性。(2)Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。(3)Hadoop能够在节点之间进行动态地移动数据，并保证各个节点的动态平衡，处理速度非常快，具有高效性。(4)Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配，具有高容错性。Hadoop的缺点(1)Hadoop不适用于低延迟数据访问。(2)Hadoop不能高效存储大量小文件。(3)Hadoop不支持多用户写入并任意修改文件。Hadoop的核心组件Hadoop自诞生以来，主要出现了Hadoop1、Hadoop2、Hadoop3三个系列多个版本。H...阅读全文
goroutine是非常轻量的，不会暂用太多资源，基本上有多少任务，我们可以开多少goroutine去处理。但有时候，我们还是想控制一下。 比如，我们有A、B两类工作，不想把太多资源花费在B类务上，而是花在A类任务上。对于A，我们可以来1个开一个goroutine去处理，对于B，我们可以使用一个协程池，协程池里有5个线程去处理B类任务，这样B消耗的资源就不会太多。 控制使用资源并不是协程池目的，使用协程池是为了更好并发、程序鲁棒性、容错性等。废话少说，快速入门协程池才是这篇文章的目的。 协程池指的是预先分配固定数量的goroutine处理相同的任务，和线程池是类似的，不同点是协程池中处理任务的是协程，线程池中处理任务的是线程。 最简单的协程池模型 上面这个图展示了最简单的协程池的样子。先把协...阅读全文
作为当今互联网后端技术栈工程师、无论Golang、Java或者其他系，分布式的理论概念都逐步成为必备理论基础知识之一, 本文主要讨论分布式的CAP理论的推进，这是你走进分布式大门的第一块敲门砖。 提纲: 一、从本地事务到分布式理论 二、ACID理论 三、CAP理论 四、CAP理论“3选2”论证 五、BASE理论 附加:分布式概念 分布式实际上就是单一的本地一体解决方案，在硬件或者资源上不够业务需求，而采取的一种分散式多节点，可以扩容资源的一种解决思路。它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给多个计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 那么在了解分布式之前，我们应该从一体式的构造开始说明。 一、从本地事务到分布式理论 理解第...阅读全文
