用过一段时间的 Go 之后，我学会了如何使用一个不带缓存的 channel 去创建一个 goroutine 池。我喜欢这个实现，这个实现甚至比这篇博文描述的更好。虽然这样说，这篇博文仍然对它所描述的部分有一定的价值。 [https://github.com/goinggo/work](https://github.com/goinggo/work) ## 介绍（Introduction） 在我的服务器开发的职业生涯里，线程池一直是在微软系统的堆栈上构建健壮代码的关键。微软在 .Net 上的失败，是因为它给每个进程分配一个单独的线程池，并认为在它们并发运行时能够管理好。我早就已经意识到这是不可能的。至少，在我开发的服务器上不可行。 当我用 Win32 API，C/C++ 构建系统时，我创建了一...阅读全文
libgo 是一个使用 C++ 编写的协作式调度的stackful协程库, 同时也是一个强大的并行编程库。 设计之初是为高并发分布式Linux服务端程序开发提供底层框架支持，可以让链接进程序的同步的第三方库变为异步库，不影响逻辑的前提下提升其性能。 目前支持两个平台： Linux (GCC4.8+) Windows (Win7、Win8、Win10 x86 and x64 使用VS2013/2015编译) 使用libgo编写并行程序，即可以像golang一样开发迅速且逻辑简洁，又有C++原生的性能优势。 1.提供golang一般功能强大协程，基于corontine编写代码，可以以同步的方式编写简单的代码，同时获得异步的性能 2.支持海量协程, 创建100万个协程只需使用2GB内存 3.允许用...阅读全文
golang来处理http请求，有自带的http包，也有各种框架如gin等，但是很少有资料说明这些包和框架在高并发请求下是如何处理的？
比如java的spring会创建一个线程池和队列来帮助处理大量请求，那golang的http或者gin框架是如何做的呢？创建一个goroutine池？还有其他更细节的说明吗？网上资料好像很少。。...阅读全文
问题起因 在分布式存储开源项目 Weed-FS 中， 我发现了一个地方非并发安全(not concurrency-safety)， 所以提交了一个 Weed-FS-PullRequest-75 来进行加锁保护。 简化这个问题如下： 当有一个变量， 有一个 goroutine 会对它进行写操作， 其他 goroutine 对它进行读操作。 是否需要对这个变量进行加锁保护。 我觉得不同goroutine并发读写同一个变量， 需要加锁， 这应该是天经地义的常识。 但是这个 PullRequest 居然出乎意料的被作者反驳了。 作者的理由是： 只有一个 goroutine 在写，其他 goroutine 在读，不需要加锁。 但是这样的观点我实在无法苟同， 因为在我的 C/C++ 开发经验中，这是必然...阅读全文
本文是转载的，个人感觉写的很厉害，没其他的意思，与大家一起分享一、印象中的头条二、面试背景三、准备面试四、头条一面电话面（Java+项目）五、头条二面视频面（大数据+项目）六、头条三面视频面（算法+场景题）七、如何通过头条笔试？八、如何准备头条面试？九、一个关于如何进大厂的小建议一、印象中的头条1.老板张一鸣跟我是福建老乡，龙岩市在我朋友说来就是山沟沟，能走出美团王兴和头条张一鸣让我卯足了去龙岩吃特产老鼠干的欲望。2.给的钱多，笔试也贼难。参加过头条笔试的同学都知道，头条笔试可以笔试三次，就是不论你有没有参加都有三次机会。笔试就5道算法题，两个小时，去年第一次看到算法题就自闭了，第一次挂了。第二次又很认真地做，做到一半放弃了。没过几天又邀请我做第三次，有一种强行被侮辱的感觉。3.内推被拒。正...阅读全文
和百度网盘之间的较量真是无休止啊！市面上的百度网盘下载工具小帮几乎都有过推荐，不知道你现在使用什么方法呢？又或者是用超级会员真诚的支持着百度网盘呢？近期又有一款不限速百度网盘下载神器横空出世-pan-light，在几天前小帮就在github上面看到了这个项目，试用之后的真实体验并不理想。因为是作者预发行的第一个预览版本，有各种小问题在所难免。但这两天发现各种论坛，公众号都在推荐这款工具，小帮有点坐不住了，决定用最真实体验给大家反馈这款软件到底如何？现阶段我们又该选择哪种方式去下载度盘的内容呢？pan-lightpan-light 是一款不限速的百度网盘第三方客户端, 基于 golang + Qt5 开发。登录百度网盘账号后可以直接下载百度网盘内的文件。 pan-light利用golang轻量...阅读全文
高并发编程里多线程(进程)的弊端 其实从著名的 C10K 问题的时候， 就谈到了高并发编程时， 采用多线程(或进程)是一种不可取的解决方案， 核心原因是因为线程(或进程)本质上都是操作系统的资源， 每个线程需要额外占用1M或者2M的内存空间， 所以2G内存，能承受的线程数差不多只能到1k这个量级。 而且线程的调度由操作系统调度， 当线程或者进程数到达一定量级的时候， 据有人试验的结果是并发的线程数到达1k以上后， 操作系统基本上就已经不堪重负，调度不过来了。 事件驱动 已知多线程已经无法解决高并发问题， 所以才有了异步IO，事件驱动等概念来解决高并发编程。 很典型的就是 Node.js ，传说中的事件驱动， 其实就是在底层使用了 libuv 然后通过各种回调函数来注册事件， 当事件触发的时候...阅读全文
北京钛核互动信息技术有限公司成立于2014年11月，创始人团队都是来自于Glu Mobile, Gameloft等顶尖手游公司。在游戏行业打拼了10年以上，擅长高品质精品游戏开发。开发过大量精品手机游戏、Console游戏和网游。公司坚信以人为本，以顶级的人才需要顶级的回报为目标，营造一个有激情的宽松的游戏开发环境，希望能够让游戏人才能够发挥自己的热情和潜力。 http://www.tuicool.com/articles/uEfEJf 服务器将会使用弹性云自动伸缩架构，在这里你将能够学习并开发具有国际最先进的云架构游戏服务器方案。我们招聘具有创新精神的工程师，敢创新、思维严谨、勇于承担。 **基本能力要求:** 1. 热爱玩游戏，热爱开发游戏。具备足够的游戏常识；...阅读全文
这段时间看了一些Go语言相关的东西，发现Go语言的最大特性并发模型类似于C++里面的线程池，正好我们项目服务器也是用的线程池，记录下。 Go语言的并发单位是语言内置的协程，使用关键字go+函数创建一个新的协程，新创建的协程会自动加入到协程调度上下文的等待调度队列，一个协程调度上下文对应一个线程，一个协程调度上下文对应多个协程。新加入的协程会动态负载到各个调度上下文，如果所有调度上下文的平均负载较高时，总调度器会自动创建新的线程和对应的调度上下文用于工作。整体上看，是N个线程：N个调度上下文：M个协程的关系。 我们项目服务器线程架构使用boost::threadpool作为底层，按照配置设定的线程数量启动threadpool，驱动所有Invoker单元，各个Invoker再驱动持有自己的Ser...阅读全文
华为 深信服等研发面经本文首发于微信公众号：程序员江湖 美图面经：一面：1 Java的hashmap2 Java的多线程技术，线程池3 Java的jvm讲一下，内存模型，垃圾回收4 mysql的索引怎么建，优化5 Linux操作系统了解哪些6 网络和操作系统问了些基础7 Redis使用哪些场景8 数据结构了解哪些，排序的复杂度9 讲一下项目里的难点，说一下docker。10 其他忘记了二面：1 项目2 docker和k8s知道哪些，说一下3 OpenStack用到了哪些组件，说下4 闲聊其他5 意向城市迅雷：一面：1 我们是c++和golang，这方面了解么2 jvm的内存模型和垃圾回收3 Java并发技术讲一下4 MySQL数据库相关问题，主从，读写分离，分布式方案5 Redis的哨兵讲一...阅读全文
编者按：本文是王渊命在 2 月 27 日 Gopher 北京聚会演讲基础上整理而成，进行了一些补充以及调整，投稿给高可用架构首发。转载请注明来自高可用架构公众号「ArchNotes」。王渊命，团队协作 IM 服务 Grouk 联合创始人及 CTO，技术极客，曾任新浪微博架构师、微米技术总监。2014 年作为联合创始人创立团队协作 IM 服务 Grouk，长期关注团队协作基础工具和研发环境建设，Docker 深度实践者。聊这个话题之前，先梳理下两个概念，几乎所有讲并发的文章都要先讲这两个概念：并发（concurrency） 并发的关注点在于任务切分。举例来说，你是一个创业公司的CEO，开始只有你一个人，你一人分饰多角，一会做产品规划，一会写代码，一会见客户，虽然你不能见客户的同时写代码，但由于...阅读全文
多线程+同步阻塞模型 在我们的游戏项目中使用的golang服务器开发方式如下 1.多线程逻辑 2.同步阻塞. 也就是说, 每个人一个线程(goroutine), io线程=逻辑线程 这种方式的优点: 1. 同步阻塞方式与人的思维方式类同 2. 逻辑处理性能有一定提升 在大规模使用这种模式编写逻辑后, 我们发现了这种模式只有1个缺点: 编写者需要处理多线程关系 但这本身确实直接致命的, 回想C++时代, 多线程处理时, 调试重现的困难… 脑补景象太惨不敢直视 单线程+异步多进程模型 在C++时代, 我曾经编写过一套asio的C++服务器框架. 采用io多线程, 逻辑单线程, 依赖着C++高性能的优势, 让开发便捷简单且无需关心线程问题. 那么到了golang时代, 为什么不能试下单线程异步多进...阅读全文
上次写了一篇关于golang crontab的用爱疯，这次说下golang timer定时器的用法。 golang的time.NewTicker创建定时任务时，是阻塞同步的。如果不想因为同步阻塞了main线程，可以给每个定时函数分配一个goroutine协程。 该文章写的有些乱，欢迎来喷 ! 另外文章后续不断更新中，请到原文地址查看更新。 http://xiaorui.cc/2016/03/06/%E5%85%B3%E4%BA%8Egolang-timer%E5%AE%9A%E6%97%B6%E5%99%A8%E7%9A%84%E8%AF%A6%E7%BB%86%E7%94%A8%E6%B3%95/ golang的time模块提供了两个定时函数。 需要注意的是golang timer定时器是...阅读全文
抗压测试的时候多线程需要使用一个文件的内容频繁发送，所以想预处理文件内容到内容，分段发送， 1.读取文件内容到内存 type Chunk struct{ data []byte } func prepareChucks(path string) { fi, err := os.Open(path) if err != nil { panic(err) } defer fi.Close() for { buf := make([]byte, 4096) //每次需要再for循环里面重新make，踩坑 n, err := fi.Read(buf) if err != nil && err != io.EOF { panic(err) } if 0 == n { break } chunckDat...阅读全文
关于使用log与使用fmt的区别 最初的就是直接打印出来，之后一点点升级，比如加上输出的时间，加上goroutine之间的并发操作(打印信息并不能一定按照你规定好的顺序输出来 每次输出的顺序可能会不同)，按照不同的日志级别进行打印 。。。加上打印以及转存，因此就需要专门的log包来记录程序的信息。 想象一下，一个很大的项目有很多的输出信息，要是输出信息前面没有加上日期的话，debug起来几乎是难以想象的，因为不可能一直盯着屏幕来对信息进行监控。 因此采用log来代替fmt的原因主要有一下几个方面： 添加了输出时间 线程安全 方便对日志信息进行转存，形成日志文件 关于logger的基本结构，可以参考这个博客：http://gotaly.blog.51cto.com/8861157/140690...阅读全文
写在开头： 这篇文章是ECUG2014年七牛CEO许式伟的演讲稿。这篇文章很详细的分析了Go和 Erlang在实现并发编程的差异，但是有些内容可能因为作者本人个人情感的一些原因有些出入导致了知乎上的一些讨论，http://www.zhihu.com/question/27465406，这种讨论甚至激烈的争辩是无法避免的，因为捍卫者需要站出来维护他们正在使用的兵器。关于这种争辩，在其他编程领域也有许多包括C++和java的争论，C和C++的争论等。为了从多个角度对知识有一个了解，后面我附上了张虎的在知乎上的回答，因为他们正在使用erlang。 但是作为一个很系统的技术层面上的一个分析比较已经很详细了。 By lingtao. ----------------------------------...阅读全文
好处和不足 好处： Reactive 是异步非阻塞编程 能实现通过较少的线程处理并发，大大提升程序性能。 Reactive 解决传统编程模型遇到的困境 对于阻塞，可以通过 Callbacks和Futures解决 ；但Callbacks会产生回调地狱问题(callback hell)；Futures 相对于 Callbacks 好一点，不过还是无法组合，不过 CompletableFuture 能够提升这方面的不足 不足： 没有异步的JDBC api Java先前大多提供的是同步阻塞库或规范，没有golang类似的官方支持的协程。不过这些都在改善提高中，例如openJDK中的Loom项目就计划实现协程功能，而阿里巴巴的Wisp协程技术已经在阿里生产环境中使用，这两个(Loom和Wisp)未来可...阅读全文
今天介绍golang版本的通信基础：基于TCP的客户端和服务器实现，参考书籍：The Way To Go 那时学习java的时候也是做过通信的，当时是socket编程，服务器监听某一个端口，然后客户机去连接，简单的聊天室就实现了。后来有变成多线程的聊天室，可以进行群聊什么的了，后期可以传图片传音乐，加上UI那一块儿，山寨QQ就OK了。现在我来用golang实现一下简易的聊天室，实现了客户机连接服务器，给服务器发消息，服务器接受消息，客户机退出，服务器可以收到退出信息，以及多个客户机同时连入一个服务器。主要的思路和java一样的，服务器监听某一个端口，客户机去连接，然后发送消息就OK了。上代码了。package main //服务器端import ( "fmt" "log" "net" //支...阅读全文
本文通过代码讲解如何实现一个线程池。代码及注释如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 package main import "fmt" import "time" //这个是工作线程，处理具体的业务逻辑，将jobs中的任务取出，处理后将处理结果放置在results中。 func worker(id int, jobs <-chan int, results chan<- int) { for j := range jobs { fmt.Println("worker", id, "processing job", j) ...阅读全文
Go调度器原理浅析来源：https://www.douban.com/note/300631999/ goroutine是golang的一大特色，或者可以说是最大的特色吧（据我了解），这篇文章主要翻译自Morsing的[这篇博客](http://morsmachine.dk/go-scheduler)，我读这篇文章的时候不只是赞叹调度器设计的精巧，而且被Unix内核设计思想的影响和辐射所震撼，感觉好多好东西都带着它的影子。绪论（Introduction)---------------------Go 1.1最大的特色之一就是这个新的调度器，由Dmitry Vyukov贡献。新调度器让并行的Go程序获得了一个动态的性能增长，针对它我不能再做点更好的工作了，我觉得我还是为它写点什么吧。这篇博客里...阅读全文
****51reboot 运维开发又双叒叕的搞活动了，鉴于之前 51reboot 的活动反馈，每次活动结束后（或者已经结束了很长时间）还有人在问活动的事情。这一次小编先声明一下真的不想在此次活动结束后再听到类似下面的话了 我之前不知道有活动 (这个锅小编我背了) 这个活动还有吗？ 我想了解一下这个活动 跟小编说可以给我按活动价算吗？ .......... 针对以上类似的询问小编在此统一回复大家： image 好了，接下来进入今天的重中之重 image 本次活动：Python 运维开发——18天训练营 本课程为：网络班+面授班（北京） 第一：免费是真的，仅限前 60 名报名者，61-150 名超级特价。 第二：开课时间 5月12日 第三：为期18天（每周一天） 主讲师： Panda ：曾就职于...阅读全文
Go语言是为并发而生的语言，Go语言是为数不多的在语言层面实现并发的语言；也正是Go语言的并发特性，吸引了全球无数的开发者。 并发(concurrency)和并行(parallellism)并发(concurrency)：两个或两个以上的任务在一段时间内被执行。我们不必care这些任务在某一个时间点是否是同时执行，可能同时执行，也可能不是，我们只关心在一段时间内，哪怕是很短的时间（一秒或者两秒）是否执行解决了两个或两个以上任务。 并行(parallellism)：两个或两个以上的任务在同一时刻被同时执行。 并发说的是逻辑上的概念，而并行，强调的是物理运行状态。并发“包含”并行。 （详情请见：Rob Pike 的PPT） Go的CSP并发模型Go实现了两种并发形式。第一种是大家普遍认知的：多线...阅读全文
文连接http://blog.golang.org/race-detector 介绍： 竞争条件是最狡诈的、最难以找到的编程错误。通常，在代码被布置到生产环境很久以后，它们才会出现并且造成奇怪的、神秘的错误。尽管Go语言的并发机制使得更容易的编写出干净的并发代码，依然无法避免竞争条件的出现。小心、勤勉以及测试是必须的。工具也可以提供帮助。 我们很高兴的宣布Go1.1包含了一个竞争检测器，一个全新的工具，用于在Go代码中找到竞争条件。该工具当前在Linux,OS X 和Windows平台可用，只要CPU是64位的x86架构。 竞争检测器基于C/C++的ThreadSanitizer 运行时库，该库在Google内部代码基地和Chromium找到许多错误。这个技术在2012年九月集成到Go中，从...阅读全文
本文是 无精疯 同学投稿的面试经历 关注微信公众号：进击的java程序员K，即可获取最新BAT面试资料一份 在此感谢 无精疯 同学的分享 目录： 印象中的头条 面试背景 准备面试 头条一面（Java+项目） 头条二面（大数据+项目） 头条三面（算法+场景题） 如何通过头条笔试？ 如何准备头条面试？ 一个关于如何进大厂的小建议 一、印象中的头条 先说说我印象中的今日头条： 1.老板张一鸣跟我是福建老乡，龙岩市在我朋友说来就是山沟沟，能走出美团王兴和头条张一鸣让我卯足了去龙岩吃特产老鼠干的欲望。 给的钱多，笔试也贼难 。 参加过头条笔试的同学都知道，头条笔试可以笔试三次，就是不论你有没有参加都有三次机会。 笔试就5道算法题，两个小时，去年第一次看到算法题就自闭了，第一次挂了。第二次又很认真地做，...阅读全文
相信作为服务端开发尤其是高性能服务开发的猿们，曾经面试都曾经被问到进程，线程之类的问题，作为操作系统最核心的概念，这些X程就像我们的一个个工具，是我们在开发过程中经常接触的概念，对于这些概念的不清晰我们便发现写的代码功能是对的，代码是渣的，将直接体现在我们代码的低效率，高bug率并附带问题出现都不知到问题出在哪里，作为新时代的猿我们原不需要那么多时间去解bug，我们需要更多时间陪女票，不是吗？ 不过协程一般不会被问到，但在golang开发的过程中相信大家最经常接触的就是go协程，但对于什么才是协程，什么才是go协程，很多有经验的开发很可能会说go出去的就是协程....仅仅停留在这个层面认识，不仅会给我们项目带来持续的问题和宕机，对我们自身也是一种时间和精力损耗，作为开发猿，我们的愿望无非是代...阅读全文
一、 Golang简介 1.1概述 Golang语言是Google公司开发的新一代编程语言，简称Go语言，Go 是有表达力、简洁、清晰和有效率的。它的并行机制使其很容易编写多核和网络应用，而新奇的类型系统允许构建有弹性的模块化程序。 Go 编译到机器码非常快速，同时具有便利的垃圾回收和强大的运行时反射。而他最广为人知的特性便是语言层面上对多核编程的支持，他有简单的关键字go来实现并行，就像下面这样： Go的并行单元并不是传统意义上的线程，线程切换需要很大的上下文，这种切换消耗了大量CPU时间，而Go采用更轻量的协程（goroutine）来处理，大大提高了并行度，被称为“最并行的语言”。最近引起容器技术浪潮的Docker就是Go写的。由于GC穿插在goroutine之中，但是本篇文章并不讨论G...阅读全文
欢迎访问网易云社区，了解更多网易技术产品运营经验。2016年对于网易杭州研究院（以下简称“杭研”）而言是重要的 – 成立十周年之际，杭研正式推出了网易云。“十年•杭研技术秀”系列文章，由杭研研发团队倾情奉献，为您展示杭研那些有用、有趣的技术实践经验，涵盖云计算、大前端、信息安全、运维、QA、大数据、人工智能等领域，涉及前沿的分布式、容器、深度学习等技术。正是这些宝贵的实践经验，造就了今天高品质的网易云产品。本文的分享来自网易杭州研究院云计算平台产品部，翔实地描述了网易云存储系统从无到有以及一路披荆斩棘不断完善的历程。 一、从0诞生 2012年云计算在业界已经风起云涌，其为企业带来的价值为世界所认同，按需提供的计算、存储、网络等底层IaaS基础设施，以及丰富的PaaS和SaaS服务，为IT公司...阅读全文
本文由网易云 发布。网易杭州研究院（以下简称“杭研”） 成立十周年之际，杭研正式推出了网易云。“十年•杭研技术秀”系列文章，由杭研研发团队倾情奉献，为您展示杭研那些有用、有趣的技术实践经验，涵盖云计算、大前端、信息安全、运维、QA、大数据、人工智能等领域，涉及前沿的分布式、容器、深度学习等技术。正是这些宝贵的实践经验，造就了今天高品质的网易云产品。本文的分享来自网易杭州研究院云计算平台产品部，翔实地描述了网易云存储系统从无到有以及一路披荆斩棘不断完善的历程。一、从0诞生2012年云计算在业界已经风起云涌，其为企业带来的价值为世界所认同，按需提供的计算、存储、网络等底层IaaS基础设施，以及丰富的PaaS和SaaS服务，为IT公司产品的开发、运营和快速可持续发展提供了强有力的支撑。云计算犹如肥...阅读全文
在处理url参数时，你是否会因为要经常将字符串类型转换为其他类型，而感觉到代码冗长，麻烦？所以我将自己几个项目都用到的字符串封装提取了出来，提供大家使用。具体实现非常简单，可到liamylian/values查看，下面给出用法： import "github.com/liamylian/values" var v values.Value // 设置默认值，如果为空则使用默认值 v = values.Value("") d := v.Default("happy").String() // 空值判断 v = values.Value("") isEmpty := v.IsEmpty() // 类型转换 v = values.Value("1") s := v.String() b := v....阅读全文
前面的内容请看：Java、Scala和Go语言多线程并发对比测试。 相关的代码下载：http://qinhui99.itpub.net/resource/2570/31876 测试结果和结论 统计1～N个自然数里面有多少个质数，并记录所花费时间。相同的N，时间越少性能越好。 AMD 双核 2.8G ,4G内存 winxp java+conc java+AKKA1.3 java+AKKA2.0 Scala+AKKA1.3 Scala+AKKA2.0 Go+goroutine 1-N 单位：秒 1000000 0.64 1.14 0.63 1.05 0.65 0.617 2000000 1.71 2.08 1.58 2.05 1.68 1.63 3000000 3.05 3.28 2.79 3....阅读全文
一、前言 在Java中多线程之间是通过共享内存进行通信的，在go中多线程之间通信是基于消息的，go中的通道是go中多线程通信的基石。 在java中创建的线程是与OS线程一一对应的，而在go中多个协程(goroutine)对应一个逻辑处理器，每个逻辑处理器与OS线程一一对应。 每个线程要运行必须要在就绪状态情况下获取cpu，而操作系统是基于时间片轮转算法来调度线程占用cpu来执行任务的，每个OS线程被分配一个时间片来占用cpu进行任务的执行。 在java中由于创建的线程与os线程一一对应，所以java中的每个线程占用一个时间片来运行。而go中多个协程对应一个os 线程，也就是多个协程对应了一个时间片，go则使用自己的调度策略(非os的调度策略)来让多个协程使用一个时间片来并发的运行。也就是go...阅读全文
请先阅读 golang的goroutine调度机制 然后再到这里 golang的垃圾回收采用的是 标记-清理（Mark-and-Sweep） 算法 就是先标记出需要回收的内存对象快，然后在清理掉； 在这里不介绍标记和清理的具体策略，只介绍 GC过程是怎么调度的以及stw相关 这个算法，会导致 stw (stop the world) 的问题，中断用户逻辑 触发GC机制 1. 在申请内存的时候，检查当前当前已分配的内存是否大于上次GC后的内存的2倍，若是则触发（主GC线程为当前M） 2. 监控线程发现上次GC的时间已经超过两分钟了，触发；将一个G任务放到全局G队列中去。（主GC线程为执行这个G任务的M） 每当触发的时候，在主GC线程中就会走如下的GC流程： 1. stop the world，...阅读全文
现在有几千万条数据要插入到mysql中，抛开数据库的问题不谈，现在想知道的问题如下： - go-mysql-driver是否有批量插入的功能，譬如hibernate中就有 另外求教思路，加快插入速度，我想到的有： 1. 并行插入，譬如开多个线程 2. 利用批量插入 求教大神们，因为之前是做java的，golang中框架什么的，很多东西不太清...阅读全文
协程是应用层的线程。 应用层是相对于内核层而言，是操作系统的概念，对应的是cpu的运行级别。操作系统的核心代码运行的ring0级别，应用程序的代码运行在ring3级别。内核与应用层的级别设置保证了一些高权限的操作只有内核代码能做，应用程序要使用这些功能必须通过调用操作系统的API（linux上称为系统调用）来调用内核的代码。这个调用会导致cpu从ring3到ring0的上下文切换，这个切换是耗费一些cpu时间的。 线程是操作系统的内核对象，多线程编程时，如果线程数过多，就会导致频繁的上下文切换，这些cpu时间是一个额外的耗费。所以在一些高并发的网络服务器编程中，使用一个线程服务一个socket连接是很不明智的。于是操作系统提供了基于事件模式的异步编程模型。用少量的线程来服务大量的网络连接和I...阅读全文
文链接；https://mp.weixin.qq.com/s/h406uQEKFhwrepDF3b4hyw 一、印象中的头条 1.老板张一鸣跟我是福建老乡，龙岩市在我朋友说来就是山沟沟，能走出美团王兴和头条张一鸣让我卯足了去龙岩吃特产老鼠干的欲望。 2.给的钱多，笔试也贼难。参加过头条笔试的同学都知道，头条笔试可以笔试三次，就是不论你有没有参加都有三次机会。笔试就5道算法题，两个小时，去年第一次看到算法题就自闭了，第一次挂了。第二次又很认真地做，做到一半放弃了。没过几天又邀请我做第三次，有一种强行被侮辱的感觉。 3.内推被拒。正如我标题所说，简历被拒。去年3月份在知乎上看到一个头条大佬说可以内推春季实习，于是私信并发了简历给他。看了我简历之后说头条竞争激烈，我背景不够，点到为止。。(打扰了)...阅读全文
Go语言的并发和并行 不知道你有没有注意到一个现象，还是这段代码，如果我跑在两个goroutines里面的话: var quit chan int = make(chan int) func loop() { for i := 0; i < 10; i++ { fmt.Printf("%d ", i) } quit <- 0 } func main() { // 开两个goroutine跑函数loop, loop函数负责打印10个数 go loop() go loop() for i := 0; i < 2; i++ { <- quit } } 我们观察下输出: 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 这是不是有什么问题？? 以前我们用线程去做类似任务...阅读全文
作者：喵叔 原文：blog.betacat.io/post/golang… 在 Go 语言标准库中，sync/atomic包将底层硬件提供的原子操作封装成了 Go 的函数。但这些操作只支持几种基本数据类型，因此为了扩大原子操作的适用范围，Go 语言在 1.4 版本的时候向sync/atomic包中添加了一个新的类型Value。此类型的值相当于一个容器，可以被用来“原子地"存储（Store）和加载（Load）任意类型的值。 历史起源 我在golang-dev邮件列表中翻到了14年的这段讨论，有用户报告了encoding/gob包在多核机器上（80-core）上的性能问题，认为encoding/gob之所以不能完全利用到多核的特性是因为它里面使用了大量的互斥锁（mutex），如果把这些互斥锁换成...阅读全文
文： http://morsmachine.dk/go-scheduler 为什么在内核的线程调度器之外Go还需要一个自己的调度器？ POSIX线程API是对已有的UNIX进程模型的逻辑扩展，因此线程和进程在很多方面都类似。例如，线程有自己的信号掩码，CPU affinity（进程要在某个给定的 CPU 上尽量长时间地运行而不被迁移到其他处理器的倾向性），cgroups。但是有很多特性对于Go程序来说都是累赘。 2. 另外一个问题是基于Go语言模型，OS的调度决定并不一定合理。例如，Go的垃圾回收需要内存处于一致性的状态，这需要所有运行的线程都停止。垃圾回收的时间点是不确定的，如果仅由OS来调度，将会由大量的线程停止工作。 单独开发一个Go的调度器能让我们知道什么时候内存处于一致性的状态。也...阅读全文
想写个程序，监控目录和文件变化，原先目录非常大，所以感觉要用goroutine对每个目录派生一个goroutine进程，但程序在运行的时候发现，打开的目录非常多，以致系统出错，我们先来看看这个失败的程序，目录小是没有问题的。 // main.go package main import ( // "fmt" "io/ioutil" "log" "os" "path/filepath" // "regexp" "runtime" "strings" "github.com/fsnotify/fsnotify" ) type Fm struct { Basedir string Watcher *fsnotify.Watcher Wdone chan bool Dirchan chan stri...阅读全文
一个go语言实现的短链接服务 首先，博客转移到 wusay.org 了，去年没交费，博客都没了。。。刚刚恢复过来，以前的文章没了，慢慢补吧。 什么是短链接服务 大家都用过新浪微博的短连接吧，就是t.cn后面一串不知道是什么的数，然后跳转到一个新页面去，具体什么是短连接请大家自行脑补，在这里，目前有很多提供短连接的地方，比如狼厂的短连接服务，还有提供很多短链接的在线服务，比如这个，能生成很多地方的短连接。 巴特，作为一个程序员，我们不止需要一个端链接服务，我需要自己实现一个短连接服务，因为一般的公共的短连接都有token要求，每天生成的链接也有限制，当你需要生成大量短连接的时候就比较麻烦了。 所以，我实现了一个短连接服务。 短连接的原理 很多人一定想的是短连接是通过一定的算法将长链接变成短连接...阅读全文
Go官方团队将在今年2月份发布1.14版本。相比较于之前的版本升级，Go1.14在性能提升上做了较大改动，还加入了很多新特性，我们一起来看一下Go1.14都给我们带来了哪些惊喜吧! 1.性能提升 先列举几个Go1.14在性能提升上做的改进。 1.1 defer性能“异常”牛逼 异常牛逼是有多牛逼呢？我们可以通过一个简单benchmark看一看。用例如下(defer_test.go): package main import ( "testing" ) type channel chan int func NoDefer() { ch1 := make(channel, 10) close(ch1) } func Defer() { ch2 := make(channel, 10) defer...阅读全文
title: Goroutine(协程)的理解 tags: Go,Goroutine Author: Clown95 并发概念 Go语言相对于其他语言的最大一个特色就是支持高并发编程模式。Goroutine(协程)是Go中最基本的执行单元。事实上每一个Go程序至少有一个Goroutine：主Goroutine。当程序启动时，它会自动创建。 为了更好理解Goroutine，我们需要了解并发和并行的区别 并发:逻辑上具备同时处理多个任务的能力。 并行:物理上在同一时刻执行多个并发任务。 简单来说，并发是在同一时间处理多件事情。并行是在同一时间做多件事情。并发的目的在于把当个 CPU 的利用率使用到最高。并行则需要多核 CPU 的支持。 线程和协程 Go 语言在语言层面上支持了并发，gorouti...阅读全文
先说生产者消费者问题，就是多个生产者生产商品，放到一块缓存中，然后多个消费者从缓存取出并消费商品； 这里就有了三个对象或说实体，就是生产者，消费者，固定大小的缓存； 然后就要说下一些限制条件， 1. 如果缓存满了，生产者就不能生产商品了，只能等着有空间了再生产； 2. 如果缓存空了，消费者就不能消费商品了，只能等以后商品了再消费; 之前用c实现的时候，稍微麻烦一下； 消费者： mutex.lock() while(container.size == 0){ pthread_cond_wait(nullcond, mutex) // 具体方法忘了... 就是如果缓存为空，利用条件变量，阻塞在这里，并把锁释放出来，好让生产者往里写啊...这里用while...是因为多个消费者都饿着的情况下，要一...阅读全文
import "os" func main() { for i:=0; i<20; i++ { go func() { for { b:=make([]byte, 10) os.Stdin.Read(b) // will block } }() } select{} } 会产生21个线程： runtime scheduler(src/pkg/runtime/proc.c)会维护一个线程池，当某个goroutine被block后，scheduler会创建一个新线程给其他ready的goroutine GOMAXPROCS控制的是未被阻塞的所有goroutine被multiplex到多少个线程上运...阅读全文
在某个数据需要被多个线程共享访问的时候，会出现读者-写者问题（这里的「问题」是复数形式的，因为读者-写者问题有多个变种）。访问共享数据的线程有两种类型：读者和写者。读者只会读取数据，而写者则是修改它。当写者拥有了访问数据的权限后，其它的线程（不管是读者还是写者）都不能访问这个数据。这种约束的需求在现实中是存在的，比如：当写者不能原子性地修改某个数据（例如数据库）时，在修改完成之前，要读取这个数据的读者要被阻塞，以免读者获取到损坏的数据（脏数据）。对于读者-写者问题的核心，还有很多修订的限制，比如： - 写者不能饿死（无限地等待执行的机会） - 读者不能饿死 - 所有线程都不能饿死 像 [sync.RWMutex](https://golang.org/pkg/sync/#RWMutex) 这...阅读全文
大家都用过迅雷等下载工具，特点就是支持并发下载，断点续传。我们这里不介绍它，这个比较复杂了，逼人也不懂。本文只介绍狭义上的简易的断点续传和狭义上的多线程下载。跟之前一样，旨在研究原理，实际生活中基本没啥用，实测下来多线程下载比单线程下载还慢。。。太丢人了。 主要讲三个方面，如何HTTP的并发下载、通过Golang进行多协程开发、如何断点续传。 HTTP的并发下载 想要并发下载，就是把下载内容分块，然后并行下载这些块。这就要求服务器能够支持分块获取数据。大迅雷、电驴这种都有自己的协议，thunder://这种，我们只研究原理，就说说HTTP协议对于并发的支持。 HTTP头 对应值 含义 Content-Length 14247 HTTP响应的Body大小，下载的时候，Body就是文件，也可以认...阅读全文
利用 channel (管道) 技术多线程下载图片. package main import ( "io/ioutil" "log" "net/http" "os" "regexp" //"strconv" "strings" "sync" ) var urlist = [...]string{"http://stock.591hx.com/article/2014-12-03/0000850005s.shtml"} var album chan string var w sync.WaitGroup var dir string func main() { dir = "tmp_chenjo/" err := os.Mkdir(dir, 0777) if err != nil { isex...阅读全文
用GO你必须要搞清楚一点，GO不是面向CPU密集计算的，而是面向IO密集计算的！！！RUST才是面向CPU密集计算的语言，所以RUST叫系统编程语言，而GO是网络编程语言。GO跟JAVA的Spring是一个层面上的东西。对于那些无法同时操纵高级语言Python Ruby ...和系统语言比如C C++的中间类型的人，才会用JAVA GO。 但是别以为你用JAVA GO就能写出速度更快的IO，IO的速度跟语言的编译速度根本就没有多少影响。现在最快速的IO基本是多路复用而不是多线程。对于多路复用，语言的CPU计算根本无足轻重。 参考：http://www.oschina.net/news/62867/go-jav...阅读全文
用python开发也有几年了，很喜欢它的简洁。最近在看golang，感觉和python很像，语法简洁，标准类型相识，标准库也是一样的丰富。引用一段文字(http://blog.csdn.net/myan/article/details/2028545)： 所谓”魔幻语言“，主要代表作品有C++、Perl、Javascript和Ruby。这些语言拥有丰富的特性，聪明的技 巧和意想不到的奇效，永远有发掘不完的奇技淫巧，总能找到让人匪夷所思的”yet another way"。反过来，“简约语言”崇尚清晰直接，够用就行，要求从代码容易理解，宁可笨一点、累一点、多写一点代码，反对出人意料的技巧，反对故弄玄虚。 C、PHP、Python和Lua这一派语言的代表作。 看来golang也是“简约语言”。 ...阅读全文
go的gocontinue用法实现了轻量级的线程，可以被大量创建。线程之间用channal通信，以下说说基本用法。 channal的buf c:=make(chan int ,3) 3就是设定的chanal的缓存量，缓存只意味着这个创建的channal可以同时存入3个数据，并不意味读channal时可以同时读出。 x:=<-c 读channal时仍然是以阻塞的方式一次一个地将数据读出。 当channal缓存中存在有效数据时，即使close掉channal，仍然可以读出buf里的数据。需要注意的是，从close掉的channal读数据时，channal是不阻塞的，当channal中的buf数据被读完时，仍然会以不阻塞的方式读出0值。 channal的for range c:=make(chan...阅读全文
