new() 这是一个用来分配内存的内置函数，它的第一个参数是一个类型，不是一个值，它的返回值是一个指向新分配的 t 类型的零值的指针。 在golang的代码定义如下： func new(t Type) *Type strut{} 直接使用struct{} 来初始化strut时，返回的是一个struct类型的值，而不是指针两者是不一样的 两者对比代码如下： type Student struct{ id int name string } func main(){ var s_1 *Student = new(Student) s_1.id = 100 s_1.name = "cat" var s_2 Student = Student{id:1,name:"tom"} fmt.Println...阅读全文
作为一个刚接触go编程的新鸟，是不是被它的某些新特性给吓到，尤其是之前已经习惯了C++的编程。对于Go语言，网上褒贬不一，有极力推崇的，如七牛的许式伟，其对go的评价极高，并预言Go的市场占有率会一直逐步上升，取代java，成为第一。也有极力贬低的，他们一般会网络上有各种博客帖子，详细的剖析了go的不妥之处。而我接触go这段时间之后，不得不说，它真的是一门很有意思的语言，为什么用有意思形容呢，借用一句装逼的话，存在即合理。go能够慢慢被国内国外的各大互联网公司用于服务器架构，它自有它的闪光之处，而至于有意思呢，就需要对它有兴趣的人慢慢去发现，（呃。。。。这个情景导入有点长，貌似有点跑偏） 好，言归正传，最近在用go开发项目的过程中突然发现一个坑，尤其是对于其它传统语言转来的人来说一不住注意就...阅读全文
Go语言Google开发的适用于多核编程的语言。我感觉它像是C语言的现代版本，简单，并发支持友好，部署轻松。GO语言中保留关键字就只有25个，这也足以说明它的学习成本并不高。 然而，Go语言里面slice这个东西并不简单。初学者容易掉入坑中。此文件就试图把slice给讲解清楚。 下面先讲一下slice的一些基本特性。 1. slice内部有三个变量，分别是：ptr, len, cap ptr是用来存储数据的数组 cap是ptr数组的长度 len是实际数组的长度 2. 如何在初始化的时候，指定slice的长度？ a := make([]int, 10) 这里make的时候，第2个参数，就是这个slice的长度。 这个时候它的capacity是多少呢？ fmt.Println(cap(a)) 这...阅读全文
先介绍一下go语言的类型系统 Golang中的类型系统 类型系统是指一个语言的类型体系结构。一个典型的类型系统通常包含如下基本内容: 基础类型，如byte、int、bool、float等; 复合类型，如数组、结构体、指针等; 可以指向任意对象的类型(Any类型); 值语义和引用语义; 面向对象，即所有具备面向对象特征(比如成员方法)的类型; 接口。 Go语言中的大多数类型都是值语义，并且都可以包含对应的操作方法。在需要的时候，你可以给任何类型(包括内置类型)“增加”新方法。而在实现某个接口时，无需从 该接口继承(事实上，Go语言根本就不支持面向对象思想中的继承语法)，只需要实现该接口 要求的所有方法即可。任何类型都可以被Any类型引用。Any类型就是空接口，即inte...阅读全文
众所周知百度是国内最大的搜索引擎、最大的中文网站。百度推出的云服务器、云虚拟主机、域名服务等质量可靠，对于客户的网站来说，能够保证访问的速度、稳定和安全。 百度云虚拟主机是最新的的容器技术、热迁移技术和百度生态能力提供的新一代网站主机服务，能够保证高性能、高可靠性、高安全性和高易用性等，即使是零基础的站长也可以轻松搞定网站的部署、发布、运维、推广，这无论是对企业还是个人网站来说都有非常大的作用。  那么百度云虚拟主机的优势又有哪些？ 高稳定 基于百度云的核心技术，故障服务方面可秒级热迁移...阅读全文
本文由 伯乐在线 - yhx 翻译，黄利民 校稿。未经许可，禁止转载！英文出处：Siarhei Matsiukevich。欢迎加入翻译组。 《Go语言内幕（1）：主要概念与项目结构》 《Go语言内幕（2）：深入 Go 编译器》 《Go语言内幕（3）：链接器、链接器、重定位》 《Go语言内幕（4）：目标文件和函数元数据》 《Go语言内幕（5）：运行时启动过程》 本文是 Golang 内部机制探索系列博客的后续。这个系列博客的目的是探索 Go 启动过程，这个过程也是理解 Go 运行时（runtime）的关键之处。本文中我们将一起去看看启动过程的第二个部分，分析参数是怎么被初始化的及其中有哪些函数调用等等。 启动顺序 我们从上次结束的地方继续。在 runtime.r0_to 函数中，我们还有一部分...阅读全文
内建函数 make 用来为 slice，map 或 chan 类型分配内存和初始化一个对象(注意：只能用在这三种类型上)，跟 new 类似，第一个参数也是一个类型而不是一个值，跟 new 不同的是，make 返回类型的引用而不是指针，而返回值也依赖于具体传入的类型 make()函数在golang的代码如下： func make(t Type,size IntegerType) Type 使用make来创建slice，map，chanel说明如下： slice: var slice_ []int = make([]int,5,10) fmt.Println(slice_) var slice_1 []int = make([]int,5) fmt.Println(slice_1) var s...阅读全文
Go的变量到底在堆还是栈中分配 2015-10-22 最近试着优化掉一些小对象分配，发现一个很诡异的问题：这段代码会在堆上分配对象！ package main import ( "fmt" ) func main() { var a [1]int c := a[:] fmt.Println(c) } 看汇编代码 go tool compile -S test.golang "".main t=1 size=336 value=0 args=0x0 locals=0x98 0x0000 00000 (test.go:7) TEXT "".main(SB), $152-0 0x0000 00000 (test.go:7) MOVQ (TLS), CX 0x0009 00009 (test.go:...阅读全文
本文作者： 保护我方李元芳 商业转载请联系作者获得授权，非商业转载请注明出处。 故障现象 某线上埋点上报机器偶尔触发内存占用过多的报警。ssh到机器top发现主要内存被埋点服务占用。之前重启过几次，但是过段时间仍然会发生内存占用过多的警报。下面是报警详情。 [P1][PROBLEM][ali-e-xxx-service03.bj][][ all(#3) mem.memfree.percent 4.19575<5][O3 >2019-10-28 10:20:00] 问题推断 埋点服务主要接收客户端压缩过的上报请求，并对请求数据做解压，投递到kafka，逻辑功能相对简单。初步怀疑是某些资源没有释放导致的内存泄露或Groutine泄露。 问题排查 由于代码不是由我们业务方维护的，首先向相关部门索要...阅读全文
结构体定义的一般方式如下： type identifier struct { field1 type1 field2 type2 ... } type T struct {a, b int} 也是合法的语法，它更适用于简单的结构体。 var t *T t = new(T) 变量 t 是一个指向 T的指针，此时结构体字段的值是它们所属类型的零值，使用 new 函数给一个新的结构体变量分配内存，它返回指向已分配内存的指针。 无论变量是一个结构体类型还是一个结构体类型指针，都使用同样的 选择器符（selector-notation） 来引用结构体的字段，即： type myStruct struct { i int } var v myStruct // v是结构体类型变量 var p *mySt...阅读全文
go语言的内存分两部分，一部分用作堆，供内存分配用，另一部分是bitmap，用来管理堆。两部分从同一地址开始，向高地址方向增长的是内存池，向低地址方向增长的是bitmap。 ##内存分配## 对于较大的内存申请，直接从堆上申请，释放时也直接返回给堆。 而当一个go routine申请小于32k字节的内存，则从go routine私有的内存池中分配内存。因为是私有的，所有在多数情况下，分配内存不需要上锁。如果私有内存池没有内存了，则需要向中心内存池申请内存，中心内存池是共享数据，此时需要上锁。如果中心内存池也没有内存了，则从堆里申请内存。 私有内存池和中心内存池里的内存都是按照大小分开管理的，这样，分配和释放内存都非常快，而且也不容易产生碎片。通常，中心内存池从堆上申请...阅读全文
golang 中有两个内存分配机制 ：new和make，二者有明显区别． new：用来初始化一个对象，并且返回该对象的首地址．其自身是一个指针．可用于初始化任何类型 make:返回一个初始化的实例，返回的是一个实例，而不是指针，其只能用来初始化：slice,map和channel三种类型 package main import ( "fmt" ) func main() { a := new([]int) fmt.Println(a) //输出&[]，ａ本身是一个地址 b := make([]int, 1) fmt.Println(b) //输出[0]，ｂ本身是一个slice对象，其内容默认为０ } 通过这个例子可以看出，当对slice，map以及channel进行初始化时，使用make比n...阅读全文
佣金百万so easy！阿里云推广联盟喊你来赚钱 阿里云CPS推广阶梯返佣活动火热升级！ 坐享15%佣金！一笔成交即有奖励！最高奖励2000元！ 超高客单价、高转化率、高佣金！ 招募淘客推广，获取超高佣金，速来！ 活动详情：迅速点击阿里云cps推广：http://click.aliyun.com/m/1783/ 除15%佣金外，淘客现在参加活动还可以获得额外2000元奖励。 欢迎加入阿里云推广联盟旺旺交流群：1212510604 活动详情：迅速点击阿里云cps推广：http://click.aliyun.com/m/1783...阅读全文
前几天断断续续的写了3篇关于Go语言内存分配器的文章，分别是Go语言内存分配器设计、Go语言内存分配器-FixAlloc、Go语言内存分配器-MSpan，这3篇主要是本文的前戏，其实所有的内容本可以在一篇里写完的，但内容实在太多了，没精力一口气搞定。本文将把整个内存分配器的架构以及核心组件给详细的介绍一下，当然亲自对照着翻看一下代码才是王道。 内存布局结构图 我把整个核心代码的逻辑给抽象绘制出了这个内存布局图，它基本展示了Go语言内存分配器的整体结构以及部分细节（这结构图应该同样适用于tcmalloc）。从此结构图来看，内存分配器还是有一点小复杂的，但根据具体的逻辑层次可以拆成三个大模块——cache，central，heap，然后一个一个的模块分析下去，逻辑就显得特别清晰明了了。位于结构图...阅读全文
go语言中定义变量使用关键字var，如：var x int=4 也可以写成x:=4; 在函数中，:= 简洁赋值语句在明确类型的地方，可以用于替代 var 定义。 （:= 结构不能使用在函数外，函数外的每个语法块都必须以关键字开始。） package main import ( "fmt" ) func main() { var x int = 4 fmt.Println(x)//输出4 fmt.Println(&x)//输出指针 //fmt.Println(*x) //错误 y := 4 fmt.Println(y)//输出4 fmt.Println(&y)//输出指针 //fmt.Println(*y) //错误 var v *int = new(int)//返回值为指针 fmt.Prin...阅读全文
Go语言的整个内存管理子系统主要由两部分组成——内存分配器和垃圾收集器(gc)。十一小长假期为了避开我泱泱大国的人流高峰，于是在家宅了3天把Go语言的内存分配器部分的代码给研究了一番，总的来说还是非常酷的，自己也学到了不少的东西，就此记录分享一下。整个内存分配器完全是基于Google自家的tcmalloc的设计重新实现了一遍，因此，想看看Go语言的内存分配器实现的话，强烈建议先读一读tcmalloc的介绍文档，然后看看Go runtime的malloc.h源码文件的注释介绍，这样基本就大概了解Go语言内存分配器的设计了。 Go的内存分配器主要也是解决小对象的分配管理和多线程的内存分配问题。（后面提到的内存分配器都是指代的Go语言实现的内存分配器）。内存分配器以32k作为对象大小的定夺标准，小...阅读全文
当向一个新程序员解释Go语言时，我发现如果解释Go的数据是如何在内存中表示的，将有助于建立编写高效程序的良好直觉。 转载地址：http://www.open-open.com/lib/view/open1390373069882.html 基础类型 让我们从一些简单的例子开始： 变量i是int类型，在内存中占用一个32位的存储单位。（上图拿32位系统来举例；对以上的例子，只有指针才会在64位的机器上占用更多的空间——int始终是32位——然而我们仍然可以选择64位的系统。） 变量j是int32类型，因为它经过了显式的类型转化。尽管i和j有着同样的内存布局，但它们的类型是不一样的：像这样的赋值i = j会产生类型异常，必须通过显式的类型转换：i = int(j) 。 变量f是个浮点类型，上例中...阅读全文
VirtualBox配置私有云 初始准备 AMD处理器电脑需要开启AMD-V Intel处理器电脑需要开启Intel-VT 下载VirtualBox并安装 下载CentOs7（可以选择普通版也可以选择最小ISO） 创建Linux虚拟机 配置内网互联用的网卡 新建网卡： VirtualBox菜单 ：管理 -> 主机网络管理器，创建一块虚拟网卡 配置参数： 网址分配：192.168.100.1/24，在主机 windows 命令行窗口输入 ipconfig 就可以看到 VirtualBox Host-Only Network #?: 的网卡 安装CentOs 新建系统： 分配资源：分配内存和处理器，建议分配1/3左右的资源给虚拟机，虚拟机硬盘最好大于30GB。 第一块网卡必须是 NAT；第二块网...阅读全文
3.5-1.png 新增多次合成和自定义分段 下面是两个功能的演示 如何一分钟生成上百个影视混剪视频 10秒种完成多个视频有序或随机合成 关注公众号 golang实战应用，不定期分享密钥 软件地址：https://github.com/suifengqjn/videoWater 软件还包含以下功能 [视频格式转换] [帧率设置] [比特率设置] [剪掉片头] [剪掉片尾] [视频剪裁] [去除水印] [视频旋转] [视频镜像] [调整视频分辨率] [视频压缩] [添加文字水印] [添加跑马灯文字水印] [添加图片水印] [画中画] [添加随机背景音乐] [倍速播放(加速减速)] [添加片头] [添加片尾] [视频分段] [视频合成] [插入背景图片] 打包程序下载 支持 mac win32 ...阅读全文
Go中实现手动内存分配的坑 2016-07-10 你一定想到过，分配一块大的内存，然后从里面切小的对象出来，手动管理对象分配。分配的开销非常小，就是offset加一下。尤其是有些场景，释放时直接把offset重置，就可以重用这块空间了。实现手动内存分配的好处是，减少小对象数目，从而减少垃圾回收时的扫描开销，降低延迟和提升整个性能。 想到不代表做过，做过会踩坑，这篇文章会把你可能要踩的坑都说一遍。不过先说结论：别这么干，不作死就不会死！ TL;DR 扩容 开始很容易想用make([]byte)分配空间，如果大小不够时，还可以进行扩容。这是第一个陷阱。 不要append，别让它扩容。一旦发生扩容，会分配一块新的空间，而旧的slice将不再有任何变量引用它，于是会被垃圾回收掉。等等！之前分配的对象...阅读全文
这篇博客是我在维尔纽斯的 [Go Meetup](https://www.meetup.com/Vilnius-Golang/events/249897910/) 演讲的总结。如果你在维尔纽斯并且喜欢 Go 语言，欢迎加入我们并考虑作演讲 在这篇博文中我们将要探索 Go 语言的内存管理，首先让我们来思考以下的这个小程序： ```go func main() { http.HandleFunc("/bar", func(w http.ResponseWriter, r *http.Request) { fmt.Fprintf(w, "Hello, %q", html.EscapeString(r.URL.Path)) }) http.ListenAndServe(":8080", nil) }...阅读全文
引用类型包含 slice、map、channel 内置函数：new 为其分配零值内存 并返回指针 make 为其分配内存初始化结构 并返回对象 package main import ( "fmt" ) func main() { a := make([]int, 3) a[1] = 10 b := new([]int) b[1] = 20 //error : invalid operation: b[1] (type *[]int does not support indexing) ...阅读全文
大数乘法，简单的说，就是把小学学的列竖式计算的方法进行了实现。这其实也就是个乘法分配率的变形。 5 * 12 = 5 * (2 + 10) = 5 * 2 + 5 * 10 所以第二行竖式，12的十位1与5相乘的时候，需要再最后空一位，其实是在最后省略了一个0。十位就是省略一个0，也就是左移一位，那么百位就是左移两位。以此类推。 通过代码实现，相乘的两个数就不能用整形表示了，因为存不了很大的整数。需要用字符串表示。按位相乘，最后把结果错位相加就行。乘法的结果等于乘数的位数，所以可以申请一个和乘数位数相同的数组，然后错位相加即可。但是这样太麻烦了。 乘法是从个位开始，但是遍历字符串是从最高为开始的，所以要首先将输入字符串反转。用i表示被乘数的遍历索引，j表示乘数的索引。前面说了左移的位数和乘数...阅读全文
 美团云针对客户业务弹性变化特点，推出按需付费的灵活计费方式。冲击云计算市场价格底线，为企业提供高性价比的云服务解决方案。 本次调研将收集开发者在云服务使用过程中遇到的主要问题，以及新需求，借此完善美团云产品及解决方案，实现我们更好的服务于客户的宗旨。 [调研问卷地址] http://survey.meituan.com/?r=survey/index/sid/457371/lang/zh-Hans [奖励机制] 请准确并完整地填写调查问卷，我们将根据问卷的真实性、...阅读全文
昨天写了一篇Go语言内存分配器设计，记录了一下内存分配器的大体结构。在介绍内存分配器的核心实现前，本文先介绍一下内存分配器中一个工具组件——FixAlloc。FixAlloc称不上是核心组件，只是辅助实现整个内存分配器核心的一个基础工具罢了，由此可以看出FixAlloc还是一个比较重要的组件。引入FixAlloc的目的只是用来分配MCache和MSpan两个特定的对象，所以内存分配器中有spanalloc和cachealloc两个组件（见《Go语言内存分配器设计》的图）。MCache和MSpan两个结构在malloc.h中有定义。 定义在malloc.h文件中的FixAlloc结构如下，比较关键的三个字段是alloc、list和chunk，其他的字段主要都是用来统计一些状态数据的，比如分配了...阅读全文
摘要： 为了扶持众多创业者，降低入行门槛，阿里云推出了全新的视频点播创业版套餐，只需299元，即可获得960GB/年的流量包、60GB/年的存储包和24小时/年的转码包，可供个人、小微企业门户网站使用。 近年来，互联网的内容形态快速演变，从最原始的文字博客。到微博时代的图文混合，再到早已主流普及的长视频与近期如火如荼的短视频模式，一直是趋于更具互动性、丰富性的迭代。据公开数据显示，截至2016年12月，中国网络视频用户规模达5.45亿，这个数字足以证明视频已经成为当下最为主流的内容形态。 作为平台方或内容提供方，迎合主流的用户消费习惯，更新迭代内容形态载体，才能留住用户。打个比方，大多数在线教育网站都已经支持视频授课，那些只沉迷于图文课件的教育网站也被市场竞争慢慢淘汰。所以，越来...阅读全文
MSpan和FixAlloc一样，都是内存分配器的基础工具组件，但和FixAlloc没太大的交集，各自发挥功效而已。span(MSpan简称span)是用来管理一组组page对象，先解释一下page，page就是一个4k大小的内存块而已。span就是将这一个个连续的page给管理起来，注意是连续的page，不是东一个西一个的乱摆设的page。为了直观形象的感受一下span，还是得画个图吧，图形是最好的交流语言。 MSpan结构定义在malloc.h头文件中，代码如下： struct MSpan { MSpan *next; // in a span linked list MSpan *prev; // in a span linked list PageID start; // start...阅读全文
Go有两种分配内存的机制，规则很简单，下面来简单介绍一下。1、new函数New（）函数可以给一个值类型的数据分配内存（不知道什么是值类型请前往切片那一部分），调用成功后返回一个初始化的内存块指针，同时该类型被初始化为0值，原型定义：func new(Type) * Typenew是一个分配内存的内置函数，但是不同于其他语言中new所做的工作，它只是将内存清零，而不是初始化内存。2、make函数Make（）函数用于给引用类型分配内存空间，比如：slice，map,channal等，这里需要注意的一点是make（）创建的是一个引用类型的对象，而不是一个内存空间的指针。Make（）函数原型：func make（Type,size IntegerType）Type参数Type必须是一个引用类型（sl...阅读全文
最近看了Go runtime中关于select的实现（select in Go’s runtime），发现select语句位于for循环之内执行的时候，每一遍循环都需要在底层runtime中经历malloc对象到free对象的过程，我认为这个频繁的内存分配和释放的代价并不小，至少内存不是处于一种稳定的状态。因此，我实际的测试一把使用select来操作channel和不使用select操作channel两种情况下的内存情况。 测试过程都是运行程序3分钟，每一次循环sleep 1秒钟，每10秒钟采集一下内存使用情况的数据。为了更直观的感受，我使用goplot工具把采集到的内存数据绘制成了图表。 使用select 测试代码：https://gist.github.com/skoo87/672715...阅读全文
主要流程 MongoDB 2.8 版本特性与功能 MongoDB 在赶集网的应用 MongoDB 最佳实践 MongoDB 2.8 版本特性与功能 TJ MongoDB 开发者 TJ 强调 MongoDB 没有实际意义上的锁，只有 Latch，门栓。 2.6 库级锁 Latch，没有 Lock，写内存的一刹那锁住内存 2.8 无锁的 MVCC 并发，WIREDTIGER，snapshot isolation 2.6 MMAP 内存映射，库级锁 2.8 MMAP 集合级锁 2.8 WIREDTIGER 无锁 WIREDTIGER 存储模式 LSM(HBASE, Cassandra) - Log Structured Merge B-TREE LSM 数据写内存，异步写硬盘 读性能有问题，性能一...阅读全文
Email : hahayacoder@gmail.com 1 Go语言中的指针和C语言中在使用上几乎没有什么差别，熟悉C语言应该很容易掌握，下面是Go语言中使用指针的代码 package main import "fmt" func main() { var value int = 1 //指向int型的指针 var pInt *int = &value //打印相关信息 fmt.Printf("value = %d \n pInt = %d \n *pInt = %d \n", value, pInt, *pInt) //通过指针修改指针指向的值 *pInt = 222 fmt.Printf("value = %d \n pInt = %d \n *pInt = %d \n", valu...阅读全文
摘要： 不同于其他云服务厂商的媒体转码产品，阿里云将更多的技术赋能给用户，通过媒体处理，用户可以基于海量数据深度学习，对媒体的内容、文字、语音、场景多模态分析，实现智能审核、内容理解、智能编辑等视频平台不可或缺的能力。 近日，阿里云媒体转码（MTS）升级为媒体处理（MPS），原音视频转码功能不受影响，除此之外，媒体处理新增智能审核、编辑等功能。 image 自建转码与采用阿里云媒体处理的区别 阿里云媒体处理服务是基于阿里云庞大基础设施体系和计算能力而构建的，它改变了传统的购买、搭建、管理转码软硬件的高昂投入以及配置优化、转码参数适配等复杂性问题。同时，借助云计算服务的弹性伸缩的特性，可以按需提供转码能力，从而最大限度的满足业务转码需求、避免资源浪费。 采用阿里云媒体处理...阅读全文
Ring buffer算法优点：高内存使用率，在缓冲buffer内存模型中，不太容易发生内存越界、悬空指针等 bug ，出了问题也容易在内存级别分析调试。做出来的系统容易保持健壮。 package main import ( "bytes" "fmt" ) type Ringbuf struct { buf []byte start, size int } func New(size int) *Ringbuf { return &Ringbuf{make([]byte, size), 0, 0} } func (r *Ringbuf) Write(b []byte) { for len(b) > 0 { start := (r.start + r.size) % len(r.buf) n ...阅读全文
一、分配对象(源码) // 分配对象内存入口 func newobject(typ *_type) unsafe.Pointer { return mallocgc(typ.size, typ, true) } // 分配指定object的大小(bytes数) // 当分配的object大小 <= 32kb 使用每个P本地缓存空闲列表即可 // > 32 kB 直接堆上进行分配. func mallocgc(size uintptr, typ *_type, needzero bool) unsafe.Pointer { // 零长度对象 if size == 0 { return unsafe.Pointer(&zerobase) // 在heap上分配，则都指向预设的同一全局变量(零长度...阅读全文
```go s := "foobar阿斯蒂芬" fmt.Println(s) fmt.Println(&s) s = "qweqweqweqweqwe" fmt.Println(s) fmt.Println(&s) ``` 这个不可变到底指的是啥意思？上面的代码不就使s这个string变量改变了吗？而且s的地址也没有变化（说明没有给s重新分配内存），那这样看来，s就是可变的呀，实在不懂，求解惑 ...阅读全文
golang 中有两个内存分配机制 ：new和make，二者有明显区别． new：用来初始化一个对象，并且返回该对象的首地址．其自身是一个指针．可用于初始化任何类型 make:返回一个初始化的实例，返回的是一个实例，而不是指针，其只能用来初始化：slice,map和channel三种类型 package main import ( "fmt" ) func main() { a := new([]int) fmt.Println(a) //输出&[]，ａ本身是一个地址 b := make([]int, 1) fmt.Println(b) //输出[0]，ｂ本身是一个slice对象，其内容默认为０ } 通过这个例子可以看出，当对slice，map以及channel进行初始化时，使用make比n...阅读全文
## 引言 golang 是谷歌2009年发布的开源编程语言，截止目前go的release版本已经到了1.12，Golang 语言专门针对多处理器系统应用程序的编程进行了优化，使用 Golang 编译的程序可以媲美 C /C++代码的速度，而且更加安全、支持并行进程。和其他“高级语言”一样，golang同样有一套自己的内存管理机制，自主的去完成内存分配、垃圾回收、内存管理等过程，从而避免频繁的向操作系统申请、释放内存，有效的提升go语言的处理性能。由于篇幅有限，本文重点针对golang1.12.6版本就内存分配情况进行一下梳理和讲解。golang的内存管理是基于tcmalloc模型设计，但又有些差异，局部缓存并不是分配给进程或者线程，而是分配给P（Processor）；golang的GC是s...阅读全文
package main /* #include
## 简介 govpr是golang 实现的基于 GMM-UBM 说话人识别引擎(声纹识别),可用于语音验证,身份识别的场景. 目前暂时仅支持汉语数字的语音,语音格式为wav格式(比特率16000,16bits,单声道) 安装 go get github.com/liuxp0827/govpr 示例 如下是一个简单的示例. 可跳转至 [example](https://github.com/liuxp0827/govpr/blob/master/example) 查看详细的例子,示例中的语音为纯数字8位数字.语音验证后得到一个得分,可设置阈值来判断验证语音是否为注册训练者本人.
阅读全文
## 简介 govpr是golang 实现的基于 GMM-UBM 说话人识别引擎(声纹识别),可用于语音验证,身份识别的场景. 目前暂时仅支持汉语数字的语音,语音格式为wav格式(比特率16000,16bits,单声道) ## 安装 go get github.com/liuxp0827/govpr ## 示例 如下是一个简单的示例. 可跳转至 [example](https://github.com/liuxp0827/govpr/blob/master/example) 查看详细的例子,示例中的语音为纯数字8位数字.语音验证后得到一个得分,可设置阈值来判断验证语音是否为注册训练者本人. ```go package main import (...阅读全文
很多人对于响应式网站定制会有很大的疑问，响应式网站定制是什么？响应式网站定制投入大吗？其实说起定制网站，简单的说就是找人或者公司按照你的意思来为你做一个网站。很多公司为了跻身进入互联网，实现“互联网+”，所以急需做一个网站，让自己能够开启互联网经营之路。他们更多面对的问题是自己缺乏技术和专业的团队为他们打开这扇互联网大门。对于公司而言，他们最关注的点莫非于：做一个响应式网站要多长时间？网站建设的费用能不能低一些？网站做出来能不能马上有成效？  对...阅读全文
MongoDB功能预览：http://pan.baidu.com/s/1k2UfW MongoDB在赶集网的应用：http://pan.baidu.com/s/1bngxgLp MongoDB在京东的使用：http://pan.baidu.com/s/1qWkawv6 MongoDB 在赶集网的应用 赶集网 DBA 选型失败的案例 选型成功的案例 服务化与运维 失败案例 不支持 join，数据库支持反范式 过多内联数据，索引庞大，性能过低 过多聚合及计算功能，数据库不堪重负 基于地理位置， mongodb 二级索引 schema free，无传统 DB DDL 负担 document 丰富的数据结构类型 mongodb 1.8 全局锁，读写超时非常严重 直到 2.0 DB 级锁，才有单库单表...阅读全文
概述 当代的互联网的服务，通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具。 Dapper--Google生产环境下的分布式跟踪系统，应运而生。那么我们就来介绍一个大规模集群的跟踪系统，它是如何满足一个低损耗、应用透明的、大范围部署这三个需求的。当然Dapper设计之初，参考了一些其他分布式系统的理念，尤其是Magpie和X-Trace，但是我们之所以能成功应用在生产环境上，还需要一些画龙点睛之笔，例如采样率的使用以及把代码植入限制在一小部分公共库的改造上。 自从Dapper发展成为...阅读全文
gorc是类wget多线程下载器，支持直接从资源url并发获取资源 项目地址：https://github.com/V-I-C-T-O-R/gorc 使用说明： 1.手动选择模式和自动分配模式，参数：manual，默认为false/自动 2.指定并发线程数，参数：thread，默认为5 3.指定下载的url，参数：url 4.指定分块下载的块大小，参数：blockSize,例如，默认1代表16m,2代表32m,4代表64m，以此类推 5.指定分块下载失败后尝试次数，参数：attempt，默认为3 6.指定文件存放位置，参数：root,默认为项目的lib目录 7.程序使用秩序调用gorc.Download(url string)函数即可 ...阅读全文
文地址：Go 逃逸分析 什么是逃逸分析 堆和栈 要理解什么是逃逸分析会涉及堆和栈的一些基本知识，如果忘记的同学我们可以简单的回顾一下： 堆（Heap）：一般来讲是人为手动进行管理，手动申请、分配、释放。堆适合不可预知大小的内存分配，这也意味着为此付出的代价是分配速度较慢，而且会形成内存碎片。 栈（Stack）：由编译器进行管理，自动申请、分配、释放。一般不会太大，因此栈的分配和回收速度非常快；我们常见的函数参数（不同平台允许存放的数量不同），局部变量等都会存放在栈上。 栈分配内存只需要两个CPU指令：“PUSH”和“RELEASE”，分配和释放；而堆分配内存首先需要去找到一块大小合适的内存块，之后要通过垃圾回收才能释放。 通俗比喻的说，栈就如我们去饭馆吃饭，只需要点菜（发出申请）--》吃吃吃...阅读全文
背景是这样的，有一次我的服务器突然挂掉了，是由于cpu占用过高，但是我又不知道是哪个进程造成的。于是便想找一个监控工具来监控我的机器，我希望这个工具足够简单，没有复杂的配置，开箱即用，能够监控到当cpu负载过高时，发生的时间以及当时是什么进程造成这样的问题。很可惜，我并没有找到这样的工具（若有这样方便的工具请告知我），但我实在不想因此而给服务器上一套很重的监控系统。于是乎，我决定自己写一个工具。思路如下： 每隔一段时间就查看cpu占用率，当超过了设置的百分比，就触发记录； 调用top命令，按照cpu占用率从高到低排列，将输出记录到文件中，文件以时间命令； 程序能后台运行。 针对第一点，我用了一个库：github.com/shirou/gopsutil，里面有关于cpu使用率以及内存使用率的相...阅读全文
map介绍 map是key-value数据结构，又称为字段或者关联数组。类似其它编程语言的集合。 基本语法 var map的变量名 map(关键字)[keyType]valueType 1、key可以是什么类型 golang中的map可以是多种类型，比如 bool,数字，string,指针，channel(管道)，还可以是只包含前面几个类型的 接口，结构体，数组， 通常是 int,string slice map function 不可做为key的数据类型。 2、valueType可以是什么类型 valueType的类型和key基本一样，通常为：数字（整数,浮点数）,string,map,struct map的声明 var a map[string]string var a map[stri...阅读全文
本文在golang map 数据结构的基础上，学习一个make 是如何构造的。 map 创建示例 在golang 中，初始化一个map 算是有两种方式。 example1Map := make(map[int64]string) example2Map := make(map[int64]string, 100) 第一种方式默认不指定map的容量，第二种会指定后续map的容量估计为100，希望在创建的时候把空间就分配好。 当make创建map时，底层做了什么 对于不同的初始化方式，会使用不同的方式。下面是提供的几种初始化方法： // hint 就是 make 初始化map 的第二个参数 func makemap(t *maptype, hint int, h *hmap) *hmap fun...阅读全文
https://blog.insightdatascience.com/using-deep-learning-to-reconstruct-high-resolution-audio-29deee8b7cc...阅读全文
本文翻译自《A visual guide to Go Memory Allocator from scratch (Golang)》。 当我刚开始尝试了解Go的内存分配器时，我发现这真是一件可以令人发疯的事情，因为所有事情似乎都像一个神秘的黑盒(让我无从下手)。由于几乎所有技术魔法都隐藏在抽象之下，因此您需要逐一剥离这些抽象层才能理解它们。 在这篇文章中，我们就来这么做(剥离抽象层去了解隐藏在其下面的技术魔法)。如果您想了解有关Go内存分配器的知识，那么本篇文章正适合您。 一. 物理内存(Physical Memory)和虚拟内存(Virtual Memory) 每个内存分配器都需要使用由底层操作系统管理的虚拟内存空间(Virtual Memory Space)。让我们看看它是如何工作的吧。...阅读全文
