Golang 网络爬虫框架gocolly/colly 一 gocolly是用go实现的网络爬虫框架，目前在github上具有3400+星，名列go版爬虫程序榜首。gocolly快速优雅，在单核上每秒可以发起1K以上请求；以回调函数的形式提供了一组接口，可以实现任意类型的爬虫；依赖goquery库可以像jquery一样选择web元素。 gocolly的官方网站是http://go-colly.org/，提供了详细的文档和示例代码。安装colly: go get -u github.com/gocolly/colly/... 在代码中导入包： import "github.com/gocolly/colly" colly的主体是Collector对象，管理网络通信和负责在作业运行时执行附加的回掉...阅读全文
在线免安装类1、在度盘资源分享网址“baidu”后面加上 “wp” 两个字母 这个方法之前介绍过：【工具分享】两个关于度娘的工具，非常不错！能用多久天知道，目前是最简便好用的方法。特点：免登陆，免下载安装软件2、油猴脚本+IDM这个方法第一次下载要先安装一些插件，然后用下载软件就可以实现高速下载。之前也介绍过：你还在吐槽百度网盘的下载速度吗？那就来试试这个吧【视频】百度网盘如何实现高速下载教程特点：免登陆，第一次要麻烦一些，后面就快了。 这个方法也比较好用，稳定性也还不错。关键就是要找对合适的脚本，最笨的方法就是挨个试，如果不行了就换。安装软件类1、速盘https://www.speedpan.com/speedpan-free.html 这款软件采用了Aria2多线程下载，支持免登陆网盘账...阅读全文
1.定义 回调函数就是一个通过函数指针调用的函数。如果你把函数的指针（地址）作为参数传递给另一个函数，当这个指针被用来调用其所指向的函数时，我们就说这是回调函数。回调函数不是由该函数的实现方直接调用，而是在特定的事件或条件发生时由另外的一方调用的，用于对该事件或条件进行响应。 2.机制 定义一个回调函数 提供函数实现的一方在初始化的时候，将回调函数的函数指针注册给调用者 当特定的事件或条件发生时，调用者使用函数指针调用回调函数对事件进行处理 例1.这是一个简单的回调例子，调用函数test时，调用真正的实现函数add package main import "fmt" type Callback func(x, y int) int // 提供一个接口，让外部去实现 func test(x, ...阅读全文
9月9日，杭州市政府和阿里巴巴集团宣布，2015杭州·云栖大会Computing Conference将于10月14日、15日在杭州云栖小镇举行。今年大会主题为“互联网 创新 创业”，届时约2万名开发者将齐聚杭州云栖小镇，交流展示量子计算、人工智能、生物识别、深度学习等最前沿的科技创新力量，集中展现计算所带来的“无法计算的价值”。 此前，云栖大会已经连续举办五届，2015杭州·云栖大会是国内有史以来云计算规模最大的一届。大会设置两个主论坛、约30场分论坛和2场开发者大赛，还将有精彩的“开发者之夜”环节。 大会聚集国内外云计算领域的先行者，预计将有3000余家云上企业和约2万名开发者参与。浙江省省长李强和阿里巴巴董事局主席马云将参加云栖大会并发表主题演讲，云计算服务商们包括阿里云及...阅读全文
## 国内新闻 1. 支付宝内测版遭曝光：马上将支持用Face ID支付 http://tech.sina.com.cn/mobile/n/n/2017-11-21/doc-ifynwnty6206785.shtml 2. 360重组议案过关股东大会500亿元资产注入在即 http://tech.sina.com.cn/i/2017-11-21/doc-ifynwxum7806388.shtml 3. 华策影视讨回乐视2.48亿债权 新乐视文娱业务或盘活 http://tech.sina.com.cn/it/2017-11-21/doc-ifynwxum7806435.shtml ## 国际新闻 1. 无人驾驶货运卡车技术企业「图森...阅读全文
image.png 1. 前言 大家好，我是Asong，今天不做知识分享，在这里给大家推荐一款论文降重神器，有了它，解决了我不少烦恼。这几天在忙论文，维普查询一次就花掉了我80大洋，想想心都在颤呀！！！重复率在27%，为了保险，只好降重，在查重，啊啊啊，我的银子！！！！好在这次降重通过了，只折腾了一次，我的一个同学折腾了4次，心疼！！！ 但是今天Asong发现了一款论文降重神器 "MyEpoch论文降重系统" ，有了它，我们就不用在绞尽脑汁去想了，直接复制粘贴，完事，齐活！论文完美达到复制比检测！ 2. 降重效果演示 asong去知网下载了一篇学术论文，在降重前后分别使用PaperPass进行了查重，降重前重复率为92%，降重后为19%，这效果杠杠滴呀！！！这里我就是把降重后的句段直接复制粘...阅读全文
Tcplayer is a tool to capture realtime/offline network traffic, reassemble tcp packets, analyze application layer protocol(like http/thrift/grpc) requests, magnify and replay to remote servers...阅读全文
我用negroni做api service 以下為User的model type User struct { Id int64 `db:"id"` FirstName string `db:"first_name"` LastName string `db:"last_name"` Email string `db:"email"` CreatedAt time.Time `db:"created_at"` UpdatedAt time.Time `db:"updated_at"` } 在實作api的時候，會用json 回傳，但需要customize json的內容 ...阅读全文
##Filter模块与Hanlder## Hanlder是一种已知类型的回调方法，由使用者提供，可以抽象出一个type func类型来接受这种方法 type HandlerFunc func(http.ResponseWriter, *http.Request) 然后给该方法添加一个方法用来在触发该方法的调用 func (f HandlerFunc) ServeHTTP(rw http.ResponseWriter, req *http.Request) { // 执行当前Route的FilterChain filterChain := CurrentRoute(req).FilterChain if filterChain != nil { ...阅读全文
Ware https://github.com/futurespaceio/ware 核心功能源自[martini][1], 喝杯martini，轻松创建属于自己的中间层。 目前正在使用Ware，开发一个静态生成器[Space][2]，快速、简单、插件化。 "喝杯martini，梦回太空“ 简单例子： package main import ( "log" "github.com/futurespaceio/ware" ) func main() { w := ware.New() w.Use(func(c ware.Contex...阅读全文
在实际的编程中，我们都希望每个对象释放时执行一个方法，在该方法内执行一些计数、释放或特定的要求，以往都是在对象指针置nil前调用一个特定的方法，golang提供了runtime.SetFinalizer函数，当GC准备释放对象时，会回调该函数指定的方法，非常方便和有效。 参考： Go 语言中手动内存管理 go语言之初始化的构造函数 Go和C如何共享内存资...阅读全文
What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back. 你所浪费的今天是昨天死去的人奢望的明天； 你所厌恶的现在是未来的你回不去的曾经。 之前用Golang写过一篇关于下载的文章（https://my.oschina.net/90design/blog/1607131）， 最后提到：如果新需求是同时下载，并且按循序下载，最近看到在论坛里有人又再问起，就想起来更新一下此问题。 开始 两个协程交替输出1-20 package main import "fmt" func main() { A := make(c...阅读全文
idgo是一个利用MySQL批量生成ID的ID生成器, 主要有以下特点: * 每次通过事务批量取ID,性能较高,且不会对MySQL造成压力. * 当ID生成器服务崩溃后,可以继续生成有效ID,避免了ID回绕的风险. 业界已经有利于MySQL生成ID的方案,都是通过:
REPLACE INTO Tickets64 (stub) VALUES ('a');
SELECT LAST_INSERT_ID();
这种方式生成ID的弊端就是每生成一个ID都需要查询一下MySQL,当ID生成过快时会对MySQL造成很大的压力.
这正是我写这个lib库的原因...阅读全文
hyperledger 是IBM的无币区块链，作为比较大联盟链项目，很多大公司都在研究，比如腾讯阿里，金融行业比如银行保险微众P2P企业等，作为杀手级应用，现在还没看很多，可能在信息存证，发票版权等项目有用上，炒区块链概念的外包公司也水涨船高，今天就重新再虚拟机上安装hyperledger（后面有精华） 1. 准备环境 首先我用的是Ubuntu18.04 LTS环境 这时就得用黑科技，通过ss方便实用，其它的就爱莫能助了 .bashrc写入 export http_proxy="http://192.168.157.1:1080" export https_proxy="http://192.168.157.1:1080" 安装go，官网推荐这样是最新版 sudo snap install ...阅读全文
蓝眼云盘的 Github 地址，请随手点个 star，谢谢啦。 部分软件截图： 2018 年 1 月份的时候，蓝眼云盘 1.0 刚开发完毕，那时候一个 star 都没有。为了让自己的这个开源项目看起来像那么回事儿，我发第一篇文章， 经过一年时间的持续迭代，目前蓝眼云盘已经有了 600+的 star。 这次升级的关键词就是：更快，更人性化，更透明。更快是指后端重新梳理了架构，从而日志、异常、离线任务、配置文件等更加规范了，图片缩略图也增加了缓存功能，访问速度更快。更人性化是指增加了 UI 的安装向导，可以通过下一步，下一步的方式就配置好数据库和管理员账户。更透明是指增加了大盘监控，管理员可以非常直观的看到每天的 PV，UV 以及周环比日环比，文件占用空间等重要信息。 开源虽然不容易，但是看到大...阅读全文
一个通用的timewheel工具类 通用粗精度的timewheel,只启动一个timer,可监听任意多的到期时间，放入的用户数据可以是任何类型。 接口说明： 1. Start: 开始一个timewheel ; 2. SetCallback： 设置时间到期时的回调函数，回调函数中不可作过于耗时的操作，以免卡住timewheel的正常运行; 3. Add: 添加需要监控的对象，务必在Start调用后再调用此接口; 4. Stop: 停止此timewhee...阅读全文
代码如下: func funcArgs(value int) { fmt.Print(value) } func funcArgsDemo(y int, d func(int)) { y += 1 d(y) ...阅读全文
What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back. 你所浪费的今天是昨天死去的人奢望的明天； 你所厌恶的现在是未来的你回不去的曾经。 简单的记录一下吧。 package main import ( "reflect" "fmt" "strings" ) type Foo struct { A int `tag1:"Tag1" tag2:"Second Tag"` B string } func main(){ f := Foo{A: 10, B: "Salutations"} fPtr := &f m ...阅读全文
What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back. 你所浪费的今天是昨天死去的人奢望的明天； 你所厌恶的现在是未来的你回不去的曾经。 接口 1 - Golang interface接口全面理解(一) 2 - Golang interface接口全面理解(二) 并发 1 - 并发介绍 2 - Goroutine 3 - Channle 4 - 带缓冲的channle和工作池 5 - Select 6 - Mutex Defer和错误处理 1 - defer 2 - 错误处理 3 - 自定义错误 4 - p...阅读全文
用golang做后台回调认...阅读全文
经常有小伙伴在我的公众号“程序视界”后台留言，对一种现象表示不理解：为什么技术并不是多好的人，加薪升职却比自己快？ 有人说，这是因为这类人会溜须拍马伺候领导。 有人说，这是因为领导眼睛瘸了，看不出谁是真正能做事的人。 有人说，这是因为此人有背景，老板都不敢得罪他。 还有人说，此人说不定已被潜规则。 然而实际上，我们可能是被两个常见的思维错误给蒙蔽了。这两个思维错误是： 以己之长，比人之短 单一维度评估竞争力 大家都是有逻辑、有思维、有见识的聪明人，只要接下来咱们简要说几句，你就能理解这两个思维错误是怎么回事儿了。然后，咱们再介绍什么是更好的职场竞争策略。 （1） 以己之长比人之短 渴望加薪升职却又无法突破瓶颈的开发者，往往会拿着自己的技术长处，跟那些已经加薪升职的同事去比较，张三这块不如我，...阅读全文
What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back. 你所浪费的今天是昨天死去的人奢望的明天； 你所厌恶的现在是未来的你回不去的曾经。 Buffered channel 之前我们说的channel都是不带缓冲的，无论发送和接收都会导致阻塞。 缓冲Channel的特点是：只有当发送至缓冲区存满后导致阻塞， 接受也是如此。 创建方式： ch:= make(chan Type , capacity) capacity 容量， 当capacity = 0 时， 为无缓冲channel，通常省略而已。 packag...阅读全文
BLog4go 是高性能日志库。创新地使用“边解析边输出”方法进行日志输出，同时支持回调函数、日志淘汰和配置文件。可以解决高并发，调用日志函数频繁的情境下，日志库造成的性能问题。 ** 快速启动： **
package main
import (
log "github.com/YoungPioneers/blog4go"
"fmt"
"os"
)
// optionally set user defined hook for logging
type MyHook struct {
som...阅读全文
package main import "fmt" func main() { // 实例化一个角色 a := new(Actor) // 注册名为OnSkill的回调 RegisterEvent("OnSkill", a.OnEvent) // 再次在OnSkill上注册全局事件 RegisterEvent("OnSkill", GlobalEvent) // 调用事件，所有注册的同名函数都会被调用 CallEvent("OnSkill", 100) } // 声明角色的结构体 type Actor struct { } // 为角色添加一个事件处理函数 func (a *Actor) OnEvent(param interface{}) { fmt.Println("actor even...阅读全文
```go type ServerHandler struct { Message chan *rtmp.Message } // Conn handler functions func (handler *ServerHandler) OnReceived(conn rtmp.Conn, message *rtmp.Message) { fmt.Printf("@@@@@@@@@@@@@OnReceived Success : %#v\n", message) handler.Message <- message } // Stream callback handle functions func (handler *ServerHandler) OnPl...阅读全文
函数的结构如下 func(p mytype) funcname(q int)(r,s int){return 0,0} 函数有很多特点 多值返回 Go可以返回多值 延迟代码 在defer后指定函数会在退出的时候调用 func ReadWrite() bool { file.Open("fileName") defer file.Close() //.... } 变参 func myfunc(arg ...int){ } 回调 func callback(y int,f func(int)){ f(y) ...阅读全文
```go func selectExe(sqlStr string,afterScan func(sct *[]interface{}),sctType interface{},args ...interface{})([]interface{},error){ thisTx := getSqlTx() defer thisTx.Commit() stmt, err := thisTx.Prepare(sqlStr) defer stmt.Close() if err != nil { log.Fatal(err) return nil,err } rows, err := stmt.Query(args...) if err !...阅读全文
写这篇文章的初衷是因为最近被GoLang的一个低级问题搞蒙了，加上本蠢货用的还是IntelliJ的2017版本，对GoLang的错误提示非常有限，导致为了解决一个回调问题花了一个多小时。 问题呢，就是GoLang的回调了，在我的印象中GoLang实现回调和Java有那么一点区别，但是大同小异。首先如果是个简单的回调那么肯定没啥难度，传入一个struct对象就可以了，但是我想的是可以随时创建这个回调对象，在各种场合，那么就决定了这个回调对象可能是多个，所以必须是接口。 so，思路其实很清晰，回调参数使用接口就可以了，但是今天我被自己蠢到了，忘了GoLang的特性，首字母非大写是不能给外部包调用的，所以，一言难尽。 在解决问题的期间我不服气的搜了百度与google，发现搜出来的内容居然都是传入f...阅读全文
服务器并发的方式有很多种 1.通过多进程或者多线程的方式，现在这种模式基本上已经不用 2.epoll和IOCP回调的方式，不符合人们的习惯 3.使用协程（轻量级线程，创建、销毁的代价很小）,协程在逻辑上上顺序执行 其中属于erlang和golang在协程并发方面做的比较好 package mainimport ( "fmt")func getResult(data []int, res chan int) { var sum int sum = 0 for _, v := range data { sum += v } res <- sum}func main() { var res = make(chan int) var data = []int{1, 2, 3, 4, 5, 6, 7,...阅读全文
虽然区块链蓬勃发展，但是程序员要在网站上支持数字货币收款依然非常困难。无论是比特币，还是eos都需要安装全节点软件才能比较稳定的做到查询收款服务。然而目前的区块链全节点都耗费大量硬盘空间和系统资源，仅仅为了为了数字货币收款进行投入是不划算的。 这里介绍一个收款插件。 优点： 无需依赖外部库，因为是go语言编写的。 无需外部数据库，默认数据库使用sqlite3，熟练工可以自己修改支持mysql和postgre。 开发者使用http请求就可以创建支付通道，查询支付状态。 收到支付有推送，方便编写业务代码。 无需安装复杂的比特币全节点，以太坊全节点，eos全节点就可以收款。 体积小巧 前期准备一 Mixin Messenger账户 中国大陆iOS和安卓用户前往该地址下载App并注册账户。 大陆以外...阅读全文
PS:老Blog文章转移, 年代久远, 连接可能已失效. Cow 是不错的软件，相当好用，我在公司是直接把它挂到了服务器上，然后办公室的人都在用它。但是回到了家里我就无法用移动设备或者 PSP 之类的连接它了，我的电脑也不能一天 24 小时的在家中开机，碰巧这两天买了连个树莓派，上面运行的是专门定制过的 Debian Linux，我就想着是否能够使用它来运行 Cow。十分不幸的是，似乎作者的网站上并没有提供 ARM 设备的 Cow 版本，我尝试的下载了 Linux 32 位的版本，但是无法在树莓派上运行。所幸 Cow 是用 Go 语言写的，而 Go 支持 ARM，大不了自己编译 Cow。 我不知道是因为我的的问题还是因为什么奇怪的问题，树莓派的官方源里有 Golang，但是我安装之后却无法使...阅读全文
package main import "fmt" // go 回调函数 func main() { /* 匿名： 没有名字 匿名对象： 匿名函数: 函数没有名字 通常只能使用一次。 定义的时候直接使用 */ fun1 := func(a, b int) int { fmt.Println("a:", a, "b:", b) return a * b } res2 := oper(1, 2, fun1) fmt.Println(res2) // 3 } func oper(m, n int, fun func(int, int) int) int { return fun(1, 2) ...阅读全文
在实际的编程中，我们都希望每个对象释放时执行一个方法，在该方法内执行一些计数、释放或特定的要求，以往都是在对象指针置nil前调用一个特定的方法，golang提供了runtime.SetFinalizer函数，当GC准备释放对象时，会回调该函数指定的方法，非常方便和有效。 不过值得注意的是，指针构成的 "循环引⽤" 加上 runtime.SetFinalizer 会导致内存泄露...阅读全文
如果结构体内有一个 回调函数类型 ，那我该怎么实现这个类型的实例并打印输出值呢 ```go package main import "fmt" func main() { type PipeData struct { value int handler func(a int) int } //实现不了的部分⬇ var a PipeData fmt.Print(a.handler(2)) //实现不了的部分⬆ } ``...阅读全文
What you are wasting today is tomorrow for those who died yesterday; what you hate now is the future you can not go back. 你所浪费的今天是昨天死去的人奢望的明天； 你所厌恶的现在是未来的你回不去的曾经。 本人入门Golang的gui， 只是想做一些小的工具日常工作使用， 因为对Golang的热爱已经到了如痴如醉的地步。 开始今天的lxn/walk练习： package main import ( "encoding/json" "github.com/lxn/walk" . "github.com/lxn/walk/declarative" ) func main() {...阅读全文
比如在a.go中写一个结构体， Base{id: int, age: int} ， Student{ name: String, base: Base } ，然后新建一个main函数的maig.go，实例化结构体Student的时候base取不到，如果写 stu := Student{ name: "小明", base : Base{.....}} 这样也会报错，说找不到 field base， 这是怎么回事儿，和java好不一样，新手， 求指点 ...阅读全文
beehive Overview 看一下作者本人的注释 // Package bees is Beehive's central module system. beehive 非常有趣的在于各逻辑的解耦设计，这不仅让本身功能操作简单，也让扩展变得关注点少了很多，只需要一点学习成本就可以扩展自己的 beehive 首先解释一下 bee hive 中 的概念 bee 代表的是我们常见的 Worker 也就是说，实际的行为是由这些 小蜜蜂执行的。他们就类似于采蜜的工人，采集到了之后统一放回来处理 hive 是蜂房，也就是我们常见的 WorkerPool 不同的是，她更像一个 Facotry ，什么意思呢？她可以创建专属的 bee 。在极少的配置下，比如只需要配置上一个 token 即可。就可以生成...阅读全文
python部分如下: ``` def OnReceive(sockid, str_from_golang): print str_from_golang CCReceiveFUNC = CFUNCTYPE(None, c_int32, c_char_p) gReceiveFunc = CCReceiveFUNC(OnReceive) mydll = cdll.LoadLibrary lib = mydll("./basego.so") print gReceiveFunc lib.setCallbackFunc(gReceiveFunc) 用go的setCallbackFunc()来设置python的函数,作为回调函数 go部分: var...阅读全文
文： http://labs.strava.com/blog/futures-in-golang/ promise/future是一个非常重要的异步编程模型，它可以让我们摆脱传统的回调陷阱，从而使用更加优雅、清晰的方式进行异步编程 package main import ( "net/http" "io/ioutil" "fmt" ) func main() { url := "http://www.google.com" future := Future(func() (interface{}, error) { resp, err := http.Get(url) if err != nil { return nil, err } defer resp.Body.Close() retu...阅读全文
beehive Overview 看一下作者本人的注释 // Package bees is Beehive's central module system. beehive 非常有趣的在于各逻辑的解耦设计，这不仅让本身功能操作简单，也让扩展变得关注点少了很多，只需要一点学习成本就可以扩展自己的 beehive 首先解释一下 bee hive 中 的概念 bee 代表的是我们常见的 Worker 也就是说，实际的行为是由这些 小蜜蜂执行的。他们就类似于采蜜的工人，采集到了之后统一放回来处理 hive 是蜂房，也就是我们常见的 WorkerPool 不同的是，她更像一个 Facotry ，什么意思呢？她可以创建专属的 bee 。在极少的配置下，比如只需要配置上一个 token 即可。就可以生成...阅读全文
const Max = 10000000 type GoroutinePoll struct { Queue chan func() error Total, Num int Result chan error FinishCallBack func() error } func (g *GoroutinePoll) Init(total int) { g.Total = total g.Queue = make(chan func() error, total) g.Result = make(chan error, total) } func (g *GoroutinePoll) SetFinishCallBack(f func() error) { g.FinishCallBack =...阅读全文
go怎么实现延迟任务执行 main函数执行后 直接退出了 在main函数里面是有select{}可以实现执行完后在退出 ，但是实际项目应用中肯定不能这样做，例如执行一个每20秒执行一个任务 应该怎么做func main() { //go timer1() //timer2() for i :=1; i <10 ; i++ { task :=&Task{i+1,"a",""} task.Start() } } type Task struct { delay int key string data string } func NewTask(delay int,key ,data string) *Task { task :=&Task{ delay:delay, key:key, data:...阅读全文
//多态 package main import "fmt" type Functype func(int, int) int//定义函数类型 func Calc(a int, b int, fun Functype) int { result := fun(a, b) //回调机制 return result } func Add(a, b int) int{ return a + b } func Munic(a, b int) int { return a - b } func Mult(a, b int) int { return a * b } func main() { result := Calc(3,6, Add) fmt.Println("result = ", resul...阅读全文
package main import "fmt" func main() { // 实例化一个角色 a := new(Actor) // 注册名为OnSkill的回调 RegisterEvent("OnSkill", a.OnEvent) // 再次在OnSkill上注册全局事件 RegisterEvent("OnSkill", GlobalEvent) // 调用事件，所有注册的同名函数都会被调用 CallEvent("OnSkill", 100) } // 声明角色的结构体 type Actor struct { } // 为角色添加一个事件处理函数 func (a *Actor) OnEvent(param interface{}) { fmt.Println("actor even...阅读全文
package main import "fmt" // go 回调函数 func main() { /* 高阶函数: 根据go语言函数的数据类型的特点，可以将函数作为另一个函数的参数 fun1() fun2() 将fun1函数作为fun2函数的参数: fun2函数：高阶函数 接受一个函数作为参数的参数，叫做高阶函数 fun1函数：回调函数 作为另一个函数的参数的函数，叫回调函数 */ fmt.Printf("%T\n", add) //func(int, int) int fmt.Printf("%T\n", oper) //func(int, int, func(int, int) int) int res1 := add(1, 2) fmt.Println(res1) // 3 res...阅读全文
