对Golang HTTP标准库进行了封装,提供了更易用优雅的API,类似于Python-requests之于Python-urllib的封装
nic提供了类似于Python-requests的API,能够很快上手,而编译型高并发的Go语言能够带来可观的性能提升(在爬取频率无限制的目标中),它的go-routine, m:n并发调度模型能远胜于GIL限制的Python-multithreading或asyncio, gevent库
经尝试性能以及资源占用都会优于Python multiprocess + co-routine
示例代码
import (
"fmt"
"github.com/eddieivan01/nic"
)
func main() {
url := "http://example.com"
resp, err := nic.Post(url, &nic.H{
JSON: nic.KV {
"hello": "world",
},
Headers: nic.KV{
"X-Forwarded-For": "127.0.0.1",
},
})
if err != nil {
fmt.Fatal(err.Error())
}
fmt.Println(resp.Text)
// 修改响应编码
err = resp.SetEncode("gbk")
if err != nil {
fmt.Fatal(err.Error())
}
fmt.Println(resp.Text)
}
// session 保持Cookie
session := &nic.Session{}
session.Post("http://example.com/login", &nic.H{
Data: nic.KV{
"uname": "nic",
"passwd": "nic",
},
})
resp, _ := session.Get("http://example.com/userinfo", nil)
fmt.Println(resp.Text)
// 上传文件
resp, err := nic.Post(url, &nic.H{
Files : nic.F{
"file" : nic.KV{
// `filename`为必须参数,本地文件路径
// 将会把`nic.go`作为MIME表单的filename
"filename" : `/home/nic/nic.go`,
"token" : "0xff",
},
},
})
最近把原来一个爬虫项目用nic重写了(没有什么爬取频率限制),暂时没有遇见什么BUG。
欢迎大家提出增加新features/改进现有的意见
有疑问加站长微信联系(非本文作者)