来尝试Golang爬虫吧,一个更易用的Golang HTTP请求库

Eddie_Ivan · · 1653 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

对Golang HTTP标准库进行了封装,提供了更易用优雅的API,类似于Python-requests之于Python-urllib的封装

nic提供了类似于Python-requests的API,能够很快上手,而编译型高并发的Go语言能够带来可观的性能提升(在爬取频率无限制的目标中),它的go-routine, m:n并发调度模型能远胜于GIL限制的Python-multithreading或asyncio, gevent库

经尝试性能以及资源占用都会优于Python multiprocess + co-routine

GitHub地址

示例代码

import (
   "fmt"
   "github.com/eddieivan01/nic"
)

func main() {
    url := "http://example.com"
    resp, err := nic.Post(url, &nic.H{
        JSON: nic.KV {
            "hello": "world",
        },
        Headers: nic.KV{
            "X-Forwarded-For": "127.0.0.1",
        },
    })
    if err != nil {
       fmt.Fatal(err.Error())
    }
    fmt.Println(resp.Text)
    
    // 修改响应编码
    err = resp.SetEncode("gbk")
    if err != nil {
       fmt.Fatal(err.Error())
    }
    fmt.Println(resp.Text)
}
// session 保持Cookie
session := &nic.Session{}
session.Post("http://example.com/login", &nic.H{
    Data: nic.KV{
        "uname": "nic",
        "passwd": "nic",
    },
})

resp, _ := session.Get("http://example.com/userinfo", nil)
fmt.Println(resp.Text)
// 上传文件
resp, err := nic.Post(url, &nic.H{
   Files : nic.F{
       "file" : nic.KV{
           // `filename`为必须参数,本地文件路径
           // 将会把`nic.go`作为MIME表单的filename
           "filename" : `/home/nic/nic.go`,
           "token" : "0xff",
       },
   },
})

最近把原来一个爬虫项目用nic重写了(没有什么爬取频率限制),暂时没有遇见什么BUG。

欢迎大家提出增加新features/改进现有的意见


有疑问加站长微信联系(非本文作者)

本文来自:简书

感谢作者:Eddie_Ivan

查看原文:来尝试Golang爬虫吧,一个更易用的Golang HTTP请求库

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

1653 次点击  
加入收藏 微博
1 回复  |  直到 2021-02-28 09:45:46
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传