爬取京东商品信息的实例 —— Golang

match · · 2838 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

安装

1.安装 jd-spider

$ go get github.com/matchseller/jd-spider

2.在你的项目中导入包:

import (
    "github.com/matchseller/jd-spider/category"
    "github.com/matchseller/jd-spider/price"
    "github.com/matchseller/jd-spider/product"
)

用法

1.抓取商品目录

func main(){
    categoryUrls, err := category.Crawl()
}

2.抓取商品信息

func main(){
    categoryUrls, err := category.Crawl()
    if err == nil {
        products, _ := product.Crawl(categoryUrls[:10])
    }
}

3.抓取价格

func main(){
    categoryUrls, err := category.Crawl()
    if err == nil {
        products, _ := product.Crawl(categoryUrls[:10])
        var skuIds []string
        for _, v := range products{
            skuIds = append(skuIds, v.SkuId)
        }
        jPrices := price.Crawl(&skuIds)
    }
}

项目在Github上,欢迎给Star


有疑问加站长微信联系(非本文作者)

本文来自:Segmentfault

感谢作者:match

查看原文:爬取京东商品信息的实例 —— Golang

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

2838 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传