go利用x/net/html包实现的蜘蛛

black_OX · · 5102 次点击 · · 开始浏览    
这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。

看了网上很多个spider版本, 几乎都是使用regexp包正则匹配实现.

其实使用DOC, 性能更好, 也更优雅

package main

import (
   "fmt"
   "net/http"
   "os"
   "golang.org/x/net/html"
)

func visit(links []string, n *html.Node) []string {
   if n.Type == html.ElementNode && n.Data == 'a' {
      for _, a := range n.Attr {
         if a.Key == "href" {
            links = append(links, a.Val)
         }
      }
   }
   for c := n.FirstChild; c != nil; c = c.NextSibling {
      links = visit(links, c)
   }
   return links
}

func main() {
   for _, url := range os.Args[1:] {
      links, err := findLinks(url)
      if err != nil {
         fmt.Fprintf(os.Stderr, "findlinks2: %v\n", err)
         continue
      }
      for _, link := range links {
         fmt.Println(link)
      }
   }
}

func findLinks(url string) ([]string, error) {
   resp, err := http.Get(url)
   if err != nil {
      return nil, err
   }
   if resp.StatusCode != http.StatusOK {
      resp.Body.Close()
      return nil, fmt.Errorf("getting %s: %s", url, resp.Status)
   }
   doc, err := html.Parse(resp.Body)
   resp.Body.Close()
   if err != nil {
      return nil, fmt.Errorf("pax resing %s as HTML: %v", url, err)
   }
   return visit(nil, doc), nil
}



有疑问加站长微信联系(非本文作者)

本文来自:CSDN博客

感谢作者:black_OX

查看原文:go利用x/net/html包实现的蜘蛛

入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889

5102 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传