之前写爬虫都是用的python语言，最近发现go语言写起来也挺方便的，下面简单介绍一下。这里说的爬虫并不是对网络中的很多资源进行不断的循环抓取，而只是抓通过程序的手段都某些网页实现特定的信息抓取。可以简单分成两个部分：抓取网页，对网页进行解析。抓取网页。一般是向服务器发送一个http get/post请求，得到response。go提供的http包可以很好的实现。get方法：1resp, err := http.Get(“http://www.legendtkl.com") post方法：12resp, err := http.Post(“http://example.com/upload”, “image/jpg”, &buf)resp, err := http.PostForm(...阅读全文
http://www.dotcoo.com/golang-unicode-encode golang在很多时候要对中文进行unicode编码,今天有兴趣就写了一个,golang太爽了今天写了不少文章了.呵呵 package main import ( "fmt" "strconv" ) func main() { rs := []rune("golang中文unicode编码") json := "" html := "" for _, r := range rs { rint := int(r) if rint < 128 { json += string(r) html += string(r) } else { json += "\\u"+strconv.FormatInt(int64...阅读全文
package main import ( "fmt" "log" "net/http" "os" ) func main() { resp, err := http.Get("http://domain/path") if err != nil { fmt.Println(err) log.Fatal(err) } if resp.StatusCode == http.StatusOK { fmt.Println(resp.StatusCode) } defer resp.Body.Close() buf := make([]byte, 1024) f, err1 := os.OpenFile("path.txt", os.O_RDWR|os.O_CREATE|os.O_APPEND, o...阅读全文
在IPFS新增一个文件 新建test.txt文件 打开终端，切换到桌面，新建一个文件夹test，切换到test中，通过vi新建一个文件test.txt，文件里面输入Hello World保存并且退出。 $ cd Desktop/ $ mkdir test $ cd test/ $ vi test.txt $ cat test.txt Hello World 将test.txt添加到ipfs节点 使用ipfs add命令添加： $ cd Desktop/test $ ipfs add test.txt added QmUXTtySmd7LD4p6RG6rZW6RuUuPZXTtNMmRQ6DSQo3aMw test.txt $ ipfs cat QmUXTtySmd7LD4p6RG6rZW6R...阅读全文
简单的网站优化方法 做好网络推广，首先你要做好网站的站内优化。 一、 关键词： 做站内优化，第一步也是最重要的就是关键字的选择，这一个关乎你后期页面的排名，一个网站不但首页排名高，其他页面排名上来了，这样才能到达覆盖效果。 小建议： 1.合理的挑选关键词 2.不要把所有词都堆积在首页， 3.关键词的部署要分配好，（顶级关键词、目标关键词、固定关键词、长尾关键词分配不同的页面） 4.每个页面关键词使用合理 例：耐思尼克首页 文章页面 每个栏目页面的关键词选择都要不同，title；keyword；description都需要设定好，针对自身的产品或者服务来选定自己的关键词。注：如果是一个新站，已经有许多行业网站，你在关键词的选择上可以偏向于长尾词...阅读全文
title: goquery爬虫Boss直聘信息 tags: go,goquery author: Clown95 背景 Hello小伙伴们，在之前的文章中，我们对go的爬虫库goquery进行了简单的介绍，今天我们就来进行一个爬虫BOSS直聘Golang招聘信息的实战项目。 需求 在写代码之前，我们先了解下我们需要爬取什么内容。 招聘要求我们鼠标悬停在列表上,会出现一个悬浮窗里面有职位描述 根据网站给出的信息我们可以爬虫到以下内容： 工作岗位 薪资范围 公司地址 工作经验 学历要求 公司名称 公司信息 招聘要求 源文件说明 我们先看一个列表的HTML代码，了解我们需要爬取的内容在哪个标签。
打开一个网页的时间 golang
package main import ( "net/http" "io/ioutil" "fmt" // "time" ) func main(){ var website string = "http://www.future.org.cn" if resp,err := http.Get(website); err == nil{ defer resp.Body.Close() if body, err := ioutil.ReadAll(resp.Body); err == nil { fmt.Println("HTML content:", string(body)); }else{ fmt.Println("Cannot read from connected http serv...阅读全文
我的需求是,当我正常的请求了一个网页文件后,需要在读取的时候,进行限速,我本来想说,在返回流中 for {} 里面判断的,但是,一旦里面sleep了以后,就断开了..请问有其他办法可以限速吗? 很需要精确到字节...感谢各位大婶的帮助...如果你知道,请尽量帮帮我 代码如下: resp, err := GetDownloadResponse(url, referer, cookie, xxf) defer resp.Body.Close() buf := make([]byte, 1024) for { t1 := time.Now() n, err := resp.Body.Read(buf) if err != nil { ...阅读全文
proxyblock 是一个代理，使用白名单／黑名单来阻止不想看到的网页的内容，例如：广告、第三方 javascript 和其它 cruft。这个代理插入一个 iframe 到网页内容，运行用户来调节代理。 
