之前一直都是再用Python写爬虫，最近想体验下Golang写爬虫的感觉，所以就有了这个系列。我想要抓取的页面是豆瓣Top250页面，选择它的理由有3个: 豆瓣页面代码相对规范 豆瓣对爬虫爱好者相对更宽容 Top250页面简洁，很适合拿来练手 我们先看第一版的代码。 按逻辑我把抓取代码分成2个部分： HTTP请求 解析页面中的内容 我们先看HTTP请求，Golang语言的HTTP请求库不需要使用第三方的库，标准库就内置了足够好的支持： import ( "fmt" "net/http" "io/ioutil" ) func fetch (url string) string { fmt.Println("Fetch Url", url) client := &http.Client{} re...阅读全文
大家好，又有超实用小工具跟大家分享啦，欢迎大家体验和吐槽~ 这是一款旨在帮助Go开发者提高开发效率的超实用工具，它是一个可在浏览器地址栏快速、方便、高效地搜索Go文档的浏览器插件，目前支持Chrome、Firefox和Edge下载。类似于 Rust 社区的RustSearchExtension插件。 下载地址 Chrome版本 Firefox版本 Eadge版本 提供的功能 1. 支持搜索 Go 标准库文档 可通过关键词搜索package、func、interface，快速查看其定义和描述，也可选中并跳转到文档页面查看具体说明。 2. 支持搜索热门项目文档 可通过搜索package名称获得GitHub上star数前8k的go项目文档相关的信息，包括最新版本号和package的说明。 3. 支...阅读全文
大家好，又有超实用小工具跟大家分享啦，欢迎大家体验和吐槽~ 这是一款旨在帮助Go开发者提高开发效率的超实用工具——Go Search Extension，它是一个可在浏览器地址栏快速、方便、高效地搜索Go文档的浏览器插件，目前支持Chrome、Firefox和Edge下载，是我们前期开发的[RustSearchExtension插件](https://chrome.google.com/webstore/detail/rust-search-extension/ennpfpdlaclocpomkiablnmbppdnlhoh)的go版本。 #### **下载地址** [Chrome版本：https://chrome.google.com/webstore/detail/golang-sear...阅读全文
大家好，有一个超实用小工具跟大家分享啦，欢迎大家体验和吐槽~这是一款旨在帮助Go开发者提高开发效率的超实用工具，它是一个可在浏览器地址栏快速、方便、高效地搜索Go文档的浏览器插件，目前支持Chrome、Firefox和Edge下载。类似于 Rust 社区的RustSearchExtension插件。 下载地址 Chrome版本Firefox版本Eadge版本 提供的功能 1. 支持搜索 Go 标准库文档 可通过关键词搜索package、func、interface，快速查看其定义和描述，也可选中并跳转到文档页面查看具体说明。 2. 支持搜索热门项目文档 可通过搜索package名称获得GitHub上star数前8k的go项目文档相关的信息，包括最新版本号和package的说明。 3. 支持快...阅读全文
使用神奇的数据采集工具——造数，爬取男神的微博 昨天胡歌（35岁）生日刚刚过去，各位胡椒粉有什么想说的呢，一路走来，有多少人知道胡歌最早是这样的： 当胡歌说道要先把饥寒问题管制时，许多粉丝心伤到眼泪都进去了。 爬微博原因：过去的生日胡歌都会发微博，那时候微博上是这样的： 2015年（33岁） 2014年（32岁） 2013年（31岁） 然而在2016年，胡歌发了这样一条微博 造数君爬取了老大的微博，做了一个简单的分析，当然啦，数据采集不光要告诉你能够采集到什么，还要一并教你怎么采集： 选用的是微博移动端胡歌的微博 ， 记住一定要切换到高级模式，加上cookie 翻页非常简单，就是page的值 https://weibo.cn/hu_ge?page={{1-360}} 然后就轻松拿到了胡歌所有...阅读全文
title: Go语言使用chromedp爬虫 tags: Go，chromedp author: Clown95 背景 最近朋友让我帮忙爬取一个网站上面的数据，当时看到页面觉得很简单，虽然有25000多页，但是网站没有反爬虫机制，只要多开几个协程就行。 当我简单的爬取第一页之后，发现url没有page参数。好吧，查看翻页的源代码看看,javascript:__doPostBack('anpDataPager','2') 看到这个翻页我有点头疼，是aps写的后台，通过js调dll内部跳转的。 考虑到一般翻页无非是url和ajax。我又去控制台查看ajax,打开控制台选中XHR,结果让我有点懵逼，根本就没有ajax。 我当时就打退堂鼓了，但是又考虑到跟朋友一口一个保证，没办法硬着头皮来吧，那就...阅读全文
Go语言的一个很大的优势就是内置了goroutine机制，使得开发者可以方便地编写并发程序。 在去年的Google I/O大会上，Go语言开发团队成员Rob Pike介绍了Go的并发模式。如今该语言已经到达了1.1版本，性能和安全性较之以前更加完善。在本月举行的I/O 2013上，团队成员Sameer Ajmani带来了更高级的Go语言并发模式演讲，以帮助开发者更深入地了解Go语言的并发编程问题。 你可以通过这个幻灯片来查看：https://talks.golang.org/2013/advconc.slide（使用左右方向键翻页，点击代码页的run按钮可直接运行代码，你还可以直接对代码进行修改） 在幻灯片中，Sameer介绍了如何检测和避免死锁、竞争条件（race conditions），...阅读全文
翻译自php的一个分页函数，能用！代码写得比较垃圾，抽空再改进。 package main import ( "bytes" "fmt" "math" "os" "strconv" "strings" ) func main() { var html string html = multi(100, 10, 3, "http://xxoo.io") userFile := "log.html" fout, _ := os.Create(userFile) fmt.Println(html) fout.WriteString(html) fout.Close() } func multi(num int, perpage int, curpage int, url string) string...阅读全文
昨晚大概3点钟睡了，现在10点半，才刚刚起来，新加坡的窗外暴雨滂沱。感觉像是要山洪爆发一样，继续看视频吧，反正也出不去。一、P20:转义字符-类似c语言，注意\r 回车符与\n换行符的区别。/r从当前行的最开头开始输出，覆盖掉原有内容。如：美利坚合众国\r希拉里输出结果：希拉里合众国P21:常见错误，（过于基础可以跳过）P22：注释，类C （跳过）注意块注释不能嵌套P23:代码风格-1、官方推荐尽量用行注释 快捷键ctrl+/ 2、正确的缩进和空白 快捷键shift+tab 整体向左移动 tab 控制整体向右移动 3、gofmt 指令 gofmt （-w）test.go 4.运算符两边习惯性加一个空格 5.func 风格举例 正确风格func main(){XXXXXXXXX}错误风格fun...阅读全文
之前一直都是再用Python写爬虫，最近想体验下Golang写爬虫的感觉，所以就有了这个系列。我想要抓取的页面是[豆瓣Top250页面](https://movie.douban.com/top250)，选择它的理由有3个: 1. 豆瓣页面代码相对规范 2. 豆瓣对爬虫爱好者相对更宽容 3. Top250页面简洁，很适合拿来练手 我们先看第一版的代码。 按逻辑我把抓取代码分成2个部分： 1. HTTP请求 2. 解析页面中的内容 我们先看HTTP请求，Golang语言的HTTP请求库不需要使用第三方的库，标准库就内置了足够好的支持： ```go import ( "fmt" "net/http" "io/ioutil" ) func fetch (url string) string { f...阅读全文
1. 查询支持翻页 Fabric提供支持翻页的查询接口，可以设置书签（页面起始位置）和页面大小。 适用场景 对于请求范围数据，数据记录数过多的情况，可以使用Fabric新增的翻页查询功能，免除代码中自己实现翻页逻辑。 技术实现 Fabric实现了翻页逻辑的代码，通过设置书签记录页面起始位置。对于LevelDB，返回的书签是本次查询结果最后一条记录的下一条记录的key；对于CouchDB，Fabric并没有使用它的skip和limit参数，使用了bookmark参数。 接口 合约新增的支持翻页的查询函数包括如下： GetStateByRangeWithPagination(startKey, endKey string, pageSize int32, bookmark string) (St...阅读全文
