爬取豆瓣电影 Top250 爬虫是标配了，看数据那一刻很有趣。第一个就从最最最简单最基础的爬虫开始写起吧！ 项目地址：https://github.com/go-crawler... 目标 我们的目标站点是 豆瓣电影 Top250，估计大家都很眼熟了 本次爬取8个字段，用于简单的概括分析。具体的字段如下： 简单的分析一下目标源 一页共25条 含分页（共10页）且分页规则是正常的 每一项的数据字段排序都是规则且不变 开始 由于量不大，我们的爬取步骤如下 分析页面，获取所有的分页 分析页面，循环爬取所有页面的电影信息 爬取的电影信息入库 安装 $ go get -u github.com/PuerkitoBio/goquery 运行 $ go run main.go 代码片段 1、获取所有分页 ...阅读全文
打开豆瓣电影TOP250，打算爬取电影的四个信息，豆瓣排名，图片，评分，电影名。 所以先定义个结构体 type Movie struct { Num string Url string Star string Name string } 注意豆瓣电影的网址，是有规律的： 每一页start分别为0,25,50.....所以在主函数里面加个循环： func main(){ t1 := time.Now() for i := 0; i < 11; i++ { url := fmt.Sprintf("https://movie.douban.com/top250?start=%v&filter=", i*25) fmt.Printf("整在爬取第%v页",i+1) res := getRespons...阅读全文
载豆瓣http://www.douban.com/note/484935836...阅读全文
载豆瓣http://www.douban.com/note/484590266...阅读全文
载豆瓣http://www.douban.com/note/484596204...阅读全文
背景 今天主要分享下微服务中的Auto Scale，豆瓣2005年3月上线，是一家历史比较悠久的互联网公司，主要覆盖文化综合领域的Web、APP等各种产品，现在有豆瓣读书、豆瓣电影、豆瓣音乐等等。 Markdown 〓 豆瓣简介 在技术方面，豆瓣主要的开发语言是Python和Golang，豆瓣拥有自研私有云平台Douban App Engine（以下简称“DAE”），上面托管豆瓣网所有应用使用配置来描述应用：应用依赖MQ、Daemon，以及Cron，这样开发者使用一个配置文件就可以描述对资源的所有需求，平台拿到描述文件后可以在上面做需要的资源管配。 Markdown 〓 Douban App Engine 在DAE上会统一调度所有资源，产品开发人员不必关心具体的机器设备，比如无需关心某个业务...阅读全文
package main import ( "fmt" "io" "net/http" "os" "regexp" "strconv" ) func HttpGet(url string) (result string, err error) { fmt.Println("url->", url) client := &http.Client{} req, err1 := http.NewRequest("GET", url, nil) if err1 != nil { err = err1 return } req.Header.Add("User-Agent", "test") resp, err2 := client.Do(req) if err2 != nil { err = err...阅读全文
