代码： SafeRun加锁设置url的已访问 通过 for i:=0; i < len(urls); i++{ <-sub_quit }父go线程等待子go线程结束 package main import ( "fmt" ) type Fetcher interface { // Fetch 返回 URL 的 body 内容，并且将在这个页面上找到的 URL 放到一个 slice 中。 Fetch(url string) (body string, urls []string, err erro...阅读全文
前言 如何实现一个爬虫系统或则简单的小脚本?一般是定义一个入口页面，然后一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。 golang由于其编译速度很快，而且对并发(goroutine)的天然支持,配合chan的协程处理,可以很好地实现一个稳定高效的爬虫系统. 用到的包 完全不借助第三方的框架,通过go sdk的标准库来实现一个爬虫应用,主要用到的包 net/http 标准库里内建了...阅读全文
今天是我在公司实习的最后一天，一个月的时间真的是太短暂了，我非常享受在公司工作的这一个月，在这里Leader和同事们对我的帮助极大地促进了我技术水平的进步和自信心的提升，我发自内心地感谢白山云科技给我这样一个实习的机会，谢谢你们对我的无私帮助（虽然他们可能也看不到…）。 眼看着暑假还剩不到一个月，其实我内心是不想离开这个公司的，但是想到开学以后又要有各种网络赛和区域赛，又有新生的到来，为了校队，我还是离开吧（虽然我回去也没啥卵用…）。 实习期间第一次写函数式的程序，并且第一次完成了一个用于日志分...阅读全文
