有两个不错的库： https://github.com/PuerkitoBio/goquery 一个是 http://code.google.com/p/go.net/html html是html的解析器，把html文本解析出来，goquery基于html包，在此基础上结合cascadia 包（一个css选择器工具），实现类似于jquery的功能，操作html非常方便。 使用goquery来查找，选择相应的html节点，但如果要对选择的节点进行修改，删除操作，还需要深入使用html包。 html包把html文本解析为一个树，这个树有很多Node组成，操作的核心就在于对Node的操作。 用几个例子来说明一下吧： doc, err := goquery.NewDocument("http://s...阅读全文
在做爬虫时，经常要用到html解析器提取数据，Python里面有神器lxml，go里面可以选择htmlquery或者goquery。其中htmlquery使用xpath选择器，goquery使用css选择器。就使用体验来说，htmlquery更方便一些，这儿主要介绍htmlquery的一些基本用法。 htmlquery是用于HTML的XPath数据提取库，可让通过XPath表达式从HTML文档中提取数据，使用起来很简单方便。xpath语法见https://www.w3school.com.cn/xpath/xpath_syntax.asp。 htmlquery安装： go get github.com/antchfx/htmlquery 经常使用到的函数有： func Parse(r io....阅读全文
**1**.简述golang中make和new的区别 make用于内建类型（只能用于创建map、slice 和channel）的内存分配。并且返回一个有初始值(非零)的T类型，而不是*T。 new用于各种类型的内存分配。new(T)分配了零值填充的T类型的内存空间，并且返回其地址，即一个*T类型的值。用Go的术语说，它返回了一个指针，指向新分配的类型T的零值。有一点非常重要：**new返回指针**。 **2**.简要描述go中的main和init函数的区别 首先，这两个函数应用位置不同，init函数可以应用于所有的package，main只能应用于 package main，需要注意的是虽然一个package中可以写任意多个init,但是无论是从可读性还是可维护性来说，都是不推荐的； 其次，...阅读全文
LiteIDE改装 最近一直都在使用liteIDE做开发。公司的项目很紧张，但是在这个周末。还是偷偷的对liteIDE小不爽的地方进行了一些小的改造。 IDE上的run按钮就是运行当前的go文件。 首先我们项目运行只是运行统一或者少数的入口点每次点开固定的文档才能run真的是够了。另外一个主要的原因在于liteIDE没有project管理支持。 而且这个IDE貌似没有出很长时间一般的RCP平台都是有插件开发的。但是这没有插件开发（貌似是有。而且是用python写的）但是，没找到文档（截至 2015年1月19日）也是醉了。 关键入口点还是我在google Code上找到的一个文档。 在配置中的LiteBuild里面有一个gosrc.xml 这个配置文件能修改buttion调用的命令。好吧就只能...阅读全文
结构体定义的一般方式如下： type identifier struct { field1 type1 field2 type2 ... } type T struct {a, b int} 也是合法的语法，它更适用于简单的结构体。 var t *T t = new(T) 变量 t 是一个指向 T的指针，此时结构体字段的值是它们所属类型的零值，使用 new 函数给一个新的结构体变量分配内存，它返回指向已分配内存的指针。 无论变量是一个结构体类型还是一个结构体类型指针，都使用同样的 选择器符（selector-notation） 来引用结构体的字段，即： type myStruct struct { i int } var v myStruct // v是结构体类型变量 var p *mySt...阅读全文
title: goquery的使用 tags: go,goquery,爬虫 author: Clown95 本文参考 飞雪无痕 的 《golang goquery selector(选择器) 示例大全》 概述 相信很多小伙伴对爬虫有着很大的兴趣,今天我们就来说下go语言的爬虫利器goquery，有使用过jquery的小伙伴是不是看着这个很眼熟？goquery类似jquery，它是jquery的go版本实现，使用它，可以很方便的对HTML进行处理。 goquery是基于 Go net/htm包和css选择器库 cascadia。由于net/htm解析器返回的是DOM节点,而不是完整的DOM树,因此, jQuery的状态操作函数没有实现(像height(), css(), detach) 注意：...阅读全文
[gobyexample](https://gobyexample.com/) 应该很多 gopher 都知道。现在有网友翻译成了中文版，可以对照着看看。 Go 是一个被设计用来建立简单，快速和可信赖的软件的开源程序设计语言。 Go by Example 是一个实践性的通过带注释的例子程序去介绍 Go。 [中文版](http://gobyexample.everyx.in/) 查看[第一个例子](http://gobyexample.everyx.in/hello-world/)。以下是例子主题： 你好，世界 值 变量 常量 For循环 if/else 分支 分支结构 数组 切片 关联数组 Range 遍历 函数 多...阅读全文
##问题 - 有没有大神告诉我用什么开发比较好？ ## 选择如下： - idea + go plugn - goLand - goclips...阅读全文
OpenPitrix 是一个将应用程序打包和部署到诸如 QingCloud，AWS，Kubernetes 等多个云环境中的开放平台. Pixrix [Paitriks] 是指 PaaS 和 IaaS 的矩阵，可以轻松开发，部署，管理各种应用程序，包括各种 PaaS 运行时环境，即 Pitrix = PaaS + IaaS + Matrix。 它也意味着一个包含无尽的矩阵（PI - 希腊字母“π”）应用程序。 设计： 基本思想是解耦应用程序存储库和运行时环境。 应用程序可以运行的运行时环境是通过匹配运行时环境的标签和应用程序所在的存储库的选择器。详情请查看[如何设计项目](https://github.com/openpitrix/openpitrix/blob/master/docs...阅读全文
最强围棋程序Alpha Go 浅析 去年谷歌的围棋程序Alpha Go一举打败所有已知的围棋AI程序，以及以5:0的大比分打败了专业棋手Fan Hui。随后在《nature》上报到了Alpha Go 的内幕。作为一个伪的围棋爱好者和一个机器学习爱好者，看了该文章，并看了其他的分析，写下自己的心得： 围棋的智能对弈程序最早当属我国的手谈，那个时期的自动对弈程序属于经验型的。随后从国外对围棋研究后，产生了蒙特卡洛树搜索的方法应运于围棋对弈，产生了一系列的强AI，可以达到业余水准，关于蒙特卡洛树搜索可以参看《基于蒙特卡洛树搜索的计算机围棋博弈研究》，可以说对该方法进行了详细的说明，阅读也较容易，可以得到围棋AI的一些背景，制约蒙特卡洛方法更近一步的原因是：树的展开，以及搜索的深度的确定。于此同时，...阅读全文
golang select 选择器 常规模式: package main import ( "fmt" "strconv" ) func main() { var chs1 = make(chan int) var chs2 = make(chan float64) var chs3 = make(chan string) var ch4close = make(chan int) defer close(ch4close) go func(c chan int, ch4close chan int) { for i := 0; i < 5; i++ { c <- i } close(c) ch4close <- 1 }(chs1, ch4close) go func(c chan floa...阅读全文
Golang 网络爬虫框架gocolly/colly 三 熟悉了《Golang 网络爬虫框架gocolly/colly 一》和《Golang 网络爬虫框架gocolly/colly 二》之后就可以在网络上爬取大部分数据了。本文接下来将爬取中证指数有限公司提供的行业市盈率。（http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio） 定义数据结构体， //证监会行业市盈率 type ZhjhHyShyl struct { Hydm string `json:"行业代码"` Hymc string `json:"行业名称"` Zxsj *float64 `json:"最新数据"` Gpjs int `json:...阅读全文
需求 有一项重复性工作，就是每天打开监控系统输入一些内容查询结果并截图然后检查发送日报，所以就在想能不能使用go来完成部分工作，查找之后就发现了chromedp，使用起来之后还是发现不少的坑。 安装 因为安装的时候一些包要翻墙，所以使用gopm下载包，具体可以百度gopm gopm get github.com/chromedp/chromedp 报错 刚下载完跑demo，这里提示这几行。 demo 地址https://raw.githubusercontent.com/chromedp/examples/master/click/main.go image.png 我的解决方法是进入handler.go把这几个类型注释掉，如果还有其他好的办法可以告诉我 解决掉上面几行之后，继续跑官方的de...阅读全文
select可以用来管理多个channel的读写，以及实现channel读写timeout等。select并不是以库的形式提供，而是语言级支持的语法特性，因此select的实现主要由编译器和runtime共同完成，本文将重点关注runtime部分。 select语句的执行主要由4个阶段组成，依次是创建select对象，注册所有的case条件，执行select语句，最后释放select对象。这里提到的select对象是底层runtime维护的一个Select结构，这个对象对Go程序来说基本是透明的。后面的内容中，我将称这个select对象为选择器。 选择器内存模型(Select) 这里内存模型主要是描述的选择器在内存是如何布局的，是什么样的数据结构来维护的。源码位于runtime/chan.c...阅读全文
此教程主要对go语言做了基本的语法和使用介绍，希望可以让想入门的小伙伴可以快速的学习go语言。教程仅有不到2个小时，但是可以快速带你进入golang的世界；如果你花费了4个小时边观看边实践，那么你一定会熟悉golang的基本使用~！~教程内容基本介绍，安装部署，运行第一个程序及基础介绍，开发工具介绍，go module，基础语法，常用数据结构，函数介绍，指针，结构体，接口，错误处理，协程，通道，通道选择器及常用函数。教程目录01-03.golang安装部署.md04.golang开发工具安装.md05.goModules介绍.md06.golang基础语法.md07.golang常用数据结构.md08.golang函数介绍.md09.golang指针结构体接口.md10.golang的错误处...阅读全文
由本人空间转过来，空间地址为http://user.qzone.qq.com/29185807/blog/1458275362 我们先从go语言的http server来入手 先看net/http包中 server结构体中，有很多参数，其中handler则为入口处理函数。handler其实是一个interface 我们再看net/http包另外一个结构体 ServerMux，其实就是一个实现了Handler的类。并且其也封装了了路由添加的一些函数，方便使用者来进行路由的定制化。 说明：go-restful源码路径为github.com/emicklei/go-restful ，并且为k8s v1.1.1稳定版本中所包含的版本 下面我们进入到go-restful。首先大致说下其框架结构。 一个...阅读全文
今天为大家介绍的是一款 go 语言爬虫框架 -- colly。 开始 首先，你可以使用一下命令安装 colly。 go get -u github.com/gocolly/colly/... 其次，构建 Collector，添加事件，然后访问： package main import ( "fmt" "github.com/gocolly/colly" ) func main() { // 初始化 colly c := colly.NewCollector( // 只采集规定的域名下的内容 colly.AllowedDomains("hackerspaces.org", "wiki.hackerspaces.org"), ) // 任何具有 href 属性的标签都会触发回调函数 // 第一个...阅读全文
Google HTML/CSS代码风格指南 修正版本 2.1 背景 本文档定义了HTML/CSS的编写格式和风格规则。它旨在提高合作和代码质量,并使其支持基础架构。适用于HTML/CSS文件，包括GSS文件。 只要代码质量是可以被维护的，就能很好的被工具混淆、压缩和合并。 样式规则 协议 嵌入式资源书写省略协议头 省略图像、媒体文件、样式表和脚本等URL协议头部声明 ( http: , https: )。如果不是这两个声明的URL则不省略。 省略协议声明，使URL成相对地址，防止内容混淆问题和导致小文件重复下载。 ...阅读全文
golang-proxy v2.0 Golang-Proxy -- 简单高效的免费代理抓取工具通过抓取网络上公开的免费代理，来维护一个属于自己的高匿代理池，用于网络爬虫、资源下载等用途。你还在用Python写的代理抓取工具吗？试试golang！提供开箱即用版本，不需要任何编程基础即可使用 What's new in V2.0? 不再依赖 MySQL 和 NSQ！ 之前需要分别启动publisher、consumer和assessor，现在 只需要启动主程序 即可！ 提供了高度灵活的 API 接口，在启动主程序后，即可通过在浏览器访问localhost:9999/all 与 localhost:9999/random 直接获取抓到的代理！甚至可以使用 localhost:9999/sql?qu...阅读全文
列表组 列表组是Bootstrap框架新增的一个组件，可以用来制作列表清单、垂直导航等效果，也可以配合其他的组件制作出更漂亮的组件。由于其在Bootstrap是一个独立的组件，所以也对应有自己独立源码： ☑ LESS版本：对应的源码文件 list-group.less ☑ Sass版本：对应的源码文件是 _list-group.scss ☑ 编译出的Bootstrap版本：对应的源码bootstrap.css文件第4820行～第4994行 列表组--基础列表组 基础列表组，看上去就是去掉了列表符号的列表项，并且配上一些特定的样式。在Bootstrap框架中的基础列表组主要包括两个部分： ☑ list-group：列表组容器，常用的是ul元...阅读全文
Argo是一个开源的容器本地工作流引擎，用于在Kubernetes上完成工作。 Argo实现为Kubernetes CRD（自定义资源定义）。 定义工作流中每个步骤都是容器的工作流。 将多步骤工作流建模为一系列任务，或使用图形（DAG）捕获任务之间的依赖关系。 使用Kubernetes上的Argo工作流程，可以在很短的时间内轻松运行计算密集型作业，以进行机器学习或数据处理。 在Kubernetes上本地运行CI / CD管道，无需配置复杂的软件开发产品。 Argo专为容器而设计，没有传统VM和基于服务器的环境的开销和限制。 Argo是云不可知的，可以在任何kubernetes集群上运行。 Argo with Kubernetes让云量级的超级计算机触手可及。 DAG或基于...阅读全文
很多人对于响应式网站定制会有很大的疑问，响应式网站定制是什么？响应式网站定制投入大吗？其实说起定制网站，简单的说就是找人或者公司按照你的意思来为你做一个网站。很多公司为了跻身进入互联网，实现“互联网+”，所以急需做一个网站，让自己能够开启互联网经营之路。他们更多面对的问题是自己缺乏技术和专业的团队为他们打开这扇互联网大门。对于公司而言，他们最关注的点莫非于：做一个响应式网站要多长时间？网站建设的费用能不能低一些？网站做出来能不能马上有成效？  对...阅读全文
panel 面板 面板（Panels）是Bootstrap框架新增的一个组件，其主要作用就是用来处理一些其他组件无法完成的功能。同样在不同的版本中具有不同的源码： ☑ Less版本：对应的源码文件是 panels.less ☑ Sass版本：对应的源码文件是 _panels.scss ☑ 编译后的Bootstrap：对应bootstrap.css文件第4995行～第5302行 面板--基础面板 基础面板非常简单，就是一个div容器运用了“panel”样式，产生一个具有边框的文本显示块。由于“panel”不控制主题颜色，所以在“panel”的基础上增加一个控制颜色的主题“panel-default”，另外在里面添加了一个“div.panel-body...阅读全文
title: Go语言使用chromedp爬虫 tags: Go，chromedp author: Clown95 背景 最近朋友让我帮忙爬取一个网站上面的数据，当时看到页面觉得很简单，虽然有25000多页，但是网站没有反爬虫机制，只要多开几个协程就行。 当我简单的爬取第一页之后，发现url没有page参数。好吧，查看翻页的源代码看看,javascript:__doPostBack('anpDataPager','2') 看到这个翻页我有点头疼，是aps写的后台，通过js调dll内部跳转的。 考虑到一般翻页无非是url和ajax。我又去控制台查看ajax,打开控制台选中XHR,结果让我有点懵逼，根本就没有ajax。 我当时就打退堂鼓了，但是又考虑到跟朋友一口一个保证，没办法硬着头皮来吧，那就...阅读全文
脚本执行优化预加载首屏加载 2015 /11/12 15:15 1条评论 移动H5前端性能优化指南 概述 1. PC优化手段在Mobile侧同样适用 2. 在Mobile侧我们提出三秒种渲染完成首屏指标 3. 基于第二点，首屏加载3秒完成或使用Loading 4. 基于联通3G网络平均338KB/s(2.71Mb/s)，所以首屏资源不应超过1014KB 5. Mobile侧因手机配置原因，除加载外渲染速度也是优化重点 6. 基于第五点，要合理处理代码减少渲染损耗 7. 基于第二、第五点，所有影响首屏加载和渲染的代码应在处理逻辑中后置 8. 加载完成后用户交互使用时也需注意性能 优化指南 [...阅读全文
学习web前端开发，除了要学习HTML、css、js等基础知识外，jQuery也是必须内容之一。那对于jQuery的学习我们具体要学哪些东西，要学到什么程度呢？且看今天小编为大家分享的jQuery常用知识点集锦。 1、jQuery 概述 我们首先从jQuery最基本的概述说起，jQuery是一个 JavaScript 库，极大地简化了 JavaScript 编程。 2、添加 jQuery 库 在前端开发中，我们如何添加jQuery库呢？其实，jQuery 库位于JavaScript 文件中，其中包含了所有的 jQuery 函数，可通过如下方式添加： ＜head＞ ＜script type="text/javascript" s...阅读全文
一、go语言爬取豆瓣电影top250 package main import ( "fmt" "io/ioutil" "net/http" "regexp" "time" "os" "strconv" ) //定义新的数据类型 type Spider struct { url string header map[string]string } //定义 Spider get的方法 func (keyword Spider) get_html_header() string { client := &http.Client{} req, err := http.NewRequest("GET", keyword.url, nil) if err != nil { } for key, valu...阅读全文
 如果要学习前端开发的话，css样式就是必学内容之一，现在做软件开发的，要想提高代码的质量和编程效率，掌握一些编程技巧是必不可少的。废话不多说，今天小编要为大家介绍的就是前端开发中，常用的12个CSS高级技巧。 1、使用 :not() 在菜单上应用/取消应用边框 先给每一个菜单项添加边框 /* add border */ .nav li { border-right: 1px solid #666; } ……然后再除去最后一个...阅读全文
在 Go 语言中，表达式 `foo.bar` 可能表示两件事。如果 *foo* 是一个包名，那么表达式就是一个所谓的`限定标识符`，用来引用包 *foo* 中的导出的标识符。由于它只用来处理导出的标识符，*bar* 必须以大写字母开头(译注：如果首字母大写，则可以被其他的包访问；如果首字母小写，则只能在本包中使用）： ```go package foo import "fmt" func Foo() { fmt.Println("foo") } func bar() { fmt.Println("bar") } package main import "github.com/mlowicki/foo" func main() { foo.Foo() } ``` 这样的程序会工作正常。但是（主...阅读全文
var maptest = make(map[int]string) maptest[1] = "a" maptest[2] = "b" maptest[3] = "c" maptest[4] = "d" for key, value := range maptest { if key == 1 { fmt.Println(key) } else if key == 2 { fmt.Println(value) } else if key == 3 { fmt.Println(value) } else { fmt.Println(value) }//只有在else结束后if才会开始下一个 if key != 2 { fmt.Println(value) } }//当key=1时下面的语句只...阅读全文
在写爬虫的时候，想要对HTML内容进行选择和查找匹配时通常是不直接写正则表达式的：因为正则表达式可读性和可维护性比较差。用Python写爬虫这方面可选择的方案非常多了，其中有一个被开发者常用的库pyquery，而Golang也有对应的goquery，可以说goquery是jQuery的Golang版本实现。借用jQueryCSS选择器的语法可以非常方面的实现内容匹配和查找。 安装goquery goquery是第三方库，需要手动安装： ❯ go get github.com/PuerkitoBio/goquery 复制代码创建文档 goquery向外暴露的结构主要是goquery.Document，一般是由2种方法创建的： doc, error := goquery.NewDocumentF...阅读全文
最近在学习golang,看网上很多人都喜欢爬豆瓣，今天我就写了一个golang版的爬虫。对于python爬虫，我很了解，什么dom树，js异步，爬虫技术栈都是没问题的。 刚接触golang爬虫，今天写了一个很简单的爬虫，就是使用2个库，一个http、goquery 直接上代码 package main import ( "net/http" "fmt" "github.com/PuerkitoBio/goquery" "strconv" ) func GetMovie(url string) { fmt.Println(url) resp, err := http.Get(url) if err != nil { panic(err) } //bodyString, err := iouti...阅读全文
公元2015 第28个秋天 九月的午后，微风吹动窗纱，从24楼看去远处的白云一朵朵的棉花糖浮在空中，两个街角外教堂上的钟敲响了第十三下。 X坐在桌前，双层的书桌上摆满了各种漫画，电脑旁边的《新世纪福音战士》是他最近从旧物箱里重新翻出来的，望了一眼窗外，闭上眼睛深深地吸了一口气。 他又要换房子了，每到这个季节总是要重新换个地方，换一个身份，周围都是陌生人才会让他有安全感，这样就没有人会发现他的秘密。 打开ZR租房的网站，房源的搜索列表页面映入眼前，适合自己的房子总是自己租不起的。但是X还是要从里面挑选最优的。 Spider是个很不错的选择，Goquery也是个很好的选择 军刀工具 Goquery 采用dom的选择器语法，如果使用Chrome非常容易提取元素的选择器。 chrome 右键->检查...阅读全文
GraphQuery 是一门易于使用的查询语言，它内置了 Xpath/CSS/Regex/JSONpath 选择器和文本处理功能。 你可以使用简洁的 GraphQuery 语法来获取所需的任何数据结构。 使用 GraphQuery 可以统一任何后端语言的文本解析逻辑。 你不需要在不同语言之间找到 Xpath/CSS/Regex/JSONpath 选择器的实现，并熟悉它们的语法或探索它们的兼容性。 可以使用 GraphQuery 解析任何文本并使用自己熟练的选择器。GraphQuery 目前支持以下选择器： 用于解析 JSON 字符串的 Jsonpath 用于解析 XML/HTML 的 Xpath 和 CSS 用于解析任何文本的正则表达式 可以在 GraphQuery 中以任意...阅读全文
课程介绍 jQuery是一个快速、简洁的JavaScript框架，是继Prototype之后又一个优秀的JavaScript代码库（或JavaScript框架）。jQuery设计的宗旨是“write Less，Do More”，即倡导写更少的代码，做更多的事情。 它封装JavaScript常用的功能代码，提供一种简便的JavaScript设计模式，优化HTML文档操作、事件处理、动画设计和Ajax交互。 课程目标 • 掌握jQuery开发技术 适合人群 • 前端开发者 课时列表 • 课时1：jQuery_基础 • 课时2：jQuery_基础选择器 • 课时3：jQuery_属性选择器 • 课时4：jQuery_基础过滤...阅读全文
主要变更（相对于v1.1.1） ## 一、显著增加集群规模 支撑的集群规模增加400%，目前单个集群不损耗性能下，可支持1000个节点，运行30000个Pods。在单个节点上，Kubelet可支持100个Pod，并且性能是v1.1.1的四倍。 **1. 简化应用部署和管理** a. a) Dynimic Configuration功能（动态配置，通过核心API中的ConfigMap API实现）。它使得应用配置可以作为[Kubernetes][1] API对象存储起来，在容器启动时从APIServer动态获取，可以替代通过命令行传入参数的方式。 b. TurnKey Deployments（通过Extensions API中的Deploy API实现，目前仍是B...阅读全文
之前，我们介绍了[kubernetes][2] 1.2.0的新特性，还不清楚的童鞋查看[这里][1]。 本文讨论的是使用 kubernetes 1.2.0 的注意事项，包括对周边组件的要求（比如docker的兼容性）、目前已知的bug（kubernetes和docker 1.9）和如何平稳升级。 ## Part I 升级注意事项 1.使用kubernetes 1.2.0 推荐使用Docker v1.9.1，但仍然支持v1.8.3和v1.10。如果你使用的Docker版本太低，请先升级Docker。但Docker v1.9.1存在一些问题，下面我们详细讨论。 2.如果内核支持CPU hardcapping，并且容器设置了CPU limit，那么CPU hardcappi...阅读全文
Selection类型提供的方法，这些方法是页面解析最重要，最核心的方法1）类似函数的位置操作-Eq(index int) *Selection //根据索引获取某个节点集 - First() *Selection //获取第一个子节点集 - Last() *Selection //获取最后一个子节点集 - Next() *Selection //获取下一个兄弟节点集 - NextAll() *Selection //获取后面所有兄弟节点集 - Prev() *Selection //前一个兄弟节点集 - Get(index int) *html.Node //根据索引获取一个节点 - Index() int //返回选择对象中第一个元素的位置- Slice(start, end int) ...阅读全文
刚好七八双月结束，工作整理完毕，下个双月OKR还没开始。做久了IOS开发也来扩展下领域，抽空几天学了下Golang，实现一个爬虫。 一、知识要点 1、爬虫 1.1 工作方式 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结...阅读全文
这篇文章主要是微服务服务端的实践。 开始开发前需要先配置好Go的开发环境，可以看我写的基于Golang的微服务——上手篇 在 GOPATH目录下的src目录下创建我们的实战项目目录 tech,切换到这个目录 go get github.com/micro/go-micro //用于开发的微服务的RPC框架,是micro架构的基础 go get github.com/micro/protoc-gen-micro // 用于生成Protobuf的代码 go get github.com/micro/micro // 工具集安装，会自动将 micro加入环境变量 复制代码Go Micro Go Micro提供分布式系统开发的核心库，包含RPC与事件驱动的通信机制。micro的设计哲学是可插拔的架构...阅读全文
【EBNF定义】Selector = "." identifier 【EBNF解释】就是说一个'.'加上一个标识符就是一个 Selector 。 【翻译】个人觉得不能翻译成选择器，应该翻译成一次选择，因为这是一个选择的过程，见后文。 【含义】 x.f 这个选择表达式中， f 就称之为 Selector ，就是一次选择，这次选择可能选择了类型为T的一个结构体中的一个 field ，也有可能选择了这个类型相关联的 method 。更重要的是，还有可能是选择了包含在类型 T 中的匿名 field中的field或者method。 【规则】对于x.f这个选择表达式: 1.假设 x 的类型为 T 或者 *T（ T 的 underlying typ...阅读全文
Goquery安装使用 http://blog.studygolang.com/2015/04/go-jquery-goquery/ Goquery需要手动安装，可以直接去github上下载，也可以通过go get github.com/PuerkitoBio/goquery获取 Goquery的爬虫功能依赖 net/html 包，好像是被墙了，需要去 https://github.com/golang/net 下载zip包，You can also manually git clone the repository to $GOPATH/src/golang.org/x/net.记得要把 net-master 改成net 如果出现 dial tcp no such host，记得先ping...阅读全文
```go ch := make(chan int, 1) for i := 0; i < 10; i++ { select { case x := <-ch: fmt.Println(x) // "0" "2" "4" "6" "8" case ch <- i: } } ``` buffer为1，这里的case是怎么选择的，i=0是第一个还是第二个case...阅读全文
在 Go 语言官方文档中，你可以找到很多关于指针和内存分配的重要信息。以下是该文档的链接：[Go 语言官方文档之指针](http://golang.org/doc/faq#Pointers) 首先我们需要理解的是，所有在 Go 语言中的值都有其不同变量来表示。不同类型表示的变量决定了我们如何使用它来操纵内存。这篇文章阐述了更多关于 Go 语言中的变量类型：[理解 Go 中的类型](https://studygolang.com/articles/13976) 在 Go 中，我们可以创建一个变量作为 “值” 本身，也可以创建一个变量作为某个 “值” 的地址。当变量的 “值” 是地址时，我们就称该变量为指针。 在下图中，有一个名为 myVariable 的变量。myVariable 的“值”是指...阅读全文
课程介绍:Python-GUI编程-PyQt5编写出你开心就好的界面!实属Python各种工具开发必备!课程目录:├─001第一章:Python-GUI编程-简介│ 001-Python-GUI编程-简介│ 002-Python-GUI编程-GUI库的简介│ 003-Python-GUI编程-PyQt的简介│ 004-Python-GUI编程-PyQt的优势│ ├─002第二章:Python-GUI编程-PyQt的环境安装│ 005-Python-GUI编程-PyQt的环境安装(win)│ ├─003第三章:Python-GUI编程-GUI编程应该学什么？│ 006-Python-GUI编程-GUI编程应该学什么？│ ├─004第四章:Python-GUI编程-了解PyQt5库结构│ 007...阅读全文
golang-proxy v2.0 Golang-Proxy -- 简单高效的免费代理抓取工具通过抓取网络上公开的免费代理，来维护一个属于自己的高匿代理池，用于网络爬虫、资源下载等用途。 golang-proxy Version 2.0 不再依赖 MySQL 和 NSQ！ 之前需要分别启动publisher、consumer和assessor，现在 只需要启动主程序 即可！ 提供了高度灵活的 API 接口，在启动主程序后，即可通过在浏览器访问localhost:9999/all 与 localhost:9999/random 直接获取抓到的代理！甚至可以使用 localhost:9999/sql?query=来执行 SQL 语句来自定义代理筛选规则！ 提供 Windows、Linux、Mac...阅读全文
开发人员是用逻辑思考的生物。添加一个DIV元素导致所有代码都不得不往下移一行，而另一个DIV”浮”到左侧，感觉没有任何意义。 你也一定听到过开发人员的抱怨： “我们只需要向左边移动五个像素，但是…天哪！为什么整个都向下移动了一行。到底是哪里错了？！？！？！”所以，我们今天就来聊一聊CSS中的十大错误的做法。 根据我作为web前端开发人员使用CSS的经验，下面是我的十个”不要”。 1.不要滥用类 在有意义的地方使用ID而不要使用类。这是一个使得浏览器能够更快访问DOM元素的方法。 2.不要把一切都扔进一个CSS文件中 分区CSS使其更易于管理。每一个CSS文件都可以分解成例如header.css、footer.css...阅读全文
Web前端开发是由网页制作演变而来的，主要由HTML、CSS、JavaScript三大要素组成。专业的Web前端开发入门知识也一定会包含这些内容，今天好程序员就给大家简单介绍一下。HTML，超文本标记语言，标准通用标记语言下的一个应用。包括“头”部分(英语：Head)、和“主体”部分(英语：Body)，其中“头”部提供关于网页的信息，“主体”部分提供网页的具体内容。CSS，层叠样式表，是一种用来表现HTML(标准通用标记语言的一个应用)或XML(标准通用标记语言的一个子集)等文件样式的计算机语言。JavaScript，一种直译式脚本语言，是一种动态类型、弱类型、基于原型的语言，内置支持类型。被广泛用于Web应用开发,常用来为网页添加各式各样的动态功能,为用户提供更流畅美观的浏览效果。通常Ja...阅读全文
课程介绍 层叠样式表(英文全称：Cascading Style Sheets)是一种用来表现HTML（标准通用标记语言的一个应用）或XML（标准通用标记语言的一个子集）等文件样式的计算机语言。CSS不仅可以静态地修饰网页，还可以配合各种脚本语言动态地对网页各元素进行格式化。 CSS 能够对网页中元素位置的排版进行像素级精确控制，支持几乎所有的字体字号样式，拥有对网页对象和模型样式编辑的能力。 课程目标 • 掌握CSS开发技术 适合人群 • 前端开发者 课时列表 • 课时1：CSS基础 • 课时2：CSS选择器（上） • 课时3：CSS选择器（下） • 课时4：CSS属性_背景、颜色、边框 • 课时5：CSS属性_字体...阅读全文
