##简介## 本项目基于golang开发，是一个开放的垂直领域的爬虫引擎，主要希望能将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块（主控），Downloader模块（下载器），PageProcesser模块（页面分析），Scheduler模块（任务队列），Pipeline模块（结果输出）； ##执行过程简述：## 1. Spider从Scheduler中获取包含待抓取url的Request对象，启动一个协程，一个协程执行一次爬取过程，此处我们把协程也看成Spider，Spider把Request对象传入Downloader，Downloader下载该Request对象中url所对应的页面...阅读全文
GXUI - A Go cross platform UI library. ======= Disclaimer --- All code in this package **is experimental and will have frequent breaking changes**. Please feel free to play, but please don't be upset when the API has significant reworkings. The code is currently undocumented, and is certainly **not idiomatic Go**. It will be heavily refac...阅读全文
# pholcus [](https://godoc.org/github.com/henrylee2cn/pholcus) [](https://github.com/henrylee2cn/pholcus/releases) Pholcus（幽灵蛛）是一款纯Go语言编写的高并发、分布式、重量级爬虫软件，支持单机、服务端、客户端三种运行模式，拥有Web、GUI、命令行三种操作界面；规则简单灵活、批...阅读全文
本系列整理了10个工作量和难度适中的Golang小项目，适合已经掌握Go语法的工程师进一步熟练语法和常用库的用法。golang练手小项目系列(1)-位向量golang练手小项目系列(2)-并发爬虫golang练手小项目系列(3)-并发读取文件夹信息golang练手小项目系列(4)-网络聊天室golang练手小项目系列(5)-并发无阻塞缓...阅读全文
上次用Scala写了个爬虫。最近在闲工夫之时，学习Go语言，便用Go移植了那个用Scala写的爬虫，代码如下： package main import ( "fmt" "io/ioutil" "net/http" "regexp" ) var ( ptnIndexItem = regexp.MustCompile(`< atarget="_blank" href="(.+\.html)" title=".+" >(.+)`) ptnContentRough = regexp.MustCompile(`(?s).*
仓库地址：https://github.com/zhangwei412827/ImageSpider 欢迎sta...阅读全文
Go terminal dashboard. Inspired by [blessed-contrib](https://github.com/yaronn/blessed-contrib), but purely in Go.
Cross-platform, easy to compile, and fully-customizable.
__Demo:__ (cast under osx 10.10; Terminal.app; Menlo Regular 12pt.)
...阅读全文
现行环境下大数据与人工智能的重要依托还是庞大的数据和分析采集，就如淘宝、京东、百度、腾讯级别的企业能够通过数据可观的用户群体获取需要的数据。而一般企业可能就没有这种通过产品获取数据的能力和条件。因此，利用爬虫，我们可以解决部分数据问题，那么，如何学习Python数据爬虫能？ **1. 学习Python基础知识并实现基本的爬虫过程** 一般获取数据的过程都是按照 发送请求-获得页面反馈-解析并且存储数据 这三个流程来实现的。这个过程其实就是模拟了一个人工浏览网页的过程。 Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，我们可以按照requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。 ...阅读全文
现行环境下，大数据与人工智能的重要依托还是庞大的数据和分析采集，类似于淘宝 京东 百度 腾讯级别的企业 能够通过数据可观的用户群体获取需要的数据，而一般企业可能就没有这种通过产品获取数据的能力和条件，想从事这方面的工作，需掌握以下知识： 1. 学习Python基础知识并实现基本的爬虫过程 一般获取数据的过程都是按照 发送请求-获得页面反馈-解析并且存储数据 这三个流程来实现的。这个过程其实就是模拟了一个人工浏览网页的过程。 Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，我们可以按照requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。 2.了解非结构化数据的存储 爬虫抓取的数据结构复杂 传统的结构化数据...阅读全文
### 由来 一直用[scrapy](https://github.com/scrapy/scrapy)抓数据，scrapy的分布式部署,需要⼈人⼯工分配抓取链接。 所以参考scrapy的爬⾍虫架构和[elasticsearch](https://github.com/elastic/elasticsearch)的分布式架构。 编写了分布式的爬⾍虫[ants](https://github.com/wcong/ants-go), 目前是alpha,欢迎大家来试用 ### 功能 * 分布式:master分配request给各个node,node将抓取的结果,产⽣生的新request返回给master node * web api:提供json格式的web api,开...阅读全文
诚邀筒子们的加入啊。公司在杭州，不加班双休，待遇不错。 分两个方向，GO高级工程师主要是用go来做一些linux上的网络应用软件，docker,爬虫等。 也需要GO工程师来做一些前端的简单网站。 具体要求可以访问： http://www.hz-gn.com/jobs-2/#toggle-id-...阅读全文
Golang 网络爬虫框架gocolly/colly 四 爬虫靠演技，表演得越像浏览器，抓取数据越容易，这是我多年爬虫经验的感悟。回顾下个人的爬虫经历，共分三个阶段：第一阶段，09年左右开始接触爬虫，那时由于项目需要，要访问各大国际社交网站，Facebook，myspace，filcker，youtube等等，国际上叫得上名字的社交网站都爬过，大部分网站提供restful api，有些功能没有api，就只能用http抓包工具分析协议，自己爬；国内的优酷、土豆、校内网、web版qq、网页邮箱等等也都爬过；那时候先用C#写demo，项目是C++的，所以还要转换成托管C++的代码。第一阶段的主要心得是cookie管理，比较难搞的cookie就借助于webbrowser控件。 第二阶段是13年左右，...阅读全文
平时除了写代码，唯一的娱乐就是看看小说，放松一下大脑了。但在这个网站广告铺天盖地的环境下，想单纯的看会小说也成了一个问题了。最近在学习golang,于是就想写一个小爬虫，把小说爬下来看而不用看到讨厌的广告了。网上大多数教程都是用第三方库，很多都是用github.com/PuerkitoBio/goquery这个库，但因为从来没写过web，对jquery的语法完全是空白，而go语言圣经上的示例用到x/net/html这个google自己维护的库来爬网站的链接，于是研究了一下这个库，写了一个小爬虫，事实证明这个库写爬虫完全没问题，只不过比goquery麻烦一点，毕竟goquery是在这个库的基础上封装的，这个库更底层一点。特写下这往篇日记，记心太烂，怕过一段时间又忘了。经过这几天恶补了一下htm...阅读全文
/*下载工具*/ package main import ( "fmt" //go语言版本的jquery "github.com/PuerkitoBio/goquery" "os" "sync" "strings" //go语言版本的request "github.com/levigross/grequests" "time" "strconv" ) var wg sync.WaitGroup func main() { now := time.Now() initalUrls := []string{"http://www.zngirls.com/girl/18071/album/", } for _, url := range initalUrls { doc, err := goque...阅读全文
 万维网网络机器人,又称蜘蛛,爬虫,原理主要是通过构造符合HTTP协议的网络数据包,向指定主机请求资源,获取返回的数据.万维网有大量的公开信息,人力采集数据费时费力,故激发了爬虫的产业化. 批量获取公开网络数据并不违反,但由于无差别性,无节制,十分暴力的手段会导致对方服务的不稳定,因此,大部分资源提供商对数据包进行了某些过滤,在此背景下,小批量数据获取成为了难题. 综合各种需求，如各种API对接,自动化测试等原理均一样，故开发了此爬虫库. 土拨鼠爬虫库是一个人类友好姿势的代码库,开发采用面向对象的方式,易于理解.通过对Golang...阅读全文
前言最近We川大上的教务处公告新闻已经很久没有更新了，想到可能是ip被封了，查了一下log，发现并不是，而是获取到的页面全变成了混淆过的js，下面放两个格式化的函数 1234567891011121314151617181920212223242526272829function _$Es(_$Cu) { _$Cu[14] = _$v9(); _$Cu[_$yf(_$ox(), 16)] = _$Dn(); var _$cR = _$CR(); _$cR = _$iT(); return _$DA();}function _$Dk(_$Cu) { var _$x5 = _$Dv(); var _$x5 = _$EB(); if (_$Ex()) { _$w9 = _$Dw(); } _$Cu...阅读全文
近期计划开发一个小说阅读APP，本意是学习golang开发，以及爬虫设计。 一般规范些的站点，会采用utf-8编码开发运行在浏览器上。然而，在我抓取的某些网站，却是采用的GBK编码，因此，在解析dom后，获取中文内容的时候，总是会出现一些编码问题，导致我并不能确认，解析到的内容，是不是就是我想要的，我期望的。 为了解决这个问题，我面向百度，面向goole编程，最终找到了一个可靠的解决办法，即goole的text库(golang.org/x/text)，并把对应的方法做了简单的封装。 // transform GBK bytes to UTF-8 bytes func GbkToUtf8(str []byte) (b []byte, err error) { r := transform.Ne...阅读全文
yispider是一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫 项目地址: https://github.com/2young2simple/yispider ## 架构 目前框架分为2个部分: #### 1.爬虫部分（spider节点）: 内部结构参考python scrapy框架，主要由 schedule,page process,pipline 4个部分组成，单个爬虫单独调度器，单独上下文管理,目前内置2中pipline的方式，控制台和文件,节点信息注册在etcd上用于manage节点发现。 * `core`:负责爬虫生命周期、上下文的管理，负责爬虫的运行。 ...阅读全文
/* Author : tuxpy Email : q8886888@qq.com.com Create time : 2017-11-04 23:13:08 Filename : main.go Description : */ package main import ( "database/sql" "errors" "fmt" "reflect" "time" "utils" _ "github.com/mattn/go-sqlite3" ) func ToStruct(rows *sql.Rows, to interface{}) error { v := reflect.ValueOf(to) if v.Elem().Type().Kind() != reflect.Struct ...阅读全文
本项目基于golang开发，是一个开放的垂直领域的爬虫引擎，主要希望能将各个功能模块区分开，方便使用者重新实现子模块，进而构建自己垂直方方向的爬虫。 本项目将爬虫的各个功能流程区分成Spider模块（主控），Downloader模块（下载器），PageProcesser模块（页面分析），Scheduler模块（任务队列），Pipeline模块（结果输出）； ![enter image description here][1] [1]: https://github.com/hu17889/doc/raw/master/go_spider/img/project.pn...阅读全文
Colly: Simple and Powerful Scraping Framework for Golang  http://go-colly.org...阅读全文
前言前方高能预警！抖音小姐姐视频集来了！ 总感觉抖音小姐姐连一个手势都能擦出不一样的火花，她们有一千种模样，我就有一万种喜欢，没有看够怎么办？！如果你感觉学不会？莫慌，小编推荐大家加入群，前面960中间410后面445，群里有志同道合的小伙伴，互帮互助，还可以拿到许多视频教程！双十二福利来了！这次Python爬虫实战篇，爬的就是当下大火的抖音小姐姐视频。问我pick哪位小姐姐，当然是唱歌老跑调，跳舞数拍子的杨超越了。本文主要讲解：抖音视频爬虫视频下载抖音视频爬虫抖音使用的智能推荐机制。我们这里依旧是通过fiddler抓包（Fiddler是一款常见的抓包分析工具，对数据进行截获、重发、编辑、转存的过程叫做抓包）。现在的抖音有加密算法，之前网上的大部分代码都不能用了，我们先看看有哪些加密字段。h...阅读全文
Antch, 是快速的，强大的，可扩展的爬虫框架，类似于[Scrapy](https://github.com/scrapy/scrapy)。
* 支持robots.txt
* 支持自定义模块
* 支持Item管道处理
* 支持多种代理协议(socks5,http,https)
* 支持XPath查询HTML/XML数据
* 做为框架，易于上手
阅读全文
yispider 是一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫 码云地址：https://gitee.com/bilibala/YiSpider github地址：https://github.com/2young2simple/yispider ## 架构 目前框架分为2个部分: #### 1.爬虫部分（spider节点）: 内部结构参考python scrapy框架，主要由 schedule,page process,pipline 4个部分组成，单个爬虫单独调度器，单独上下文管理,目前内置2中pipline的方式，控制台和文件,节点信息注册在etcd上用于...阅读全文
本次篇文章内容较多，涉及知识较广，读完需要大约 20 分钟，请读者耐心阅读。 前言 大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复杂，不同类型的抓取场景会运用到不同的技术。例如，简单的静态页面可以用 HTTP 请求＋HTML 解析器直接搞定；一个动态页面需要用 Puppeteer 或 Selenium等自动化测试工具；有反爬的网站需要用到代理、打码等技术；等等。因此，对爬虫有规模量级要求的企业或个人需要同时处理不同类别的爬虫，这会凭空增添很多附加的管理成本。同时，爬虫管理者还需要应对网站内容变更、持续增量抓取、任务失败等问题。因此一个成熟...阅读全文
课程简介：爬虫分为几大方向，WEB网页数据抓取、APP数据抓取、软件系统数据抓取。本课程主要为同学讲解如何用python实现App数据抓取，课程从开发环境搭建，App爬虫必备利器详解，项目实战，到最后的多App端数据抓取项目集成，让你掌握App数据抓取的技能，向更优秀的python爬虫工程师迈进！适合人群想学习数据抓取的你，正在向Python爬虫工程师迈进的你，这门课程绝对适合你技术储备要求Python语法基础（函数封装，包调用、TCP三次握手流程、Requests模块使用，Python多线程，Python多进程）点击进入资源下载...阅读全文
世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。 **什么是爬虫？** 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 **爬虫可以做什么？** 你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。 **爬虫的本质是什么？** 模拟浏览器打开网页，获取网页中我们想要的那部分数据 **浏览器打开网页的过程...阅读全文
# golang制作爬虫组件 # 一、背景 自己之前是一个iOS的小工，后来又去后台搬砖。 一直准备做一个iOS优质文章的聚合，每天定向爬取大V们的博客。所以就萌生了尝试打造一个通用爬虫框架的想法。加上近期开始golang的学习，所以选择使用go来写。 各章内容总结的比较粗糙，有什么问题，欢迎交流，欢迎各位大佬来喷。 传送门：[julyT](https://github.com/ldaysjun/JulyT) ## 1.1 初识 我给它起名叫JulyT，目前0.1版本支持Xpath数据解析，批量任务并发。简单的规则编写。就可以完成定向数据的提取. 例如：实现抓取列表，再抓取列表页详情数据，接着翻页继续 ```go func rule(node *Xpath.Node,spid...阅读全文
Grabant是一个用go语言开发，用javascript语法书写规则的爬虫框架 规则开发和神箭手的爬虫规则类似，开发的目的是兼容大部分神箭手已有的规则 一些相关解释及说明如下： **扫描页**是直接配置的一级页面，这个页面扫描的结果是抓取列表页; **列表页**是扫描后的二级页面，这个页面是为了抓取内容页; **内容页**才是真正匹配我们需要内容的规则的页面，内容页会匹配我们需要的内容并输出; 每次扫描页面，会抽取页面的链接放入队列进行规则匹配，列表页规则如果为空则列表页抽取链接全放入列表队列，同理内容页，从内容页中抽取的数据是以xpath或者正则匹配的规则 举个栗子： 如下是一个简易的爬豆瓣电影评分的规则 configs是一个json配置对应的字段意义如下： domain...阅读全文
https://jorin.me/use-go-channels-to-build-a-crawle...阅读全文
NovelSpiderFor-YanBeiTang 这里是项目传送门 这是一个专门用于爬取图书网站雁北堂（http://www.ebtang.com）的小爬虫，可以将网站上的书籍以txt格式保存到本地 作为一个推理迷，一直想看一下被称为国内新本格推理巅峰的作品《岛田流杀人事件》，苦于资源稀少，找了好久都找不到，最终找到雁北堂，不过必须在web或者app上看，所以动动手，写一个爬虫，爬下来自己转格式，想去哪儿看就去哪儿看。 使用说明： 1.下载并开启main.exe 1.png 2.进入雁北堂获取小说id并输入 2.png 3.输入Id自动运行爬虫 3.png 4.爬虫运行完毕，生成txt 4.png 5.pn...阅读全文
解析新浪手机新闻网页，获取5条新的新闻的url存入到数据库 package linksql import ( "database/sql" "log" _"github.com/go-sql-driver/mysql" ) func Open_url_table() *sql.DB{ db,err:=sql.Open("mysql","root:root@/mysql") Checkerror(err) return db } func Insertlink(id int,src string,url string){ db:=Open_url_table() stmt,err1:=db.Prepare("insert into url_table(id,src,url) values(?,...阅读全文
本文首发于 https://imagician.net/archives/93/ 。欢迎到我的博客 https://imagician.net/ 了解更多。 前排提示：本文是一个入门级教程，讲述基本的爬虫与服务器关系。诸如无头浏览器、js挖取等技术暂不讨论。 面对大大小小的爬虫应用，反爬是一个经久不衰的问题。网站会进行一些限制措施，以阻止简单的程序无脑的获取大量页面，这会对网站造成极大的请求压力。 要注意的是，本文在这里说的是，爬取公开的信息。比如，文章的标题，作者，发布时间。既不是隐私，也不是付费的数字产品。网站有时会对有价值的数字产品进行保护，使用更复杂的方式也避免被爬虫“窃取”。这类信息不仅难以爬取，而且不应该被爬取。 网站对公开内容设置反爬是因为网站把访问者当做“人类”，人类会很友善...阅读全文
最近发现知乎上感兴趣的问题越来越少，于是准备聚合下其他平台技术问答，比如 segmentfault、stackoverflow 等。 要完成这个工作，肯定是离不开爬虫的。我就顺便抽时间研究了 Go 的一款爬虫框架 colly。 概要介绍 colly 是 Go 实现的比较有名的一款爬虫框架，而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速，设计非常优雅，并且分布式的支持也非常简单，易于扩展。 如何学习 爬虫最有名的框架应该就是 Python 的 scrapy，很多人最早接触的爬虫框架就是它，我也不例外。它的文档非常齐全，扩展组件也很丰富。当我们要设计一款爬虫框架时，常会参考它的设计。之前看到一些文章介绍 Go 中也有类似 scrapy 的实现。 相比而言，...阅读全文
Python爬虫和Web开发均是与网页相关的知识技能，无论是自己搭建的网站还是爬虫爬去别人的网站，都离不开相应的Python库，以下是常用的Python爬虫与Web开发库。 **1.爬虫库** beautifulsoup4、urllib2、lxml和requests是学习Python爬虫必备的库，必须要掌握，当然有的同学说爬网页不是也可以用正则表达式吗，确实可以但是会很不方便,因为bs4和lxml都有便捷的接口,一般我们都是和正则结合使用，如果对速度有要求的话，建议用lmxp,它比bs4 速度要快很多。 **2.Scrapy** 爬虫的世界里面有没有懒人专用的框架，当然有啦,scrapy就是其中比较有名的，可以快速,高层次的web抓取网页，并从web站点的页面中提取结...阅读全文
每个程序都不可避免地要进行异常处理，爬虫也不例外，假如不进行异常处理，可能导致爬虫程序直接崩掉。以下是网络爬虫出现的异常种类。 **URLError** 通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况下产生。 **HTTPError** 首先我们要明白服务器上每一个HTTP 应答对象response都包含一个数字“状态码”，该状态码表示HTTP协议所返回的响应的状态，这就是HTTPError。比如当产生“404 Not Found”的时候，便表示“没有找到对应页面”，可能是输错了URL地址，也可能IP被该网站屏蔽了，这时便要使用代理IP进行爬取数据。 **两者关系** 两者是父类与子类的关系，即HTTPError是U...阅读全文
"github.com/PuerkitoBio/goquery" func GetJokes() { doc,err:=goquery.NewDocument("http://www.qiushibaike.com") if err!=nil{ log.Fatal(err) } doc.Find(".content").Each(func(i int,s *goquery.Selection){ fmt.Println(s.Text()) }) } func main(){ fmt.Println("hello world") GetJokes() } can't load package: C:\Go\src\testapp\ma...阅读全文
本系列整理了10个工作量和难度适中的Golang小项目，适合已经掌握Go语法的工程师进一步熟练语法和常用库的用法。问题描述：实现一个网络爬虫，以输入的URL为起点，使用广度优先顺序访问页面。要点：实现对多个页面的并发访问，同时访问的页面数由参数 -concurrency 指定，默认为 20。使用 -depth 指定访问的页面深度，默认为 3。注意已经访问过的页面不要重复访问。扩展：将访问到的页面写入到本地以创建目标网站的本地镜像，注意，只有指定域名下的页面需要采集，写入本地的页面里的元素的href的值需要被修改为指向镜像页面，而不是原始页面。实现import ( "bytes" "flag" "fmt" "golang.org/x/net/html" "io" "log" "net/h...阅读全文
前言 好久不见，Python基础系列完结也有段时间了，希望帮到了大家。 从今天开始我将开始更新一个新的系列：Python爬虫学习笔记。 如你所见，本系列并不是复杂完备的教程，主要还是和大家一起分享我在学习Python爬虫的一些想法以及知识总结。 如果你已经看完了我之前的Python基础系列文章，对Python的基本语法有了一定的概念，那么可能我接下来要开始写的东西可能会对你熟练运用Python有所帮助。 Python爬虫基础知识 1. 爬虫的基本概念 爬虫是一类用于信息搜集的程序，主要用于在一个或多个网页中爬取数据并进行保存、分类、分析等操作，目前最大的爬虫应该是各类搜索引擎，搜索引擎的实现原理简单来说就是他们部署了很多24小时不停扫描公网网站信息的大型爬虫程序，这些程序将爬取到的数据分类整...阅读全文
# Go Movies > 一个基于golang的爬虫电影站，效果站： [https://go-movies.hezhizheng.com/](https://go-movies.hezhizheng.com/) > Github： [https://github.com/hezhizheng/go-movies](https://github.com/hezhizheng/go-movies)  ## 使用安装 ``` # 下载 git clone https://github.com/hezhizheng/go-movies ...阅读全文
之前换了份工作,不再是单纯的Web开发了,要学习的东西真的挺多的。入职的第1天,就让我入手写个爬虫,只是这个爬虫没有采集几个亿数据量的业务场景。于是,整理了下需求,简单的设计了下方案就草草开始了。小B是我大学时候的舍友,那天这哥们约我吃饭,想看下能否顺带介绍几个妹子。酒过三巡,不胜酒力,于是便聊起了最近的工作。当他知晓我竟然在写爬虫,便起了怜悯之心,觉得我怀才不遇。仿佛写爬虫是件很低级很low的技术活。在他那家公司,招进来的实习生就多多少少会点爬虫,什么nodejs、golang,哪个不是爬虫的好手。没想到我毕业多年,竟然沦落到做实习生的工作,可悲可泣。接着建议我转到Java阵营,如果到他公司去,多多少少也能混个组长的职位。搞得自己只能一番苦笑。不知道从何时起,程序员的世界流行起了鄙视链这玩...阅读全文
package main import( "fmt" "io/ioutil" "net/http" ) func gethtml(url string) (r *http.Response, e error){ resp,err := http.Get(url) if err != nil { fmt.Print("error") } return resp,err } func main(){ resp, _ :=gethtml("http://www.baidu.com") defer resp.Body.Close() fmt.Println(resp.StatusCode) if resp.StatusCode==http.StatusOK{ body,err :=ioutil.Re...阅读全文
packagemainimport("net/url""net/http""bytes""fmt""io/ioutil""math/rand""time""strconv")constProxyServer="t.16yun.cn:31111"typeProxyAuthstruct{UsernamestringPasswordstring}func(pProxyAuth)ProxyClient()http.Client{ifp.Username!=nilandp.Password!=nil{proxyURL,_:=url.Parse("http://"+p.Username+":"+p.Password+"@"+ProxyServer)}else{proxyURL,_:=url.Parse(...阅读全文
