各位大佬,这里有个问题想咨询,我现在是想写一个能够获取搜索引擎搜出来的子域名信息,需要翻页(https://cn.bing.com/search?q=domain%3aqq.com&go=%E6%8F%90%E4%BA%A4&qs=ds&first=0&FORM=PERE ),但不知道是不是搜索引擎反爬虫的原因,程序执行到后面,执行的结果是一样的。
不知道是为什么,有知道的大佬麻烦告知一下,非常感谢。
![微信截图_20181205175032.png](https://static.studygolang.com/181205/0b6ff2c5ff4ca311ae502ebbda5147e4.png)
代码:
![1.png](https://static.studygolang.com/181205/ac9c07dcae220dee227976fb005b4c20.png)
![2.png](https://static.studygolang.com/181205/1569a3afd092ac014f2bf6793580f047.png)
![3.png](https://static.studygolang.com/181205/16ea0aeb534eea15ebcf8ea8c87213ec.png)![5.png](https://static.studygolang.com/181205/6f637821b89c30c4cdd845575e3955b6.png)![5.png]
for i := 2; i < 100; i++ {
page := strconv.Itoa(((i-2)*10 + 8))
spiderurl = baseurl1 + subdomain + baseurl2 + page + baseurl3
这里是使用翻页,但是执行结果不对呀,到后面几页,它的结果和前面都是一样的,我不知道是不是因为搜索引擎反爬虫的原因,还是什么原因。
#2
更多评论