请问下，scrapy 如果要爬取整个站的内容，是要把所有页面的URL都获取到队列后才开始提取内容吗
有疑问加站长微信联系（非本文作者）
请问下，scrapy 如果要爬取整个站的内容，是要把所有页面的URL都获取到队列后才开始提取内容吗
laical · 2020-04-29 17:58:33 · 966 次点击 · 大约8小时之前 开始浏览 置顶这是一个创建于 2020-04-29 17:58:33 的主题，其中的信息可能已经有所发展或是发生改变。
入群交流（和以上内容无关）：加入Go大咖交流群，或添加微信：liuxiaoyan-s 备注：入群；或加QQ群：692541889
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户；支持表情（输入 : 提示），见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传
今日阅读排行
【09】Go 标准库 flag 模块应用 - 1170 阅读
手把手教你用Go语言实现缓存系统 - 1144 阅读
[go 面试] 接口测试的方法与技巧 - 1143 阅读- 4手把手用 Go 带你写一个小工具 - 1142 阅读
- 5[go 面试] 雪花算法与分布式ID生成 - 1142 阅读
- 62024新考纲-系统架构设计师（软考高级） 一站式通关课程 - 1141 阅读
- 7Playwright+Python自动化测试课程 - 1141 阅读
- 8OpenGL渲染引擎-设计与实践教程 - 1141 阅读
- 9[完结40周]物联网/嵌入式全能工程师（提薪优选) - 1141 阅读
- 10多智能体开发框架之LangGraph全面剖析实战教程 - 1140 阅读
一周阅读排行
- 你知道 MySQL 中的 order by 是怎么工作的吗？ - 8301 阅读
- 手把手教你用Go语言实现缓存系统 - 8269 阅读
- [go 面试] 接口测试的方法与技巧 - 8251 阅读
- 4手把手用 Go 带你写一个小工具 - 8246 阅读
- 5初识分布式键值对存储etcd - 8245 阅读
- 6[go 面试] 雪花算法与分布式ID生成 - 8236 阅读
- 7选择适合微服务的编程语言 - 8228 阅读
- 8Playwright+Python自动化测试课程 - 8221 阅读
- 9OpenGL渲染引擎-设计与实践教程 - 8218 阅读
- 10[完结40周]物联网/嵌入式全能工程师（提薪优选) - 8216 阅读
关注我
-
扫码关注领全套学习资料
-
加入 QQ 群：
- 192706294（已满）
- 731990104（已满）
- 798786647（已满）
- 729884609（已满）
- 977810755（已满）
- 815126783（已满）
- 812540095（已满）
- 1006366459（已满）
- 692541889
-
- 加入微信群：liuxiaoyan-s，备注入群
- 也欢迎加入知识星球 Go粉丝们（免费）
scrapy 是 Go 的框架？
边拉url边下载，scrapy是异步抓取，会维护至少一个请求队列池，还若干下载线程。相当于水池，一边进水（入被抓取页url），一边排出（出页面下载）。想想下载时因网络延迟需要等待很常见，CPU会让出这段时间让其它协程去拉取新请求或去开启另一个下载任务。
不取内容怎么取出所有url...