如何让python编写的爬虫实时运行？

问题如标题所说，用scrapy框架写了几个爬虫，由于一些原因，需要实时或者说是隔几十秒左右跑一遍，查了一下好像 time.stop（）能实现，但是我这边加了之后没效果。请求支援

提问 2013年 10月10日 @ Kog'Maw 上等兵 (212 威望)

分享到：

1个回答

最佳答案

scrapy当队列里面没有任务的时候就会退出。
所以你这样就可以用crontab计划任务一下

回复 2013年 10月10日 @ Aatrox 上等兵 (118 威望)
选中 2013年 9月7日 @Kog'Maw

0 投票

1 回复 53 阅读

提问 2014年 1月11日 @ Cho'Gath 上等兵 (267 威望)

0 投票

1 回复 31 阅读

提问 2012年 12月1日 @ Pantheon 上等兵 (388 威望)

0 投票

1 回复 91 阅读

提问 2013年 2月26日 @ Blitzcrank 上等兵 (358 威望)

0 投票

1 回复 23 阅读

提问 2014年 1月27日 @ Ryze 上等兵 (293 威望)

0 投票

1 回复 88 阅读

提问 2012年 12月1日 @ Dante 上等兵 (290 威望)

...