您好,匿名用户
随意问技术百科期待您的加入

如何用python抓取js生成的数据

0 投票

想写一个爬虫,但是需要抓去的的数据是js生成的,在源代码里看不到,要怎么才能抓到呢? 最好是用python

用户头像 提问 2012年 12月1日 @ Lulu 上等兵 (293 威望)
分享到:

1个回答

0 投票
 
最佳答案

如果对抓取的性能没有什么要求的话, 尝试一下selenium或者watir吧.
web自动化测试脚本用好了可以做很多事情.
利用你的浏览器执行好js, 然后再从dom里面取数据.

另外一个情况, 如果你知道js是通过ajax或者api取数据的, 直接去抓数据源, 得到的不是json就是xml, 然后处理数据吧

用户头像 回复 2012年 12月1日 @ Diana 上等兵 (326 威望)
选中 2012年 12月1日 @Lulu
提一个问题:

相关问题

0 投票
1 回复 29 阅读
用户头像 提问 2013年 12月11日 @ Nunu 上等兵 (350 威望)
0 投票
1 回复 51 阅读
用户头像 提问 2013年 10月10日 @ Kog'Maw 上等兵 (212 威望)
0 投票
1 回复 53 阅读
+1 投票
1 回复 88 阅读
用户头像 提问 2013年 2月8日 @ Vergil 上等兵 (384 威望)
0 投票
1 回复 51 阅读
用户头像 提问 2012年 12月1日 @ Demeter 上等兵 (208 威望)

欢迎来到随意问技术百科, 这是一个面向专业开发者的IT问答网站,提供途径助开发者查找IT技术方案,解决程序bug和网站运维难题等。
温馨提示:本网站禁止用户发布与IT技术无关的、粗浅的、毫无意义的或者违法国家法规的等不合理内容,谢谢支持。

欢迎访问随意问技术百科,为了给您提供更好的服务,请及时反馈您的意见。
...