11问答网
所有问题
如何用python爬取视频网站的数据
如题所述
举报该问题
推荐答案 2017-12-11
1.模拟客户端数据采集,分析http返回结果,清洗需要的数据,入库。
2.根据已有数据进行计算,实现增长率之类的数据计算。
3.实时性很难做,你当然可以不停的采数据回来,做个伪实时系统,但需要考虑这些网站是否做了客户端访问次数的限制,你需要考虑在采集器达到访问次数上限之前所采集的数据能否满足你的要求,否则就要被封IP了。
温馨提示:答案为网友推荐,仅供参考
当前网址:
http://11.wendadaohang.com/zd/4Fv7S7442MFPqSSFv2.html
相似回答
如何利用Python
来
爬取网页视频
呢?
答:
分析页面 点一下搜索,这个url才会出现,或者点一下下一页 然后就构造这个请求就可以了
。需要注意的是最后一个参数不能添加。代码实战 代码里面有些解释已经很清楚了,在这里再次复习一下 re.sub()这个函数传入五个参数,前三个是必须传入的pattern,、repl、string 第一个是表示的是正则表达式中模式字...
大家正在搜
相关问题
用python爬一个视频网站,因为一个影视有多个类别,所以在...
如何用python抓取网页上的数据
如何用Python爬取数据?
如何用Python爬虫抓取网页内容?
如何利用Python爬虫从网页上批量获取想要的信息
我现在有一套在网站上爬取数据的程序(用python写的)如何...
python 怎样爬去网页的内容
如何用python抓取网页数据库