如何利用Python来爬取网页视频呢?

如题所述

前几天写了个爬虫,用path、re、BeautifulSoup爬取的B站python视频,但是这个爬虫有有个缺陷,没能获取视频的图片信息,如果你去尝试你会发现它根本就不在返回的结果里面。今天就用分析Ajax的方法获取到。

分析页面

点一下搜索,这个url才会出现,或者点一下下一页

然后就构造这个请求就可以了。需要注意的是最后一个参数不能添加。

代码实战

代码里面有些解释已经很清楚了,在这里再次复习一下

re.sub()

这个函数传入五个参数,前三个是必须传入的pattern,、repl、string

第一个是表示的是正则表达式中模式字符串

第二个是要被替换的字符串

第三个是文本字符串剩下两个可选参数,一个是count一个是flag。

时间戳转换成标准格式的时间第一种方法

第二种方法

综上就是这次的全部内容,多加练习继续加油!

温馨提示:答案为网友推荐,仅供参考
大家正在搜