如何用python抓取网页数据库

如题所述

第1个回答 2020-02-15

最简单可以用urllib，python2.x和python3.x的用法不同，以python2.x为例：
import
urllib
html
=
urllib.open(url)
text
=
html.read()
复杂些可以用requests库，支持各种请求类型，支持cookies，header等
再复杂些的可以用selenium，支持抓取javascript产生的文本

相似回答

如何通过网络爬虫获取网站数据?答：1.首先，打开原网页，如下，这里假设要爬取的数据包括年利率，借款标题，期限，金额和进度：接着按F12调出开发者工具，依次点击“Network”->“XHR”，F5刷新页面，就可以找打动态加载的json文件，如下，也就是我们需要爬取的数据：2.然后就是根据这个json文件编写对应代码解析出我们需要的字段信息，测试...

大家正在搜

用python抓取网页数据的代码基于python的网页数据抓取 python3抓取网页数据 python抓取网页表格数据 Python如何爬虫网页数据用python抓取数据 python获取网页数据 python爬虫爬取网页所有数据 python爬取网页数据代码