最全Python爬虫库
Python爬虫库推荐
通用：
1.urllib-网络库(stdlib) 。
2.requests-网络库。
3.grab-网络库(基于py curl) 。
4.py curl-网络库(绑定libcurl) 。
5.urllib 3-Python HTTP库， 安全连接池、支持文件post
、可用性高。
6.httplib 2-网络库。
7.Robo Browser-一个简单的、极具Python风格的
Python库， 无需独立的浏览器即可浏览网页。
8.Mechanical Soup一一个与网站自动交互Python库。
9.mechanize-有状态、可编程的Web浏览库。
10.socket-底层网络接口(stdlib) 。
11.Uni rest for Python-Uni rest是一套可用于多种语言的
轻量级的HTTP库。
12.hyper-Python的HTTP/2客户端。
13.Py Socks-Socks iPy更新并积极维护的版本， 包括错误
修复和一些其他的特征。作为socket模块的直接替换。
网络爬虫框架
1.功能齐全的爬虫
·grab-网络爬虫框架(基于py curl/multi cur) 。
·scrap y-网络爬虫框架(基于twisted) ， 不支持
Python 3。
mpy spider-一个强大的爬虫系统。
·cola-一个分布式爬虫框架。
2.其他
·portia-基于Scrap y的可视化爬虫。
*rest kit-Python的HTTP资源工具包。它可以让你轻松地
访问HTTP资源， 并围绕它建立的对象。
·demiurge-基于Py Query的爬虫微框架。
HTML/XML解析器
1.通用
·lxml-C语言编写高效HTML/XML处理库。支持XPath。
·css select-解析DOM树和CSS选择器。
py query-解析DOM树和j Query选择器。
Beautiful Soup-低效HTML/XML处理库， 纯Python实
现。
·html5lib-根据WHATWG规范生成HTML/XML文档的
DOM。该规范被用在现在所有的浏览器上。
·feedparser-解析RSS/ATOM feeds。
·Markup Safe-为XML/HTML/XHTML提供了安全转义的
字符串。
·xml to dict-一个可以让你在处理XML时感觉像在处理
JSON一样的Python模块。
·xhtml 2pdf-将HTML/CSS转换为PDF。
·untangle-轻松实现将XML文件转换为Python对象。
HTML/XML解析器
1.通用
·lxml-C语言编写高效HTML/XML处理库。支持XPath。
·css select-解析DOM树和CSS选择器。
·py query-解析DOM树和j Query选择器。
·Beautiful Soup-低效HTML/XML处理库， 纯Python实
现。
·html5lib-根据WHATWG规范生成HTML/XML文档的
DOM。该规范被用在现在所有的浏览器上。
·feedparser-解析RSS/ATOM feeds。
·Markup Safe-为XML/HTML/XHTML提供了安全转义的
字符串。
·xml to dict-一个可以让你在处理XML时感觉像在处理
JSON一样的Python模块。
·xhtml 2pdf-将HTML/CSS转换为PDF。
·untangle-轻松实现将XML文件转换为Python对象。
文本处理
用于解析和操作简单文本的库。
1.通用
2.diff lib-(Python标准库) 帮助进行差异化比较。
3.Levenshtein-快速计算Levenshtein距离和字符串相似度。
4.fuzzy wuzzy-模糊字符串匹配。
5.esm re-正则表达式加速器。
6.ft fy-自动整理Unicode文本， 减少碎片化。
自然语言处理
处理人类语言问题的库。
·NL TK-编写Python程序来处理人类语言数据的最好平台。
·Pattern-Python的网络挖掘模块。他有自然语言处理工具
，机器学习以及其它。
·Text Blob-为深入自然语言处理任务提供了一致的API。是
基于NL TK以及Pattern的巨人之肩上发展的。
·jie ba-中文分词工具。
·Snow NLP-中文文本处理库。
·los o-另一个中文分词库。
浏览器自动化与仿真
·selenium-自动化真正的浏览器(Chrome浏览器， 火狐浏
览器， Opera浏览器， IE浏览器) 。
·Ghost.py-对PyQt的webkit的封装(需要PyQT) 。
·Spy nner-对PyQt的webkit的封装(需要PyQT) 。
·Splinter-通用API浏览器模拟器(selenium web驱动，
Django客户端， Zope) 。
多重处理
·threading-Python标准库的线程运行。对于I/O密集型任
务很有效。对于CPU绑定的任务没用， 因为python GIL。
multiprocessing-标准的Python库运行多进程。
·celery-基于分布式消息传递的异步任务队列/作业队列。
·concurrent-futures-concurrent-futures模块为调
用异步执行提供了一个高层次的接口。
异步
异步网络编程库
·async io-(在Python 3.4+版本以上的Python标准库
)异步/O，时间循环，协同程序和任务。
·Twisted-基于事件驱动的网络引擎框架。
·Tornado-一个网络框架和异步网络库。
·pulsar-Python事件驱动的并发框架。
·diesel-Python的基于绿色事件的I/O框架。
g event-一个使用green let的基于协程的Python网络库
·event let-有WSGI支持的异步框架。
·Tomorrow-异步代码的奇妙的修饰语法。
队列
·celery-基于分布式消息传递的异步任务队列/作业队列。
·huey-小型多线程任务队列。
·mrq-Mr.Queue-使用red is&G event的Python分
布式工作任务队列。
·RQ-基于Red is的轻量级任务队列管理器。
·simple q-一个简单的， 可无限扩展， 基于Amazon SQS
的队列。
·python-gear man-Gear man的Python API。
云计算
·pic loud-云端执行Python代码。
·dominoup.com-云端执行R， Python和matlab代码
网页内容提取
提取网页内容的库。
·HTML页面的文本和元数据
·newspaper-用Python进行新闻提取、文章提取和内容策
展。
·html2 text-将HTML转为Markdown格式文本。
·python-goose-HTML内容/文章提取器。
·lassie-人性化的网页内容检索工具
Web Socket
用于Web Socket的库。
·Crossbar-开源的应用消息传递路由器(Python实现的用
于Autobahn的Web Socket和WAMP) 。
·Autobahn Python-提供了Web Socket协议和WAMP
协议的Python实现并且开源。
·Web Socket-for-Python-Python 2和3以及PyPy的
Web Socket客户端和服务器库。