爬虫方向第三方库：1、urllib3，一个Python HTTP库，安全连接池、支持文件post、可用性高；2、MechanicalSoup，一个与网站自动交互Python库；3、grab，一个基于pycurl/multicur的网络爬虫框架；4、portia，一个基于Scrapy的可视化爬虫库；5、Tornado，一个网络框架和异步网络库；6、scrapy，一个网络爬虫框架。