Scrapy 1.7.0 发布了。Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。
此版本主要更新亮点包括:
- 改进多个域的抓取
- 更简洁的将参数传递给回调函数的方法
- JSON 请求新类
- 改进基于规则的爬虫
- feed export 的新特性
详情查看更新说明:
https://github.com/scrapy/scrapy/releases/tag/1.7.0
转自 https://www.oschina.net/news/108575/scrapy-1-7-0-released