Scrapy 1.6.0 发布了,Scrapy 是一套基于 Twisted 的异步处理框架,纯 Python 实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。
主要更新内容有:
- 更好的 Windows 支持;
- 兼容 Python 3.7;
- 文档更新,包括了从
.extract_first()
+.extract()
API 到.get()
+.getall()
API 的转移;; - feed exports,FilePipeline 和 MediaPipeline 性能提升;
- 更好的可扩展性,包括
item_error
和request_reached_downloader
信号、以及from_crawler
对 feed exporters, feed storages 和 dupefilters 更好的支持; scrapy.contracts
的修复和新特性;- telnet 终端安全性提升(作为 backport 首次发表在 Scrapy 1.5.2 (2019-01-22));
- 清理已弃用代码,Bug 修复,其他新特性的新增等……
详细更新内容请看更新说明
下载地址:
转自 https://www.oschina.net/news/104152/scrapy-1-6-0-released