Scrapy下載中間件

当spider发起一个请求时，request会先经过中间件1的process_request进行处理，然后到达中间件2的此方法进行处理，当经过所有的中间件的此方法处理之后，最后到达下载器进行网站请求，然后返回响应内容。

process_response就是逆序处理，先到达中间件2的此方法，再到达中间件1，最后响应返回spider中，由开发者处理。