我的理解：首先Spider把請求對象發送到引擎，引擎又發送給調度器，調度器中的過濾器負責（URL去重）然後放入請求隊列。然後調度器返回給引擎，引擎發送到下載器，下載器從互聯網請求資源，后返回給引擎。引擎返回給Spider返回内容，Spider解析數據后再次提交給引擎，引擎把解析數據交給管道用於持久化存儲數據。
Xue Li Li's Blog