Scrapy 可重復(fù)使用 item pipelines 用于下載附加到特定項(xiàng)目的文件（例如，當(dāng)您 爬取 產(chǎn)品并希望在本地下載其圖像時(shí)）。這些管道共享一些功能和結(jié)構(gòu)（我們將它們稱為媒體管道），但通常您可以使用文件管道或圖像管道。

兩條管道都實(shí)現(xiàn)了以下功能：

• 避免重新下載最近下載的媒體
• 指定存儲(chǔ)媒體的位置（文件系統(tǒng)目錄、FTP服務(wù)器、Amazon S3 bucket、Google云存儲(chǔ)bucket）

圖像管道有一些用于處理圖像的額外功能：

• 將所有下載的圖像轉(zhuǎn)換為通用格式（JPG）和模式（RGB）
• 縮略圖生成
• 檢查圖像的寬度/高度以確保它們滿足最小限制

這些管道還保留當(dāng)前正在計(jì)劃下載的媒體URL的內(nèi)部隊(duì)列，并將到達(dá)的包含相同媒體的響應(yīng)連接到該隊(duì)列。這樣可以避免在多個(gè)項(xiàng)目共享同一媒體時(shí)多次下載同一媒體。