本地文件系統(tǒng)

源存儲(chǔ)在本地文件系統(tǒng)中。

URI方案： file示例性URI： file:///tmp/export.csv所需外部庫：無

請(qǐng)注意，對(duì)于本地文件系統(tǒng)存儲(chǔ)（僅限），如果您指定類似 /tmp/export.csv . 不過，這只在UNIX系統(tǒng)上工作。

FTP

這些提要存儲(chǔ)在FTP服務(wù)器中。

URI方案： ftp示例性URI： ftp://user:pass@ftp.example.com/path/to/export.csv所需外部庫：無

ftp支持兩種不同的連接模式： active or passive .默認(rèn)情況下，Scrapy使用被動(dòng)連接模式。要使用活動(dòng)連接模式，請(qǐng)?jiān)O(shè)置  設(shè)置為 True .

此存儲(chǔ)后端使用

S3

源存儲(chǔ)在 Amazon S3 .

URI方案： s3URI示例：s3://mybucket/path/to/export.csvs3://aws_key:aws_secret@mybucket/path/to/export.csv所需的外部庫： botocore

AWS憑證可以作為用戶/密碼在URI中傳遞，也可以通過以下設(shè)置傳遞：

AWS_ACCESS_KEY_IDAWS_SECRET_ACCESS_KEY

還可以使用此設(shè)置為導(dǎo)出的源定義自定義ACL：

FEED_STORAGE_S3_ACL

此存儲(chǔ)后端使用 delayed file delivery .

谷歌云存儲(chǔ)（GCS）

2.3 新版功能.

源存儲(chǔ)在 Google Cloud Storage .

URI方案： gsURI示例：gs://mybucket/path/to/export.csv所需的外部庫： google-cloud-storage .

有關(guān)身份驗(yàn)證的詳細(xì)信息，請(qǐng)參閱 Google Cloud documentation .

你可以設(shè)置一個(gè) 項(xiàng)目標(biāo)識(shí) 和 訪問控制列表（ACL） 通過以下設(shè)置：

FEED_STORAGE_GCS_ACLGCS_PROJECT_ID

此存儲(chǔ)后端使用 delayed file delivery .

標(biāo)準(zhǔn)輸出

進(jìn)料被寫入 Scrapy 處理的標(biāo)準(zhǔn)輸出。

URI方案： stdout示例性URI： stdout:所需外部庫：無

延遲文件傳遞

如上所述，所述的一些存儲(chǔ)后端使用延遲的文件傳遞。

這些存儲(chǔ)后端不會(huì)將項(xiàng)上載到提要URI，因?yàn)檫@些項(xiàng)是被刮取的。相反，Scrapy將項(xiàng)目寫入一個(gè)臨時(shí)本地文件，只有當(dāng)所有文件內(nèi)容都被寫入（即在爬網(wǎng)結(jié)束時(shí)），該文件才會(huì)上載到提要URI。

如果要在使用這些存儲(chǔ)后端之一時(shí)提前開始項(xiàng)目傳遞，請(qǐng)使用 FEED_EXPORT_BATCH_ITEM_COUNT 將輸出項(xiàng)拆分為多個(gè)文件，每個(gè)文件具有指定的最大項(xiàng)數(shù)。這樣，一旦文件達(dá)到最大項(xiàng)數(shù)，該文件就被傳遞到提要URI，從而允許條目傳遞在爬網(wǎng)結(jié)束之前開始。