classscrapy.spiders.CSVFeedSpider[源代碼]

這個spider與xmlFeedSpider非常相似，只是它迭代行，而不是節(jié)點。在每次迭代中被調(diào)用的方法是 ?parse_row()? .

delimiter

帶有csv文件中每個字段分隔符的字符串默認為 ',' （逗號）

quotechar

帶有csv文件中每個字段的外殼字符的字符串默認為 '"' （引號）。

headers

csv文件中的列名列表。

parse_row(response, row)[源代碼]

接收響應(yīng)和dict（代表每一行），其中為csv文件的每個提供的（或檢測到的）頭文件都有一個鍵。這個蜘蛛還提供了超越的機會 adapt_response 和 process_results 用于預處理和后處理目的的方法。

CSVFeedspider示例

我們來看一個類似于前一個的例子，但是使用 CSVFeedSpider ：：

from scrapy.spiders import CSVFeedSpider
from myproject.items import TestItem

class MySpider(CSVFeedSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/feed.csv']
    delimiter = ';'
    quotechar = "'"
    headers = ['id', 'name', 'description']

    def parse_row(self, response, row):
        self.logger.info('Hi, this is a row!: %r', row)

        item = TestItem()
        item['id'] = row['id']
        item['name'] = row['name']
        item['description'] = row['description']
        return item