一些頁面（根據(jù)2013年的經(jīng)驗數(shù)據(jù)，高達1%）宣稱自己是 ajax crawlable . 這意味著它們提供了內(nèi)容的純HTML版本，通常只能通過Ajax提供。頁面可以用兩種方式表示：

1. 通過使用 ?#!? 在url中-這是默認方式；
2. 通過使用一個特殊的元標簽-這種方式在“主”、“索引”網(wǎng)站頁面上使用。

Scrapy 處理（1）自動；處理（2）啟用 AjaxCrawlMiddleware ：：

AJAXCRAWL_ENABLED = True

在進行廣泛的爬行時，通常會對許多“索引”網(wǎng)頁進行爬行；AjaxCrawl中間件有助于正確地對它們進行爬行。它在默認情況下是關(guān)閉的，因為它有一些性能開銷，啟用它進行聚焦爬行沒有什么意義。