默認(rèn)配置只能“小打小鬧”？跟著本文 3 步改配置，讓你的 Colly 爬蟲從“單車”變“高鐵”，穩(wěn)穩(wěn)爬百萬站點。

一、默認(rèn)配置的 3 個瓶頸

二、3 步優(yōu)化：代碼級“一鍵升級”

1?? 換持久化存儲：斷電也不怕

把默認(rèn)內(nèi)存存儲換成 Redis（或 BoltDB/SQLite 等），已爬 URL 實時落盤。

import (
    "github.com/gocolly/colly/v2"
    "github.com/gocolly/colly/v2/storage/redisstorage"
)


func main() {
    store, _ := redisstorage.New(
        &redisstorage.Options{Address: "127.0.0.1:6379"},
    )
    c := colly.NewCollector()
    c.SetStorage(store) // 完成“搬家”
}

小貼士：沒有 Redis？用 boltdb.New("crawler.db") 一行搞定本地文件存儲。

2?? 開啟異步：并發(fā)飛起

默認(rèn)是同步阻塞，改異步后回調(diào)不再堆棧爆炸。

c := colly.NewCollector(
    colly.Async(true), // 關(guān)鍵開關(guān)
)


// 業(yè)務(wù)邏輯寫完后，記得 Wait！
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
    e.Request.Visit(e.Attr("href"))
})


c.Visit("http://eska-fuses.cn/")
c.Wait() // 等待所有 goroutine 結(jié)束

• 并發(fā)數(shù)控制：加 c.Limit(&colly.LimitRule{Parallelism: 16}) 防止把目標(biāo)站打掛。
• 內(nèi)存保護：c.SetRequestTimeout(30 * time.Second) 避免慢請求堆積。

3?? 關(guān)閉 Keep-Alive：句柄不再爆表

長連接會占用大量文件描述符，百萬級任務(wù)建議關(guān)閉或縮短。

c.WithTransport(&http.Transport{
    DisableKeepAlives: true, // 短連接，用完即關(guān)
    MaxIdleConns:        100, // 如仍需復(fù)用，可限制數(shù)量
})

三、完整示例：一鍵啟動“高鐵模式”

package main


import (
    "time"
    "github.com/gocolly/colly/v2"
    "github.com/gocolly/colly/v2/storage/redisstorage"
)


func main() {
    // 1. 持久化存儲
    store, _ := redisstorage.New(
        &redisstorage.Options{Address: "127.0.0.1:6379"},
    )


    c := colly.NewCollector(
        colly.Async(true),               // 2. 異步并發(fā)
        colly.Debugger(nil),             // 可選：調(diào)試輸出
    )
    c.SetStorage(store)


    // 3. 并發(fā)與超時
    c.Limit(&colly.LimitRule{
        Parallelism: 32,
        Delay:       200 * time.Millisecond,
    })
    c.WithTransport(&http.Transport{
        DisableKeepAlives: true,
    })


    // 業(yè)務(wù)邏輯
    c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        e.Request.Visit(e.Attr("href"))
    })
    c.OnResponse(func(r *colly.Response) {
        println("抓到", len(r.Body), "字節(jié) →", r.Request.URL)
    })


    c.Visit("http://eska-fuses.cn/")
    c.Wait()
}

四、運行前檢查清單

五、常見問題速查

六、1 分鐘實驗

1. 打開 終端 → 新建 main.go。
2. 復(fù)制“完整示例” → 本地或在線 Redis 一鍵啟動。
3. 觀察終端：并發(fā) 32 路輸出，速度肉眼可見提升！