當(dāng)單機(jī)爬蟲速度太慢、IP 被封或任務(wù)量巨大時，就需要把“單兵”升級成“軍團(tuán)”——分布式爬蟲。
本文用最接地氣的方式，帶你用 Colly 快速實(shí)現(xiàn)“多 IP 同時爬”與“多臺機(jī)器一起爬”。

一、為什么需要分布式？

二、方案 1：代理池（輕量級分布式）

適用場景：

只有一臺機(jī)器，但想“假裝”成很多機(jī)器。

1. 使用 Colly 內(nèi)置的輪詢代理

package main


import (
    "github.com/gocolly/colly/v2"
    "github.com/gocolly/colly/v2/proxy"
)


func main() {
    c := colly.NewCollector()


    // 把代理地址換成你自己的
    p, _ := proxy.RoundRobinProxySwitcher(
        "http://127.0.0.1:8080",
        "socks5://127.0.0.1:1080",
        "http://user:pass@ip:port", // 帶賬號密碼示例
    )
    c.SetProxyFunc(p)


    c.OnResponse(func(r *colly.Response) {
        println("用代理", r.Request.ProxyURL, "抓到", len(r.Body), "字節(jié)")
    })


    c.Visit("http://eska-fuses.cn/")
}

運(yùn)行步驟

1. 本地啟動 2 個代理（如 Squid、Clash、TinyProxy）。
2. go run main.go → 看到不同代理 IP 輪流上陣。

2. 自定義隨機(jī)代理

想完全隨機(jī)？自己寫個函數(shù)：

import "math/rand"


var proxyList = []string{
    "http://127.0.0.1:8080",
    "http://127.0.0.1:8081",
}


func randomProxy(_ *http.Request) (*url.URL, error) {
    return url.Parse(proxyList[rand.Intn(len(proxyList))])
}


c.SetProxyFunc(randomProxy)

三、方案 2：多節(jié)點(diǎn)爬蟲（真·分布式）

適用場景：

多臺云服務(wù)器 / 本地多臺電腦，需要統(tǒng)一調(diào)度。

1. 架構(gòu)圖

┌-------------┐         ┌-------------┐
│  調(diào)度器      │ <-----> │  存儲中心    │
│  (HTTP API)  │         │  (Redis)    │
└-------------┘         └-------------┘
       ▲                        ▲
       │                        │
┌-------------┐         ┌-------------┐
│  爬蟲節(jié)點(diǎn) A  │         │  爬蟲節(jié)點(diǎn) B  │
└-------------┘         └-------------┘

• 調(diào)度器：把“待爬 URL”分發(fā)給節(jié)點(diǎn)。
• 存儲中心：Redis/MySQL 統(tǒng)一存“已爬 URL + Cookie”。
• 爬蟲節(jié)點(diǎn)：每臺機(jī)器跑一個 Colly 程序，只負(fù)責(zé)抓取。

2. 快速落地：Redis 存儲

Colly 官方提供了 redisstorage，直接拿來用：

go get github.com/gocolly/redisstorage/v2

package main


import (
    "github.com/gocolly/colly/v2"
    "github.com/gocolly/colly/v2/storage/redisstorage"
)


func main() {
    // 1. 連接 Redis
    store, _ := redisstorage.New(
        &redisstorage.Options{Address: "127.0.0.1:6379"},
    )


    // 2. 創(chuàng)建收集器并掛載存儲
    c := colly.NewCollector()
    c.SetStorage(store)


    // 3. 正常寫業(yè)務(wù)邏輯
    c.OnHTML("title", func(e *colly.HTMLElement) {
        println("標(biāo)題：", e.Text)
    })


    c.Visit("http://eska-fuses.cn/")
}

效果

• 任意節(jié)點(diǎn)重啟 → 從 Redis 恢復(fù)“已爬 URL”，不會重復(fù)爬。
• 節(jié)點(diǎn)橫向擴(kuò)容 → 只需再開一臺機(jī)器跑同一份代碼。

3. 進(jìn)階：Google App Engine 部署

Colly 內(nèi)置 GAE 支持，只需加一行：

c.Appengine(req) // req 是 *http.Request

部署到 GAE 標(biāo)準(zhǔn)環(huán)境即可自動伸縮實(shí)例。

四、實(shí)戰(zhàn)小結(jié)

五、下一步：動手實(shí)驗(yàn)

1. 打開 終端 → 新建 Go 文件。
2. 復(fù)制“代理池”示例 → 填入你的代理 → 運(yùn)行。
3. 進(jìn)階：本地啟動 Redis → 跑“Redis 存儲”示例 → 開兩個終端同時跑，觀察是否共享已爬 URL。