Go 語(yǔ)言 并發(fā)獲取多個(gè)URL

原文鏈接：https://gopl-zh.github.io/ch1/ch1-06.html

1.6. 并發(fā)獲取多個(gè)URL

Go語(yǔ)言最有意思并且最新奇的特性就是對(duì)并發(fā)編程的支持。并發(fā)編程是一個(gè)大話題，在第八章和第九章中會(huì)專門講到。這里我們只淺嘗輒止地來(lái)體驗(yàn)一下Go語(yǔ)言里的goroutine和channel。

下面的例子fetchall，和前面小節(jié)的fetch程序所要做的工作基本一致，fetchall的特別之處在于它會(huì)同時(shí)去獲取所有的URL，所以這個(gè)程序的總執(zhí)行時(shí)間不會(huì)超過(guò)執(zhí)行時(shí)間最長(zhǎng)的那一個(gè)任務(wù)，前面的fetch程序執(zhí)行時(shí)間則是所有任務(wù)執(zhí)行時(shí)間之和。fetchall程序只會(huì)打印獲取的內(nèi)容大小和經(jīng)過(guò)的時(shí)間，不會(huì)像之前那樣打印獲取的內(nèi)容。

gopl.io/ch1/fetchall

// Fetchall fetches URLs in parallel and reports their times and sizes.
package main

import (
    "fmt"
    "io"
    "io/ioutil"
    "net/http"
    "os"
    "time"
)

func main() {
    start := time.Now()
    ch := make(chan string)
    for _, url := range os.Args[1:] {
        go fetch(url, ch) // start a goroutine
    }
    for range os.Args[1:] {
        fmt.Println(<-ch) // receive from channel ch
    }
    fmt.Printf("%.2fs elapsed\n", time.Since(start).Seconds())
}

func fetch(url string, ch chan<- string) {
    start := time.Now()
    resp, err := http.Get(url)
    if err != nil {
        ch <- fmt.Sprint(err) // send to channel ch
        return
    }
    nbytes, err := io.Copy(ioutil.Discard, resp.Body)
    resp.Body.Close() // don't leak resources
    if err != nil {
        ch <- fmt.Sprintf("while reading %s: %v", url, err)
        return
    }
    secs := time.Since(start).Seconds()
    ch <- fmt.Sprintf("%.2fs  %7d  %s", secs, nbytes, url)
}

下面使用fetchall來(lái)請(qǐng)求幾個(gè)地址：

$ go build gopl.io/ch1/fetchall
$ ./fetchall https://golang.org http://gopl.io https://godoc.org
0.14s     6852  https://godoc.org
0.16s     7261  https://golang.org
0.48s     2475  http://gopl.io
0.48s elapsed

goroutine是一種函數(shù)的并發(fā)執(zhí)行方式，而channel是用來(lái)在goroutine之間進(jìn)行參數(shù)傳遞。main函數(shù)本身也運(yùn)行在一個(gè)goroutine中，而go function則表示創(chuàng)建一個(gè)新的goroutine，并在這個(gè)新的goroutine中執(zhí)行這個(gè)函數(shù)。

main函數(shù)中用make函數(shù)創(chuàng)建了一個(gè)傳遞string類型參數(shù)的channel，對(duì)每一個(gè)命令行參數(shù)，我們都用go這個(gè)關(guān)鍵字來(lái)創(chuàng)建一個(gè)goroutine，并且讓函數(shù)在這個(gè)goroutine異步執(zhí)行http.Get方法。這個(gè)程序里的io.Copy會(huì)把響應(yīng)的Body內(nèi)容拷貝到ioutil.Discard輸出流中（譯注：可以把這個(gè)變量看作一個(gè)垃圾桶，可以向里面寫一些不需要的數(shù)據(jù)），因?yàn)槲覀冃枰@個(gè)方法返回的字節(jié)數(shù)，但是又不想要其內(nèi)容。每當(dāng)請(qǐng)求返回內(nèi)容時(shí)，fetch函數(shù)都會(huì)往ch這個(gè)channel里寫入一個(gè)字符串，由main函數(shù)里的第二個(gè)for循環(huán)來(lái)處理并打印channel里的這個(gè)字符串。

當(dāng)一個(gè)goroutine嘗試在一個(gè)channel上做send或者receive操作時(shí)，這個(gè)goroutine會(huì)阻塞在調(diào)用處，直到另一個(gè)goroutine從這個(gè)channel里接收或者寫入值，這樣兩個(gè)goroutine才會(huì)繼續(xù)執(zhí)行channel操作之后的邏輯。在這個(gè)例子中，每一個(gè)fetch函數(shù)在執(zhí)行時(shí)都會(huì)往channel里發(fā)送一個(gè)值（ch <- expression），主函數(shù)負(fù)責(zé)接收這些值（<-ch）。這個(gè)程序中我們用main函數(shù)來(lái)完整地處理/接收所有fetch函數(shù)傳回的字符串，可以避免因?yàn)橛袃蓚€(gè)goroutine同時(shí)完成而使得其輸出交錯(cuò)在一起的危險(xiǎn)。

練習(xí) 1.10： 找一個(gè)數(shù)據(jù)量比較大的網(wǎng)站，用本小節(jié)中的程序調(diào)研網(wǎng)站的緩存策略，對(duì)每個(gè)URL執(zhí)行兩遍請(qǐng)求，查看兩次時(shí)間是否有較大的差別，并且每次獲取到的響應(yīng)內(nèi)容是否一致，修改本節(jié)中的程序，將響應(yīng)結(jié)果輸出到文件，以便于進(jìn)行對(duì)比。

練習(xí) 1.11： 在fetchall中嘗試使用長(zhǎng)一些的參數(shù)列表，比如使用在alexa.com的上百萬(wàn)網(wǎng)站里排名靠前的。如果一個(gè)網(wǎng)站沒(méi)有回應(yīng)，程序?qū)⒉扇≡鯓拥男袨椋浚⊿ection8.9 描述了在這種情況下的應(yīng)對(duì)機(jī)制）。