Go 語言 查找重復(fù)的行

原文鏈接：https://gopl-zh.github.io/ch1/ch1-03.html

1.3. 查找重復(fù)的行

對文件做拷貝、打印、搜索、排序、統(tǒng)計或類似事情的程序都有一個差不多的程序結(jié)構(gòu)：一個處理輸入的循環(huán)，在每個元素上執(zhí)行計算處理，在處理的同時或最后產(chǎn)生輸出。我們會展示一個名為 dup 的程序的三個版本；靈感來自于 Unix 的 uniq 命令，其尋找相鄰的重復(fù)行。該程序使用的結(jié)構(gòu)和包是個參考范例，可以方便地修改。

dup 的第一個版本打印標(biāo)準(zhǔn)輸入中多次出現(xiàn)的行，以重復(fù)次數(shù)開頭。該程序?qū)⒁?nbsp;if 語句，map 數(shù)據(jù)類型以及 bufio 包。

gopl.io/ch1/dup1

// Dup1 prints the text of each line that appears more than
// once in the standard input, preceded by its count.
package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {
    counts := make(map[string]int)
    input := bufio.NewScanner(os.Stdin)
    for input.Scan() {
        counts[input.Text()]++
    }
    // NOTE: ignoring potential errors from input.Err()
    for line, n := range counts {
        if n > 1 {
            fmt.Printf("%d\t%s\n", n, line)
        }
    }
}

正如 for 循環(huán)一樣，if 語句條件兩邊也不加括號，但是主體部分需要加。if 語句的 else 部分是可選的，在 if 的條件為 false 時執(zhí)行。

map 存儲了鍵/值（key/value）的集合，對集合元素，提供常數(shù)時間的存、取或測試操作。鍵可以是任意類型，只要其值能用 == 運算符比較，最常見的例子是字符串；值則可以是任意類型。這個例子中的鍵是字符串，值是整數(shù)。內(nèi)置函數(shù) make 創(chuàng)建空 map，此外，它還有別的作用。4.3 節(jié)討論 map。

（譯注：從功能和實現(xiàn)上說，Go 的 map 類似于 Java 語言中的 HashMap，Python 語言中的 dict，Lua 語言中的 table，通常使用 hash 實現(xiàn)。遺憾的是，對于該詞的翻譯并不統(tǒng)一，數(shù)學(xué)界術(shù)語為映射，而計算機(jī)界眾說紛紜莫衷一是。為了防止對讀者造成誤解，保留不譯。）

每次 dup 讀取一行輸入，該行被當(dāng)做鍵存入 map，其對應(yīng)的值遞增。counts[input.Text()]++ 語句等價下面兩句：

line := input.Text()
counts[line] = counts[line] + 1

map 中不含某個鍵時不用擔(dān)心，首次讀到新行時，等號右邊的表達(dá)式 counts[line] 的值將被計算為其類型的零值，對于 int 即 0。

為了打印結(jié)果，我們使用了基于 range 的循環(huán)，并在 counts 這個 map 上迭代。跟之前類似，每次迭代得到兩個結(jié)果，鍵和其在 map 中對應(yīng)的值。map 的迭代順序并不確定，從實踐來看，該順序隨機(jī)，每次運行都會變化。這種設(shè)計是有意為之的，因為能防止程序依賴特定遍歷順序，而這是無法保證的。（譯注：具體可以參見這里 https://stackoverflow.com/questions/11853396/google-go-lang-assignment-order）

繼續(xù)來看 bufio 包，它使處理輸入和輸出方便又高效。Scanner 類型是該包最有用的特性之一，它讀取輸入并將其拆成行或單詞；通常是處理行形式的輸入最簡單的方法。

程序使用短變量聲明創(chuàng)建 bufio.Scanner 類型的變量 input。

input := bufio.NewScanner(os.Stdin)

該變量從程序的標(biāo)準(zhǔn)輸入中讀取內(nèi)容。每次調(diào)用 input.Scan()，即讀入下一行，并移除行末的換行符；讀取的內(nèi)容可以調(diào)用 input.Text() 得到。Scan 函數(shù)在讀到一行時返回 true，不再有輸入時返回 false。

類似于 C 或其它語言里的 printf 函數(shù)，fmt.Printf 函數(shù)對一些表達(dá)式產(chǎn)生格式化輸出。該函數(shù)的首個參數(shù)是個格式字符串，指定后續(xù)參數(shù)被如何格式化。各個參數(shù)的格式取決于“轉(zhuǎn)換字符”（conversion character），形式為百分號后跟一個字母。舉個例子，%d 表示以十進(jìn)制形式打印一個整型操作數(shù)，而 %s 則表示把字符串型操作數(shù)的值展開。

Printf 有一大堆這種轉(zhuǎn)換，Go程序員稱之為動詞（verb）。下面的表格雖然遠(yuǎn)不是完整的規(guī)范，但展示了可用的很多特性：

%d          十進(jìn)制整數(shù)
%x, %o, %b  十六進(jìn)制，八進(jìn)制，二進(jìn)制整數(shù)。
%f, %g, %e  浮點數(shù)： 3.141593 3.141592653589793 3.141593e+00
%t          布爾：true或false
%c          字符（rune） (Unicode碼點)
%s          字符串
%q          帶雙引號的字符串"abc"或帶單引號的字符'c'
%v          變量的自然形式（natural format）
%T          變量的類型
%%          字面上的百分號標(biāo)志（無操作數(shù)）

dup1 的格式字符串中還含有制表符\t和換行符\n。字符串字面上可能含有這些代表不可見字符的轉(zhuǎn)義字符（escape sequences）。默認(rèn)情況下，Printf 不會換行。按照慣例，以字母 f 結(jié)尾的格式化函數(shù)，如 log.Printf 和 fmt.Errorf，都采用 fmt.Printf 的格式化準(zhǔn)則。而以 ln 結(jié)尾的格式化函數(shù)，則遵循 Println 的方式，以跟 %v 差不多的方式格式化參數(shù)，并在最后添加一個換行符。（譯注：后綴 f 指 format，ln 指 line。）

很多程序要么從標(biāo)準(zhǔn)輸入中讀取數(shù)據(jù)，如上面的例子所示，要么從一系列具名文件中讀取數(shù)據(jù)。dup 程序的下個版本讀取標(biāo)準(zhǔn)輸入或是使用 os.Open 打開各個具名文件，并操作它們。

gopl.io/ch1/dup2

// Dup2 prints the count and text of lines that appear more than once
// in the input.  It reads from stdin or from a list of named files.
package main

import (
    "bufio"
    "fmt"
    "os"
)

func main() {
    counts := make(map[string]int)
    files := os.Args[1:]
    if len(files) == 0 {
        countLines(os.Stdin, counts)
    } else {
        for _, arg := range files {
            f, err := os.Open(arg)
            if err != nil {
                fmt.Fprintf(os.Stderr, "dup2: %v\n", err)
                continue
            }
            countLines(f, counts)
            f.Close()
        }
    }
    for line, n := range counts {
        if n > 1 {
            fmt.Printf("%d\t%s\n", n, line)
        }
    }
}

func countLines(f *os.File, counts map[string]int) {
    input := bufio.NewScanner(f)
    for input.Scan() {
        counts[input.Text()]++
    }
    // NOTE: ignoring potential errors from input.Err()
}

os.Open 函數(shù)返回兩個值。第一個值是被打開的文件（*os.File），其后被 Scanner 讀取。

os.Open 返回的第二個值是內(nèi)置 error 類型的值。如果 err 等于內(nèi)置值nil（譯注：相當(dāng)于其它語言里的 NULL），那么文件被成功打開。讀取文件，直到文件結(jié)束，然后調(diào)用 Close 關(guān)閉該文件，并釋放占用的所有資源。相反的話，如果 err 的值不是 nil，說明打開文件時出錯了。這種情況下，錯誤值描述了所遇到的問題。我們的錯誤處理非常簡單，只是使用 Fprintf 與表示任意類型默認(rèn)格式值的動詞 %v，向標(biāo)準(zhǔn)錯誤流打印一條信息，然后 dup 繼續(xù)處理下一個文件；continue 語句直接跳到 for 循環(huán)的下個迭代開始執(zhí)行。

為了使示例代碼保持合理的大小，本書開始的一些示例有意簡化了錯誤處理，顯而易見的是，應(yīng)該檢查 os.Open 返回的錯誤值，然而，使用 input.Scan 讀取文件過程中，不大可能出現(xiàn)錯誤，因此我們忽略了錯誤處理。我們會在跳過錯誤檢查的地方做說明。5.4 節(jié)中深入介紹錯誤處理。

注意 countLines 函數(shù)在其聲明前被調(diào)用。函數(shù)和包級別的變量（package-level entities）可以任意順序聲明，并不影響其被調(diào)用。（譯注：最好還是遵循一定的規(guī)范）

map 是一個由 make 函數(shù)創(chuàng)建的數(shù)據(jù)結(jié)構(gòu)的引用。map 作為參數(shù)傳遞給某函數(shù)時，該函數(shù)接收這個引用的一份拷貝（copy，或譯為副本），被調(diào)用函數(shù)對 map 底層數(shù)據(jù)結(jié)構(gòu)的任何修改，調(diào)用者函數(shù)都可以通過持有的 map 引用看到。在我們的例子中，countLines 函數(shù)向 counts 插入的值，也會被 main 函數(shù)看到。（譯注：類似于 C++ 里的引用傳遞，實際上指針是另一個指針了，但內(nèi)部存的值指向同一塊內(nèi)存）

dup 的前兩個版本以"流”模式讀取輸入，并根據(jù)需要拆分成多個行。理論上，這些程序可以處理任意數(shù)量的輸入數(shù)據(jù)。還有另一個方法，就是一口氣把全部輸入數(shù)據(jù)讀到內(nèi)存中，一次分割為多行，然后處理它們。下面這個版本，dup3，就是這么操作的。這個例子引入了 ReadFile 函數(shù)（來自于io/ioutil包），其讀取指定文件的全部內(nèi)容，strings.Split 函數(shù)把字符串分割成子串的切片。（Split 的作用與前文提到的 strings.Join 相反。）

我們略微簡化了 dup3。首先，由于 ReadFile 函數(shù)需要文件名作為參數(shù)，因此只讀指定文件，不讀標(biāo)準(zhǔn)輸入。其次，由于行計數(shù)代碼只在一處用到，故將其移回 main 函數(shù)。

gopl.io/ch1/dup3

package main

import (
    "fmt"
    "io/ioutil"
    "os"
    "strings"
)

func main() {
    counts := make(map[string]int)
    for _, filename := range os.Args[1:] {
        data, err := ioutil.ReadFile(filename)
        if err != nil {
            fmt.Fprintf(os.Stderr, "dup3: %v\n", err)
            continue
        }
        for _, line := range strings.Split(string(data), "\n") {
            counts[line]++
        }
    }
    for line, n := range counts {
        if n > 1 {
            fmt.Printf("%d\t%s\n", n, line)
        }
    }
}

ReadFile 函數(shù)返回一個字節(jié)切片（byte slice），必須把它轉(zhuǎn)換為 string，才能用 strings.Split 分割。我們會在3.5.4 節(jié)詳細(xì)講解字符串和字節(jié)切片。

實現(xiàn)上，bufio.Scanner、ioutil.ReadFile 和 ioutil.WriteFile 都使用 *os.File 的 Read 和 Write 方法，但是，大多數(shù)程序員很少需要直接調(diào)用那些低級（lower-level）函數(shù)。高級（higher-level）函數(shù)，像 bufio 和 io/ioutil 包中所提供的那些，用起來要容易點。

練習(xí) 1.4： 修改 dup2，出現(xiàn)重復(fù)的行時打印文件名稱。