Linux命令 sed - 功能強(qiáng)大的流式文本編輯器

sed

功能強(qiáng)大的流式文本編輯器

補(bǔ)充說(shuō)明

sed 是一種流編輯器，它是文本處理中非常重要的工具，能夠完美的配合正則表達(dá)式使用，功能不同凡響。處理時(shí)，把當(dāng)前處理的行存儲(chǔ)在臨時(shí)緩沖區(qū)中，稱為“模式空間”（pattern space），接著用sed命令處理緩沖區(qū)中的內(nèi)容，處理完成后，把緩沖區(qū)的內(nèi)容送往屏幕。接著處理下一行，這樣不斷重復(fù)，直到文件末尾。文件內(nèi)容并沒有 改變，除非你使用重定向存儲(chǔ)輸出。Sed主要用來(lái)自動(dòng)編輯一個(gè)或多個(gè)文件；簡(jiǎn)化對(duì)文件的反復(fù)操作；編寫轉(zhuǎn)換程序等。

sed的選項(xiàng)、命令、替換標(biāo)記

命令格式

sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

選項(xiàng)

-e<script>或--expression=<script>：以選項(xiàng)中的指定的script來(lái)處理輸入的文本文件；
-f<script文件>或--file=<script文件>：以選項(xiàng)中指定的script文件來(lái)處理輸入的文本文件；
-h或--help：顯示幫助；
-n或--quiet或——silent：僅顯示script處理后的結(jié)果；
-V或--version：顯示版本信息。

參數(shù)

文件：指定待處理的文本文件列表。

sed命令

a\ # 在當(dāng)前行下面插入文本。
i\ # 在當(dāng)前行上面插入文本。
c\ # 把選定的行改為新的文本。
d # 刪除，刪除選擇的行。
D # 刪除模板塊的第一行。
s # 替換指定字符
h # 拷貝模板塊的內(nèi)容到內(nèi)存中的緩沖區(qū)。
H # 追加模板塊的內(nèi)容到內(nèi)存中的緩沖區(qū)。
g # 獲得內(nèi)存緩沖區(qū)的內(nèi)容，并替代當(dāng)前模板塊中的文本。
G # 獲得內(nèi)存緩沖區(qū)的內(nèi)容，并追加到當(dāng)前模板塊文本的后面。
l # 列表不能打印字符的清單。
n # 讀取下一個(gè)輸入行，用下一個(gè)命令處理新的行而不是用第一個(gè)命令。
N # 追加下一個(gè)輸入行到模板塊后面并在二者間嵌入一個(gè)新行，改變當(dāng)前行號(hào)碼。
p # 打印模板塊的行。
P # (大寫) 打印模板塊的第一行。
q # 退出Sed。
b lable # 分支到腳本中帶有標(biāo)記的地方，如果分支不存在則分支到腳本的末尾。
r file # 從file中讀行。
t label # if分支，從最后一行開始，條件一旦滿足或者T，t命令，將導(dǎo)致分支到帶有標(biāo)號(hào)的命令處，或者到腳本的末尾。
T label # 錯(cuò)誤分支，從最后一行開始，一旦發(fā)生錯(cuò)誤或者T，t命令，將導(dǎo)致分支到帶有標(biāo)號(hào)的命令處，或者到腳本的末尾。
w file # 寫并追加模板塊到file末尾。  
W file # 寫并追加模板塊的第一行到file末尾。  
! # 表示后面的命令對(duì)所有沒有被選定的行發(fā)生作用。  
= # 打印當(dāng)前行號(hào)碼。  
# # 把注釋擴(kuò)展到下一個(gè)換行符以前。  

sed替換標(biāo)記

g # 表示行內(nèi)全面替換。  
p # 表示打印行。  
w # 表示把行寫入一個(gè)文件。  
x # 表示互換模板塊中的文本和緩沖區(qū)中的文本。  
y # 表示把一個(gè)字符翻譯為另外的字符（但是不用于正則表達(dá)式）
\1 # 子串匹配標(biāo)記
& # 已匹配字符串標(biāo)記

sed元字符集

^ # 匹配行開始，如：/^sed/匹配所有以sed開頭的行。
$ # 匹配行結(jié)束，如：/sed$/匹配所有以sed結(jié)尾的行。
. # 匹配一個(gè)非換行符的任意字符，如：/s.d/匹配s后接一個(gè)任意字符，最后是d。
* # 匹配0個(gè)或多個(gè)字符，如：/*sed/匹配所有模板是一個(gè)或多個(gè)空格后緊跟sed的行。
[] # 匹配一個(gè)指定范圍內(nèi)的字符，如/[sS]ed/匹配sed和Sed。  
[^] # 匹配一個(gè)不在指定范圍內(nèi)的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個(gè)字母開頭，緊跟ed的行。
\(..\) # 匹配子串，保存匹配的字符，如s/\(love\)able/\1rs，loveable被替換成lovers。
& # 保存搜索字符用來(lái)替換其他字符，如s/love/ **&** /，love這成 **love** 。
\< # 匹配單詞的開始，如:/\<love/匹配包含以love開頭的單詞的行。
\> # 匹配單詞的結(jié)束，如/love\>/匹配包含以love結(jié)尾的單詞的行。
x\{m\} # 重復(fù)字符x，m次，如：/0\{5\}/匹配包含5個(gè)0的行。
x\{m,\} # 重復(fù)字符x，至少m次，如：/0\{5,\}/匹配至少有5個(gè)0的行。
x\{m,n\} # 重復(fù)字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10個(gè)0的行。  

sed用法實(shí)例

替換操作：s命令

替換文本中的字符串：

sed 's/book/books/' file

-n選項(xiàng) 和 p命令 一起使用表示只打印那些發(fā)生替換的行：

sed -n 's/test/TEST/p' file

直接編輯文件 選項(xiàng)-i ，會(huì)匹配file文件中每一行的所有book替換為books：

sed -i 's/book/books/g' file

全面替換標(biāo)記g

使用后綴 /g 標(biāo)記會(huì)替換每一行中的所有匹配：

sed 's/book/books/g' file

當(dāng)需要從第N處匹配開始替換時(shí)，可以使用 /Ng：

echo sksksksksksk | sed 's/sk/SK/2g'
skSKSKSKSKSK

echo sksksksksksk | sed 's/sk/SK/3g'
skskSKSKSKSK

echo sksksksksksk | sed 's/sk/SK/4g'
skskskSKSKSK

定界符

以上命令中字符 / 在sed中作為定界符使用，也可以使用任意的定界符：

sed 's:test:TEXT:g'
sed 's|test|TEXT|g'

定界符出現(xiàn)在樣式內(nèi)部時(shí)，需要進(jìn)行轉(zhuǎn)義：

sed 's/\/bin/\/usr\/local\/bin/g'

刪除操作：d命令

刪除空白行：

sed '/^$/d' file

刪除文件的第2行：

sed '2d' file

刪除文件的第2行到末尾所有行：

sed '2,$d' file

刪除文件最后一行：

sed '$d' file

刪除文件中所有開頭是test的行：

sed '/^test/'d file

已匹配字符串標(biāo)記&

正則表達(dá)式 \w+ 匹配每一個(gè)單詞，使用 [&] 替換它，& 對(duì)應(yīng)于之前所匹配到的單詞：

echo this is a test line | sed 's/\w\+/[&]/g'
[this] [is] [a] [test] [line]

所有以192.168.0.1開頭的行都會(huì)被替換成它自已加localhost：

sed 's/^192.168.0.1/&localhost/' file
192.168.0.1localhost

子串匹配標(biāo)記\1

匹配給定樣式的其中一部分：

echo this is digit 7 in a number | sed 's/digit \([0-9]\)/\1/'
this is 7 in a number

命令中 digit 7，被替換成了 7。樣式匹配到的子串是 7，(..) 用于匹配子串，對(duì)于匹配到的第一個(gè)子串就標(biāo)記為 \1 ，依此類推匹配到的第二個(gè)結(jié)果就是 \2 ，例如：

echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'
BBB aaa

love被標(biāo)記為1，所有l(wèi)oveable會(huì)被替換成lovers，并打印出來(lái)：

sed -n 's/\(love\)able/\1rs/p' file

組合多個(gè)表達(dá)式

sed '表達(dá)式' | sed '表達(dá)式'

等價(jià)于：

sed '表達(dá)式; 表達(dá)式'

引用

sed表達(dá)式可以使用單引號(hào)來(lái)引用，但是如果表達(dá)式內(nèi)部包含變量字符串，就需要使用雙引號(hào)。

test=hello
echo hello WORLD | sed "s/$test/HELLO"
HELLO WORLD

選定行的范圍：,（逗號(hào)）

所有在模板test和check所確定的范圍內(nèi)的行都被打印：

sed -n '/test/,/check/p' file

打印從第5行開始到第一個(gè)包含以test開始的行之間的所有行：

sed -n '5,/^test/p' file

對(duì)于模板test和west之間的行，每行的末尾用字符串a(chǎn)aa bbb替換：

sed '/test/,/west/s/$/aaa bbb/' file

多點(diǎn)編輯：e命令

-e選項(xiàng)允許在同一行里執(zhí)行多條命令：

sed -e '1,5d' -e 's/test/check/' file

上面sed表達(dá)式的第一條命令刪除1至5行，第二條命令用check替換test。命令的執(zhí)行順序?qū)Y(jié)果有影響。如果兩個(gè)命令都是替換命令，那么第一個(gè)替換命令將影響第二個(gè)替換命令的結(jié)果。

和 -e 等價(jià)的命令是 --expression：

sed --expression='s/test/check/' --expression='/love/d' file

從文件讀入：r命令

file里的內(nèi)容被讀進(jìn)來(lái)，顯示在與test匹配的行后面，如果匹配多行，則file的內(nèi)容將顯示在所有匹配行的下面：

sed '/test/r file' filename

寫入文件：w命令  

在example中所有包含test的行都被寫入file里：

sed -n '/test/w file' example

追加（行下）：a\命令

將 this is a test line 追加到 以test 開頭的行后面：

sed '/^test/a\this is a test line' file

在 test.conf 文件第2行之后插入 this is a test line：

sed -i '2a\this is a test line' test.conf

插入（行上）：i\命令

將 this is a test line 追加到以test開頭的行前面：

sed '/^test/i\this is a test line' file

在test.conf文件第5行之前插入this is a test line：

sed -i '5i\this is a test line' test.conf

下一個(gè)：n命令

如果test被匹配，則移動(dòng)到匹配行的下一行，替換這一行的aa，變?yōu)閎b，并打印該行，然后繼續(xù)：

sed '/test/{ n; s/aa/bb/; }' file

變形：y命令

把1~10行內(nèi)所有abcde轉(zhuǎn)變?yōu)榇髮?，注意，正則表達(dá)式元字符不能使用這個(gè)命令：

sed '1,10y/abcde/ABCDE/' file

退出：q命令

打印完第10行后，退出sed

sed '10q' file

保持和獲取：h命令和G命令

在sed處理文件的時(shí)候，每一行都被保存在一個(gè)叫模式空間的臨時(shí)緩沖區(qū)中，除非行被刪除或者輸出被取消，否則所有被處理的行都將 打印在屏幕上。接著模式空間被清空，并存入新的一行等待處理。

sed -e '/test/h' -e '$G' file

在這個(gè)例子里，匹配test的行被找到后，將存入模式空間，h命令將其復(fù)制并存入一個(gè)稱為保持緩存區(qū)的特殊緩沖區(qū)內(nèi)。第二條語(yǔ)句的意思是，當(dāng)?shù)竭_(dá)最后一行后，G命令取出保持緩沖區(qū)的行，然后把它放回模式空間中，且追加到現(xiàn)在已經(jīng)存在于模式空間中的行的末尾。在這個(gè)例子中就是追加到最后一行。簡(jiǎn)單來(lái)說(shuō)，任何包含test的行都被復(fù)制并追加到該文件的末尾。

保持和互換：h命令和x命令

互換模式空間和保持緩沖區(qū)的內(nèi)容。也就是把包含test與check的行互換：

sed -e '/test/h' -e '/check/x' file

腳本scriptfile

sed腳本是一個(gè)sed的命令清單，啟動(dòng)Sed時(shí)以-f選項(xiàng)引導(dǎo)腳本文件名。Sed對(duì)于腳本中輸入的命令非常挑剔，在命令的末尾不能有任何空白或文本，如果在一行中有多個(gè)命令，要用分號(hào)分隔。以#開頭的行為注釋行，且不能跨行。

sed [options] -f scriptfile file(s)

打印奇數(shù)行或偶數(shù)行

方法1：

sed -n 'p;n' test.txt  #奇數(shù)行
sed -n 'n;p' test.txt  #偶數(shù)行

方法2：

sed -n '1~2p' test.txt  #奇數(shù)行
sed -n '2~2p' test.txt  #偶數(shù)行

打印匹配字符串的下一行

grep -A 1 SCC URFILE
sed -n '/SCC/{n;p}' URFILE
awk '/SCC/{getline; print}' URFILE