awk非常的優(yōu)秀，運(yùn)行效率高，而且代碼簡(jiǎn)單，對(duì)格式化的文本處理能力超強(qiáng)?；旧蟝rep和sed能干的活awk全部都能干，而且干得更好。

先來(lái)一個(gè)很爽的例子：
文件a，統(tǒng)計(jì)文件a的第一列中是浮點(diǎn)數(shù)的行的浮點(diǎn)數(shù)的平均值。用awk來(lái)實(shí)現(xiàn)只需要一句話就可以搞定（當(dāng)然，這個(gè)東東用python也可以很輕松的實(shí)現(xiàn)，只是無(wú)論如何都得新建一個(gè)文件；別妄想用bash shell來(lái)做，那可是浮點(diǎn)數(shù)！?。。?br>$cat a
1.021 33
1#.ll   44
2.53 6
ss    7

awk 'BEGIN{total = 0;len = 0} {if($1~/^[0-9]+\.[0-9]*/){total += $1; len++}} END{print total/len}' a

niubility!

awk的語(yǔ)法：
awk [-F re] [parameter...] ['program'] [-f 'programfile'] [in_file_list]

awk里面的BEGIN，END結(jié)構(gòu)：
BEGIN和END中的語(yǔ)句分別在開(kāi)始讀取文件(in_file)之前和讀取完文件之后發(fā)揮作用，可以理解為初始化和掃尾。

awk里面的if..else;   while ; do..while; for; break; continue; printf 語(yǔ)法都和C語(yǔ)言的語(yǔ)法一致；而且awk支持使用if (key in array)這樣的判斷語(yǔ)句（其中，array是數(shù)組，這一點(diǎn)和python的語(yǔ)法非常相像。）；awk支持使用for (key in array)這樣的語(yǔ)法來(lái)遍歷數(shù)組（也是和python的語(yǔ)法很相像。）

我會(huì)用的參數(shù)的說(shuō)明：
-F re：允許awk更改其字段分隔符
-v var=val 把val值賦值給var（變量通信的好方法啊～～今天才知道這個(gè)選項(xiàng)，想想之前寫(xiě)的代碼，抓狂啊～～）如果有多個(gè)變量要賦值，那么就寫(xiě)多個(gè)-v，每個(gè)變量賦值對(duì)應(yīng)一個(gè)-v
e.g. 要打印文件a的第num行到num+num1行之間的行， awk -v num=$num -v num1=$num1 'NR==num,NR==num+num1{print}' a
-f progfile：允許awk調(diào)用并執(zhí)行progfile程序文件，當(dāng)然progfile必須是一個(gè)符合awk語(yǔ)法的程序文件

我會(huì)用的awk內(nèi)置變量：
ARGC    命令行參數(shù)的個(gè)數(shù)
ARGV：命令行參數(shù)數(shù)組
ARGIND 當(dāng)前被處理文件的ARGV標(biāo)志符
e.g 有兩個(gè)文件a 和b
awk '{if(ARGIND==1){print "處理a文件"} if(ARGIND==2){print "處理b文件"}}' a b
文件處理的順序是先掃描完a文件，再掃描b文件

NR 已經(jīng)讀出的記錄數(shù)
FNR   當(dāng)前文件的記錄數(shù)
上面的例子也可以寫(xiě)成這樣：
awk 'NR==FNR{print "處理文件a"} NR > FNR{print "處理文件b"}' a b
輸入文件a和b，由于先掃描a，所以掃描a的時(shí)候必然有NR==FNR，然后掃描b的時(shí)候，F(xiàn)NR從1開(kāi)始計(jì)數(shù)，而NR則接著a的行數(shù)繼續(xù)計(jì)數(shù)，所以NR > FNR

e.g 要顯示文件的第10行至第15行
awk 'NR==10,NR==15{print}' a

FS 輸入字段分隔符（缺省為:space:），相當(dāng)于-F選項(xiàng)
awk -F ':' '{print}' a    和   awk 'BEGIN{FS=":"}{print}' a 是一樣的

OFS輸出字段分隔符（缺省為:space:）
awk -F ':' 'BEGIN{OFS=";"}{print $1,$2,$3}' b
如果cat b為
1:2:3
4:5:6
那么把OFS設(shè)置成";"后就會(huì)輸出
1;2;3
4;5;6
（小注釋?zhuān)篴wk把分割后的第1、2、3個(gè)字段用$1,$2,$3...表示，$0表示整個(gè)記錄（一般就是一整行））

NF：當(dāng)前記錄中的字段個(gè)數(shù)
awk -F ':' '{print NF}' b的輸出為
3
3
表明b的每一行用分隔符":"分割后都3個(gè)字段
可以用NF來(lái)控制輸出符合要求的字段數(shù)的行，這樣可以處理掉一些異常的行
awk -F ':' '{if (NF == 3)print}' b

RS：輸入記錄分隔符，缺省為"\n"
缺省情況下，awk把一行看作一個(gè)記錄；如果設(shè)置了RS，那么awk按照RS來(lái)分割記錄
例如，如果文件c，cat c為
hello world; I want to go swimming tomorrow;hiahia
運(yùn)行 awk 'BEGIN{ RS = ";" } {print}' c 的結(jié)果為
hello world
I want to go swimming tomorrow
hiahia

合理的使用RS和FS可以使得awk處理更多模式的文檔，例如可以一次處理多行，例如文檔d cat d的輸出為
1 2
3 4 5

6 7
8 9 10
11 12

hello
每個(gè)記錄使用空行分割，每個(gè)字段使用換行符分割，這樣的awk也很好寫(xiě)
awk 'BEGIN{ FS = "\n"; RS = ""} {print NF}' d 輸出
2
3
1

ORS：輸出記錄分隔符，缺省為換行符，控制每個(gè)print語(yǔ)句后的輸出符號(hào)
awk 'BEGIN{ FS = "\n"; RS = ""; ORS = ";"} {print NF}' d 輸出
2;3;1

awk的數(shù)組：

awk的數(shù)組是一個(gè)很值得一說(shuō)的東東。awk的數(shù)組從行為上看的話更像關(guān)聯(lián)數(shù)組，或者說(shuō)map、字典，或者說(shuō)散列。awk的數(shù)組接受字符串下標(biāo)，并接受速度很快的in查詢(xún)
文件e是由小寫(xiě)的字母組成，cat e 輸出為
a
b
z
...
如果要統(tǒng)計(jì)不同的字母出現(xiàn)的個(gè)數(shù)，那么可以使用數(shù)組來(lái)實(shí)現(xiàn)
awk '{arr[$0]++} END{ for (key in arr) print key, "-->",arr[key] }' e
使用for( key in arr)來(lái)遍歷數(shù)組的時(shí)候，輸出的次序是不可預(yù)測(cè)的，這一點(diǎn)跟python的字典遍歷是一致的。
在gawk中，可以使用asort內(nèi)置函數(shù)實(shí)現(xiàn)數(shù)組的排序，其他的awk版本中還沒(méi)有發(fā)現(xiàn)有類(lèi)似的排序函數(shù)。一個(gè)折中的辦法是先awk完再用管道傳給sort來(lái)排序。sort使用-k選項(xiàng)可以控制使用指定列排序。

awk的多維數(shù)組：

awk的多維數(shù)組在本質(zhì)上是一維數(shù)組，更確切一點(diǎn)，awk在存儲(chǔ)上并不支持多維數(shù)組。awk提供了邏輯上模擬二維數(shù)組的訪問(wèn)方式。例如，array[2,4] = 1這樣的訪問(wèn)是允許的。awk使用一個(gè)特殊的字符串SUBSEP (\034)作為分割字段，在上面的例子中，關(guān)聯(lián)數(shù)組array存儲(chǔ)的鍵值實(shí)際上是2\0344。

類(lèi)似一維數(shù)組的成員測(cè)試，多維數(shù)組可以使用 if ( (i,j) in array)這樣的語(yǔ)法，但是下標(biāo)必須放置在圓括號(hào)中。
類(lèi)似一維數(shù)組的循環(huán)訪問(wèn)，多維數(shù)組使用 for ( item in array )這樣的語(yǔ)法遍歷數(shù)組。與一維數(shù)組不同的是，多維數(shù)組必須使用split()函數(shù)來(lái)訪問(wèn)單獨(dú)的下標(biāo)分量。split ( item, subscr, SUBSEP)

awk讀取shell中的變量
可以使用-v選項(xiàng)實(shí)現(xiàn)功能
     $b=1
     $cat f
     apple

$awk -v var=$b '{print var, $var}' f
1 apple

除了使用-v選項(xiàng)外，還可以使用"'$variable'"的方式從shell往awk傳遞變量(注意：這里是單引號(hào))
$awk '{print $b, '$b'}' f
apple 1

至于有沒(méi)有辦法把a(bǔ)wk中的變量傳給shell呢，這個(gè)問(wèn)題我是這樣理解的。shell調(diào)用awk實(shí)際上是fork一個(gè)子進(jìn)程出來(lái)，而子進(jìn)程是無(wú)法向父進(jìn)程傳遞變量的，除非用重定向（包括管道）
$a=$(awk '{print $b, '$b'}' f)
$echo $a
apple 1

getline

getline為awk所提供的輸入指令.

其語(yǔ)法如下 :

$awk 'BEGIN{ "date" | getline d; close("date");print d}' f
Sun Nov 9 20:55:12 CST 2008
$awk 'BEGIN{getline name < "/dev/tty"} '
$awk 'BEGIN{while(getline < "/etc/passwd" > 0) { lc++ }; print lc }' f
只要getline的返回值大于0，即讀入一行，循環(huán)就會(huì)繼續(xù)。
getline如果如成功讀取，返回1，否則返回-1，如果遇到EOF，則返回0。getline在讀取的同時(shí)會(huì)設(shè)置NF,NR,FNR等內(nèi)置變量
如果getline后沒(méi)有變量，則默認(rèn)置于$0
$awk 'BEGIN{ while(("ls" | getline) > 0) print}' f
(以上3個(gè)例子來(lái)自UNIX Shells By Example Fourth Edition, Section 6.26.4)

輸出重定向

awk的輸出重定向類(lèi)似于shell的重定向。重定向的目標(biāo)文件名必須用雙引號(hào)引用起來(lái)。
$awk '$4 >=70 {print $1,$2 > "destfile" }' filename
$awk '$4 >=70 {print $1,$2 >> "destfile" }' filename

awk中調(diào)用shell命令：

1)使用管道
awk中的管道概念和shell的管道類(lèi)似，都是使用"|"符號(hào)，在上面getline中{"date" | getline d;}就是使用了管道。如果在awk程序中打開(kāi)了管道，必須先關(guān)閉該管道才能打開(kāi)另一個(gè)管道。也就是說(shuō)一次只能打開(kāi)一個(gè)管道。shell命令必須被雙引號(hào)引用起來(lái)。“如果打算再次在awk程序中使用某個(gè)文件或管道進(jìn)行讀寫(xiě)，則可能要先關(guān)閉程序，因?yàn)槠渲械墓艿罆?huì)保持打開(kāi)狀態(tài)直至腳本運(yùn)行結(jié)束。注意，管道一旦被打開(kāi)，就會(huì)保持打開(kāi)狀態(tài)直至awk退出。因此END塊中的語(yǔ)句也會(huì)收到管道的影響。（可以在END的第一行關(guān)閉管道）”
awk中使用管道有兩種語(yǔ)法，分別是：
awk output | shell input
shell output | awk input

對(duì)于awk output | shell input來(lái)說(shuō)，shell接收awk的輸出，并進(jìn)行處理。需要注意的是，awk的output是先緩存在pipe中，等輸出完畢后再調(diào)用shell命令處理，shell命令只處理一次，而且處理的時(shí)機(jī)是“awk程序結(jié)束時(shí)，或者管道關(guān)閉時(shí)（需要顯式的關(guān)閉管道）”
$awk '/west/{count++} {printf "%s %s\t\t%-15s\n", $3,$4,$1 | "sort +1"} END{close "sort +1"; printf "The number of sales pers in the western"; printf "region is " count "." }' datafile
printf函數(shù)用于將輸出格式化并發(fā)送給管道。所有輸出集齊后，被一同發(fā)送給sort命令。必須用與打開(kāi)時(shí)完全相同的命令來(lái)關(guān)閉管道(sort +1)，否則END塊中的語(yǔ)句將與前面的輸出一起被排序。此處的sort命令只執(zhí)行一次。

在shell output | awk input中awk的input只能是getline函數(shù)。shell執(zhí)行的結(jié)果緩存于pipe中，再傳送給awk處理，如果有多行數(shù)據(jù)，awk的getline命令可能調(diào)用多次。
$awk 'BEGIN{ while(("ls" | getline d) > 0) print d}' f

2)使用system命令

$awk 'BEGIN{system("echo abc")}'
需要注意的是system中應(yīng)該使用shell命令的對(duì)應(yīng)字符串。awk直接把system中的內(nèi)容傳遞給shell，作為shell的命令行。

3)system命令中使用awk的變量
空格是awk中的字符串連接符，如果system中需要使用awk中的變量可以使用空格分隔，或者說(shuō)除了awk的變量外其他一律用""引用起來(lái)。
$awk 'BEGIN{a = 12; system("echo " a) }'

還有好多呀，以后再補(bǔ)充
awk的運(yùn)算符
next等函數(shù)
更多的輸入輸出（輸出到多個(gè)文件，關(guān)閉文件，輸出到命令）
awk的內(nèi)置函數(shù)：

gsub, index, length, match, printf, split, sprintf, substr, tolower, toupper, atan, cos, exp, int, log, rand, sin, sqrt, srand, system