刪除 core 文件
# find ~ -name core -exec file {} \; -exec rm -i {} \; 查看使用文件的進程 # fuser -u /usr/my_application/foo 搜索字符串 #grep "hello world" `find ./ -name "*" -print -exec file {} \; |grep text | cut -d ‘:‘ -f 1` 目錄 #alias dir=‘ls -Lla|grep ^d‘ 輸出 IP 地址 #ifconfig | grep "inet addr" | grep -v "127.0.0.1" | awk ‘{print $2;}‘ | awk -F‘:‘ ‘{print $2;}‘ 按文件長度排序 #ls -l | grep ^- | sort -nr -k 5 | more #ls -lR | grep ^- | sort -nr -k 5 | more 二進制文件中的可打印字符 # strings name of binary file 一個月的最后一個星期天執(zhí)行任務(wù): 18 * * * 0 [`date "+%d"` -gt 24] && /path/to/script 修改擴展名: # for f in *.abc; do mv $f `basename $f .abc`.def ; done 查看硬盤情況:(Solaris) # iostat -En 整個目錄樹拷貝: # cd # find . -depth -print | cpio -pudm 按長度排序目錄下所有文件 # du -a | sort -n -r | more 檢查文件內(nèi)每行是否有相同列數(shù) #awk ‘{print NF}‘ test.txt |sort -nu|more 去除空行 #sed -e ‘/^[ ]*$/d‘ InputFile >OutputFile 查看進程占用的對應(yīng)文件 inode 號(Solaris) #/usr/proc/bin/pfiles 刪除指定用戶的所有進程 # kill -9 `ps -fu username |awk ‘{ print $2 }‘|grep -v PID` Bash 操作快捷鍵: ctrl-l -- clear screen ctrl-r -- does a search in the previously given commands so that you don‘t have to repeat long command. ctrl-u -- clears the typing before the hotkey. ctrl-a -- takes you to the begining of the command you are currently typing. ctrl-e -- takes you to the end of the command you are currently typing in. esc-b -- takes you back by one word while typing a command. ctrl-c -- kills the current command or process. ctrl-d -- kills the shell. ctrl-h -- deletes one letter at a time from the command you are typing in. ctrl-z -- puts the currently running process in background, the process can be brought back to run state by using fg command. esc-p -- like ctrl-r lets you search through the previously given commands. esc-. -- gives the last command you typed. 文件名里的空格替換為下劃線 # for i in $1 ; do mv "$i" `echo $i | sed ‘s/ /_/g‘` ; done 查看遠(yuǎn)程主機時間 # telnet remotehostname 13|grep : 只顯示 top 命令的states 行 #while true; do top -d 2 | col -b | grep states; sleep 10; done 加速顯示 tar 文件內(nèi)容 # tar tvfn 讓 目錄名也能 Spell Check #shopt -s cdspell 當(dāng)輸錯命令時,系統(tǒng)會自動進入類似的目錄 查看 Sun 服務(wù)器型號 # /usr/platform/`uname -m`/sbin/prtdiag -v | grep `uname -m` 在vi 中一行文字前后添加字符 :/^\(.*\)/s//我要 \1 添加/ 查找某包含字符串(Verita)軟件包的詳細(xì)信息 (Solaris) pkginfo -l `pkginfo | grep -i VERITAS | awk ‘{print $2}‘` Sun 的一大堆腳本 http://www./bigadmin/scripts/index.html ------------------------------------------------------------------------- SED單行腳本快速參考(Unix 流編輯器) 2005年12月29日 英文標(biāo)題:USEFUL ONE-LINE SCRIPTS FOR SED (Unix stream editor) 原標(biāo)題:HANDY ONE-LINERS FOR SED (Unix stream editor) 整理:Eric Pement - 電郵:pemente[at]northpark[dot]edu 版本5.5 譯者:Joe Hong - 電郵:hq00e[at]126[dot]com 在以下地址可找到本文檔的最新(英文)版本: http://sed./sed1line.txt http://www./sed/sed1line.txt 其他語言版本: 中文 - http://sed./sed1line_zh-CN.html 捷克語 - http://sed./sed1line_cz.html 荷語 - http://sed./sed1line_nl.html 法語 - http://sed./sed1line_fr.html 德語 - http://sed./sed1line_de.html 葡語 - http://sed./sed1line_pt-BR.html 文本間隔: -------- # 在每一行后面增加一空行 sed G # 將原來的所有空行刪除并在每一行后面增加一空行。 # 這樣在輸出的文本中每一行后面將有且只有一空行。 sed ‘/^$/d;G‘ # 在每一行后面增加兩行空行 sed ‘G;G‘ # 將第一個腳本所產(chǎn)生的所有空行刪除(即刪除所有偶數(shù)行) sed ‘n;d‘ # 在匹配式樣“regex”的行之前插入一空行 sed ‘/regex/{x;p;x;}‘ # 在匹配式樣“regex”的行之后插入一空行 sed ‘/regex/G‘ # 在匹配式樣“regex”的行之前和之后各插入一空行 sed ‘/regex/{x;p;x;G;}‘ 編號: -------- # 為文件中的每一行進行編號(簡單的左對齊方式)。這里使用了“制表符” # (tab,見本文末尾關(guān)于‘\t‘的用法的描述)而不是空格來對齊邊緣。 sed = filename | sed ‘N;s/\n/\t/‘ # 對文件中的所有行編號(行號在左,文字右端對齊)。 sed = filename | sed ‘N; s/^/ /; s/ *\(.\{6,\}\)\n/\1 /‘ # 對文件中的所有行編號,但只顯示非空白行的行號。 sed ‘/./=‘ filename | sed ‘/./N; s/\n/ /‘ # 計算行數(shù) (模擬 "wc -l") sed -n ‘$=‘ 文本轉(zhuǎn)換和替代: -------- # Unix環(huán)境:轉(zhuǎn)換DOS的新行符(CR/LF)為Unix格式。 sed ‘s/.$//‘ # 假設(shè)所有行以CR/LF結(jié)束 sed ‘s/^M$//‘ # 在bash/tcsh中,將按Ctrl-M改為按Ctrl-V sed ‘s/\x0D$//‘ # ssed、gsed 3.02.80,及更高版本 # Unix環(huán)境:轉(zhuǎn)換Unix的新行符(LF)為DOS格式。 sed "s/$/`echo -e \\\r`/" # 在ksh下所使用的命令 sed ‘s/$‘"/`echo \\\r`/" # 在bash下所使用的命令 sed "s/$/`echo \\\r`/" # 在zsh下所使用的命令 sed ‘s/$/\r/‘ # gsed 3.02.80 及更高版本 # DOS環(huán)境:轉(zhuǎn)換Unix新行符(LF)為DOS格式。 sed "s/$//" # 方法 1 sed -n p # 方法 2 # DOS環(huán)境:轉(zhuǎn)換DOS新行符(CR/LF)為Unix格式。 # 下面的腳本只對UnxUtils sed 4.0.7 及更高版本有效。要識別UnxUtils版本的 # sed可以通過其特有的“--text”選項。你可以使用幫助選項(“--help”)看 # 其中有無一個“--text”項以此來判斷所使用的是否是UnxUtils版本。其它DOS # 版本的的sed則無法進行這一轉(zhuǎn)換。但可以用“tr”來實現(xiàn)這一轉(zhuǎn)換。 sed "s/\r//" infile >outfile # UnxUtils sed v4.0.7 或更高版本 tr -d \r <infile >outfile # GNU tr 1.22 或更高版本 # 將每一行前導(dǎo)的“空白字符”(空格,制表符)刪除 # 使之左對齊 sed ‘s/^[ \t]*//‘ # 見本文末尾關(guān)于‘\t‘用法的描述 # 將每一行拖尾的“空白字符”(空格,制表符)刪除 sed ‘s/[ \t]*$//‘ # 見本文末尾關(guān)于‘\t‘用法的描述 # 將每一行中的前導(dǎo)和拖尾的空白字符刪除 sed ‘s/^[ \t]*//;s/[ \t]*$//‘ # 在每一行開頭處插入5個空格(使全文向右移動5個字符的位置) sed ‘s/^/ /‘ # 以79個字符為寬度,將所有文本右對齊 sed -e :a -e ‘s/^.\{1,78\}$/ &/;ta‘ # 78個字符外加最后的一個空格 # 以79個字符為寬度,使所有文本居中。在方法1中,為了讓文本居中每一行的前 # 頭和后頭都填充了空格。 在方法2中,在居中文本的過程中只在文本的前面填充 # 空格,并且最終這些空格將有一半會被刪除。此外每一行的后頭并未填充空格。 sed -e :a -e ‘s/^.\{1,77\}$/ & /;ta‘ # 方法1 sed -e :a -e ‘s/^.\{1,77\}$/ &/;ta‘ -e ‘s/\( *\)\1/\1/‘ # 方法2 # 在每一行中查找字串“foo”,并將找到的“foo”替換為“bar” sed ‘s/foo/bar/‘ # 只替換每一行中的第一個“foo”字串 sed ‘s/foo/bar/4‘ # 只替換每一行中的第四個“foo”字串 sed ‘s/foo/bar/g‘ # 將每一行中的所有“foo”都換成“bar” sed ‘s/\(.*\)foo\(.*foo\)/\1bar\2/‘ # 替換倒數(shù)第二個“foo” sed ‘s/\(.*\)foo/\1bar/‘ # 替換最后一個“foo” # 只在行中出現(xiàn)字串“baz”的情況下將“foo”替換成“bar” sed ‘/baz/s/foo/bar/g‘ # 將“foo”替換成“bar”,并且只在行中未出現(xiàn)字串“baz”的情況下替換 sed ‘/baz/!s/foo/bar/g‘ # 不管是“scarlet”“ruby”還是“puce”,一律換成“red” sed ‘s/scarlet/red/g;s/ruby/red/g;s/puce/red/g‘ #對多數(shù)的sed都有效 gsed ‘s/scarlet\|ruby\|puce/red/g‘ # 只對GNU sed有效 # 倒置所有行,第一行成為最后一行,依次類推(模擬“tac”)。 # 由于某些原因,使用下面命令時HHsed v1.5會將文件中的空行刪除 sed ‘1!G;h;$!d‘ # 方法1 sed -n ‘1!G;h;$p‘ # 方法2 # 將行中的字符逆序排列,第一個字成為最后一字,……(模擬“rev”) sed ‘/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//‘ # 將每兩行連接成一行(類似“paste”) sed ‘$!N;s/\n/ /‘ # 如果當(dāng)前行以反斜杠“\”結(jié)束,則將下一行并到當(dāng)前行末尾 # 并去掉原來行尾的反斜杠 sed -e :a -e ‘/\\$/N; s/\\\n//; ta‘ # 如果當(dāng)前行以等號開頭,將當(dāng)前行并到上一行末尾 # 并以單個空格代替原來行頭的“=” sed -e :a -e ‘$!N;s/\n=/ /;ta‘ -e ‘P;D‘ # 為數(shù)字字串增加逗號分隔符號,將“1234567”改為“1,234,567” gsed ‘:a;s/\B[0-9]\{3\}\>/,&/;ta‘ # GNU sed sed -e :a -e ‘s/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/;ta‘ # 其他sed # 為帶有小數(shù)點和負(fù)號的數(shù)值增加逗號分隔符(GNU sed) gsed -r ‘:a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/\1\2,\3/g;ta‘ # 在每5行后增加一空白行 (在第5,10,15,20,等行后增加一空白行) gsed ‘0~5G‘ # 只對GNU sed有效 sed ‘n;n;n;n;G;‘ # 其他sed 選擇性地顯示特定行: -------- # 顯示文件中的前10行 (模擬“head”的行為) sed 10q # 顯示文件中的第一行 (模擬“head -1”命令) sed q # 顯示文件中的最后10行 (模擬“tail”) sed -e :a -e ‘$q;N;11,$D;ba‘ # 顯示文件中的最后2行(模擬“tail -2”命令) sed ‘$!N;$!D‘ # 顯示文件中的最后一行(模擬“tail -1”) sed ‘$!d‘ # 方法1 sed -n ‘$p‘ # 方法2 # 顯示文件中的倒數(shù)第二行 sed -e ‘$!{h;d;}‘ -e x # 當(dāng)文件中只有一行時,輸入空行 sed -e ‘1{$q;}‘ -e ‘$!{h;d;}‘ -e x # 當(dāng)文件中只有一行時,顯示該行 sed -e ‘1{$d;}‘ -e ‘$!{h;d;}‘ -e x # 當(dāng)文件中只有一行時,不輸出 # 只顯示匹配正則表達式的行(模擬“grep”) sed -n ‘/regexp/p‘ # 方法1 sed ‘/regexp/!d‘ # 方法2 # 只顯示“不”匹配正則表達式的行(模擬“grep -v”) sed -n ‘/regexp/!p‘ # 方法1,與前面的命令相對應(yīng) sed ‘/regexp/d‘ # 方法2,類似的語法 # 查找“regexp”并將匹配行的上一行顯示出來,但并不顯示匹配行 sed -n ‘/regexp/{g;1!p;};h‘ # 查找“regexp”并將匹配行的下一行顯示出來,但并不顯示匹配行 sed -n ‘/regexp/{n;p;}‘ # 顯示包含“regexp”的行及其前后行,并在第一行之前加上“regexp”所 # 在行的行號 (類似“grep -A1 -B1”) sed -n -e ‘/regexp/{=;x;1!p;g;$!N;p;D;}‘ -e h # 顯示包含“AAA”、“BBB”或“CCC”的行(任意次序) sed ‘/AAA/!d; /BBB/!d; /CCC/!d‘ # 字串的次序不影響結(jié)果 # 顯示包含“AAA”、“BBB”和“CCC”的行(固定次序) sed ‘/AAA.*BBB.*CCC/!d‘ # 顯示包含“AAA”“BBB”或“CCC”的行 (模擬“egrep”) sed -e ‘/AAA/b‘ -e ‘/BBB/b‘ -e ‘/CCC/b‘ -e d # 多數(shù)sed gsed ‘/AAA\|BBB\|CCC/!d‘ # 對GNU sed有效 # 顯示包含“AAA”的段落 (段落間以空行分隔) # HHsed v1.5 必須在“x;”后加入“G;”,接下來的3個腳本都是這樣 sed -e ‘/./{H;$!d;}‘ -e ‘x;/AAA/!d;‘ # 顯示包含“AAA”“BBB”和“CCC”三個字串的段落 (任意次序) sed -e ‘/./{H;$!d;}‘ -e ‘x;/AAA/!d;/BBB/!d;/CCC/!d‘ # 顯示包含“AAA”、“BBB”、“CCC”三者中任一字串的段落 (任意次序) sed -e ‘/./{H;$!d;}‘ -e ‘x;/AAA/b‘ -e ‘/BBB/b‘ -e ‘/CCC/b‘ -e d gsed ‘/./{H;$!d;};x;/AAA\|BBB\|CCC/b;d‘ # 只對GNU sed有效 # 顯示包含65個或以上字符的行 sed -n ‘/^.\{65\}/p‘ # 顯示包含65個以下字符的行 sed -n ‘/^.\{65\}/!p‘ # 方法1,與上面的腳本相對應(yīng) sed ‘/^.\{65\}/d‘ # 方法2,更簡便一點的方法 # 顯示部分文本——從包含正則表達式的行開始到最后一行結(jié)束 sed -n ‘/regexp/,$p‘ # 顯示部分文本——指定行號范圍(從第8至第12行,含8和12行) sed -n ‘8,12p‘ # 方法1 sed ‘8,12!d‘ # 方法2 # 顯示第52行 sed -n ‘52p‘ # 方法1 sed ‘52!d‘ # 方法2 sed ‘52q;d‘ # 方法3, 處理大文件時更有效率 # 從第3行開始,每7行顯示一次 gsed -n ‘3~7p‘ # 只對GNU sed有效 sed -n ‘3,${p;n;n;n;n;n;n;}‘ # 其他sed # 顯示兩個正則表達式之間的文本(包含) sed -n ‘/Iowa/,/Montana/p‘ # 區(qū)分大小寫方式 選擇性地刪除特定行: -------- # 顯示通篇文檔,除了兩個正則表達式之間的內(nèi)容 sed ‘/Iowa/,/Montana/d‘ # 刪除文件中相鄰的重復(fù)行(模擬“uniq”) # 只保留重復(fù)行中的第一行,其他行刪除 sed ‘$!N; /^\(.*\)\n\1$/!P; D‘ # 刪除文件中的重復(fù)行,不管有無相鄰。注意hold space所能支持的緩存 # 大小,或者使用GNU sed。 sed -n ‘G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P‘ # 刪除除重復(fù)行外的所有行(模擬“uniq -d”) sed ‘$!N; s/^\(.*\)\n\1$/\1/; t; D‘ # 刪除文件中開頭的10行 sed ‘1,10d‘ # 刪除文件中的最后一行 sed ‘$d‘ # 刪除文件中的最后兩行 sed ‘N;$!P;$!D;$d‘ # 刪除文件中的最后10行 sed -e :a -e ‘$d;N;2,10ba‘ -e ‘P;D‘ # 方法1 sed -n -e :a -e ‘1,10!{P;N;D;};N;ba‘ # 方法2 # 刪除8的倍數(shù)行 gsed ‘0~8d‘ # 只對GNU sed有效 sed ‘n;n;n;n;n;n;n;d;‘ # 其他sed # 刪除匹配式樣的行 sed ‘/pattern/d‘ # 刪除含pattern的行。當(dāng)然pattern # 可以換成任何有效的正則表達式 # 刪除文件中的所有空行(與“grep ‘.‘ ”效果相同) sed ‘/^$/d‘ # 方法1 sed ‘/./!d‘ # 方法2 # 只保留多個相鄰空行的第一行。并且刪除文件頂部和尾部的空行。 # (模擬“cat -s”) sed ‘/./,/^$/!d‘ #方法1,刪除文件頂部的空行,允許尾部保留一空行 sed ‘/^$/N;/\n$/D‘ #方法2,允許頂部保留一空行,尾部不留空行 # 只保留多個相鄰空行的前兩行。 sed ‘/^$/N;/\n$/N;//D‘ # 刪除文件頂部的所有空行 sed ‘/./,$!d‘ # 刪除文件尾部的所有空行 sed -e :a -e ‘/^\n*$/{$d;N;ba‘ -e ‘}‘ # 對所有sed有效 sed -e :a -e ‘/^\n*$/N;/\n$/ba‘ # 同上,但只對 gsed 3.02.*有效 # 刪除每個段落的最后一行 sed -n ‘/^$/{p;h;};/./{x;/./p;}‘ 特殊應(yīng)用: -------- # 移除手冊頁(man page)中的nroff標(biāo)記。在Unix System V或bash shell下使 # 用‘echo‘命令時可能需要加上 -e 選項。 sed "s/.`echo \\\b`//g" # 外層的雙括號是必須的(Unix環(huán)境) sed ‘s/.^H//g‘ # 在bash或tcsh中, 按 Ctrl-V 再按 Ctrl-H sed ‘s/.\x08//g‘ # sed 1.5,GNU sed,ssed所使用的十六進制的表示方法 # 提取新聞組或 e-mail 的郵件頭 sed ‘/^$/q‘ # 刪除第一行空行后的所有內(nèi)容 # 提取新聞組或 e-mail 的正文部分 sed ‘1,/^$/d‘ # 刪除第一行空行之前的所有內(nèi)容 # 從郵件頭提取“Subject”(標(biāo)題欄字段),并移除開頭的“Subject:”字樣 sed ‘/^Subject: */!d; s///;q‘ # 從郵件頭獲得回復(fù)地址 sed ‘/^Reply-To:/q; /^From:/h; /./d;g;q‘ # 獲取郵件地址。在上一個腳本所產(chǎn)生的那一行郵件頭的基礎(chǔ)上進一步的將非電郵 # 地址的部分剃除。(見上一腳本) sed ‘s/ *(.*)//; s/>.*//; s/.*[:<] *//‘ # 在每一行開頭加上一個尖括號和空格(引用信息) sed ‘s/^/> /‘ # 將每一行開頭處的尖括號和空格刪除(解除引用) sed ‘s/^> //‘ # 移除大部分的HTML標(biāo)簽(包括跨行標(biāo)簽) sed -e :a -e ‘s/<[^>]*>//g;/</N;//ba‘ # 將分成多卷的uuencode文件解碼。移除文件頭信息,只保留uuencode編碼部分。 # 文件必須以特定順序傳給sed。下面第一種版本的腳本可以直接在命令行下輸入; # 第二種版本則可以放入一個帶執(zhí)行權(quán)限的shell腳本中。(由Rahul Dhesi的一 # 個腳本修改而來。) sed ‘/^end/,/^begin/d‘ file1 file2 ... fileX | uudecode # vers. 1 sed ‘/^end/,/^begin/d‘ "$@" | uudecode # vers. 2 # 將文件中的段落以字母順序排序。段落間以(一行或多行)空行分隔。GNU sed使用 # 字元“\v”來表示垂直制表符,這里用它來作為換行符的占位符——當(dāng)然你也可以 # 用其他未在文件中使用的字符來代替它。 sed ‘/./{H;d;};x;s/\n/={NL}=/g‘ file | sort | sed ‘1s/={NL}=//;s/={NL}=/\n/g‘ gsed ‘/./{H;d};x;y/\n/\v/‘ file | sort | sed ‘1s/\v//;y/\v/\n/‘ # 分別壓縮每個.TXT文件,壓縮后刪除原來的文件并將壓縮后的.ZIP文件 # 命名為與原來相同的名字(只是擴展名不同)。(DOS環(huán)境:“dir /b” # 顯示不帶路徑的文件名)。 echo @echo off >zipup.bat dir /b *.txt | sed "s/^\(.*\)\.TXT/pkzip -mo \1 \1.TXT/" >>zipup.bat 使用SED:Sed接受一個或多個編輯命令,并且每讀入一行后就依次應(yīng)用這些命令。 當(dāng)讀入第一行輸入后,sed對其應(yīng)用所有的命令,然后將結(jié)果輸出。接著再讀入第二 行輸入,對其應(yīng)用所有的命令……并重復(fù)這個過程。上一個例子中sed由標(biāo)準(zhǔn)輸入設(shè) 備(即命令解釋器,通常是以管道輸入的形式)獲得輸入。在命令行給出一個或多 個文件名作為參數(shù)時,這些文件取代標(biāo)準(zhǔn)輸入設(shè)備成為sed的輸入。sed的輸出將被 送到標(biāo)準(zhǔn)輸出(顯示器)。因此: cat filename | sed ‘10q‘ # 使用管道輸入 sed ‘10q‘ filename # 同樣效果,但不使用管道輸入 sed ‘10q‘ filename > newfile # 將輸出轉(zhuǎn)移(重定向)到磁盤上 要了解sed命令的使用說明,包括如何通過腳本文件(而非從命令行)來使用這些命 令,請參閱《sed & awk》第二版,作者Dale Dougherty和Arnold Robbins (O‘Reilly,1997;http://www.),《UNIX Text Processing》,作者 Dale Dougherty和Tim O‘Reilly(Hayden Books,1987)或者是Mike Arst寫的教 程——壓縮包的名稱是“U-SEDIT2.ZIP”(在許多站點上都找得到)。要發(fā)掘sed 的潛力,則必須對“正則表達式”有足夠的理解。正則表達式的資料可以看 《Mastering Regular Expressions》作者Jeffrey Friedl(O‘reilly 1997)。 Unix系統(tǒng)所提供的手冊頁(“man”)也會有所幫助(試一下這些命令 “man sed”、“man regexp”,或者看“man ed”中關(guān)于正則表達式的部分),但 手冊提供的信息比較“抽象”——這也是它一直為人所詬病的。不過,它本來就不 是用來教初學(xué)者如何使用sed或正則表達式的教材,而只是為那些熟悉這些工具的人 提供的一些文本參考。 括號語法:前面的例子對sed命令基本上都使用單引號(‘...‘)而非雙引號 ("...")這是因為sed通常是在Unix平臺上使用。單引號下,Unix的shell(命令 解釋器)不會對美元符($)和后引號(`...`)進行解釋和執(zhí)行。而在雙引號下 美元符會被展開為變量或參數(shù)的值,后引號中的命令被執(zhí)行并以輸出的結(jié)果代替 后引號中的內(nèi)容。而在“csh”及其衍生的shell中使用感嘆號(!)時需要在其前 面加上轉(zhuǎn)義用的反斜杠(就像這樣:\!)以保證上面所使用的例子能正常運行 (包括使用單引號的情況下)。DOS版本的Sed則一律使用雙引號("...")而不是 引號來圈起命令。 ‘\t‘的用法:為了使本文保持行文簡潔,我們在腳本中使用‘\t‘來表示一個制表 符。但是現(xiàn)在大部分版本的sed還不能識別‘\t‘的簡寫方式,因此當(dāng)在命令行中為 腳本輸入制表符時,你應(yīng)該直接按TAB鍵來輸入制表符而不是輸入‘\t‘。下列的工 具軟件都支持‘\t‘做為一個正則表達式的字元來表示制表符:awk、perl、HHsed、 sedmod以及GNU sed v3.02.80。 不同版本的SED:不同的版本間的sed會有些不同之處,可以想象它們之間在語法上 會有差異。具體而言,它們中大部分不支持在編輯命令中間使用標(biāo)簽(:name)或分 支命令(b,t),除非是放在那些的末尾。這篇文檔中我們盡量選用了可移植性較高 的語法,以使大多數(shù)版本的sed的用戶都能使用這些腳本。不過GNU版本的sed允許使 用更簡潔的語法。想像一下當(dāng)讀者看到一個很長的命令時的心情: sed -e ‘/AAA/b‘ -e ‘/BBB/b‘ -e ‘/CCC/b‘ -e d 好消息是GNU sed能讓命令更緊湊: sed ‘/AAA/b;/BBB/b;/CCC/b;d‘ # 甚至可以寫成 sed ‘/AAA\|BBB\|CCC/b;d‘ 此外,請注意雖然許多版本的sed接受象“/one/ s/RE1/RE2/”這種在‘s‘前帶有空 格的命令,但這些版本中有些卻不接受這樣的命令:“/one/! s/RE1/RE2/”。這時 只需要把中間的空格去掉就行了。 速度優(yōu)化:當(dāng)由于某種原因(比如輸入文件較大、處理器或硬盤較慢等)需要提高 命令執(zhí)行速度時,可以考慮在替換命令(“s/.../.../”)前面加上地址表達式來 提高速度。舉例來說: sed ‘s/foo/bar/g‘ filename # 標(biāo)準(zhǔn)替換命令 sed ‘/foo/ s/foo/bar/g‘ filename # 速度更快 sed ‘/foo/ s//bar/g‘ filename # 簡寫形式 當(dāng)只需要顯示文件的前面的部分或需要刪除后面的內(nèi)容時,可以在腳本中使用“q” 命令(退出命令)。在處理大的文件時,這會節(jié)省大量時間。因此: sed -n ‘45,50p‘ filename # 顯示第45到50行 sed -n ‘51q;45,50p‘ filename # 一樣,但快得多 如果你有其他的單行腳本想與大家分享或者你發(fā)現(xiàn)了本文檔中錯誤的地方,請發(fā)電 子郵件給本文檔的作者(Eric Pement)。郵件中請記得提供你所使用的sed版本、 該sed所運行的操作系統(tǒng)及對問題的適當(dāng)描述。本文所指的單行腳本指命令行的長 度在65個字符或65個以下的sed腳本〔譯注1〕。本文檔的各種腳本是由以下所列作 者所寫或提供: Al Aab # 建立了“seders”郵件列表 Edgar Allen # 許多方面 Yiorgos Adamopoulos # 許多方面 Dale Dougherty # 《sed & awk》作者 Carlos Duarte # 《do it with sed》作者 Eric Pement # 本文檔的作者 Ken Pizzini # GNU sed v3.02 的作者 S.G. Ravenhall # 去html標(biāo)簽?zāi)_本 Greg Ubben # 有諸多貢獻并提供了許多幫助 ------------------------------------------------------------------------- 譯注1:大部分情況下,sed腳本無論多長都能寫成單行的形式(通過`-e‘選項和`;‘ 號)——只要命令解釋器支持,所以這里說的單行腳本除了能寫成一行還對長度有 所限制。因為這些單行腳本的意義不在于它們是以單行的形式出現(xiàn)。而是讓用戶能 方便地在命令行中使用這些緊湊的腳本才是其意義所在。 vi中顯示行號: :set nu 去文件尾部:G 去行尾 $ 添加 i a 刪除 x 腳本和行文字處理 給文件批量加前綴: 先用awk生成命令列表: ls -1 *|awk ‘{print "uniq -c "$1" pre_"$1"|sort -rn"}‘ > batch_rename.sh 然后執(zhí)行生成的腳本: sh batch_rename.sh 我的每月訪問TOP10 統(tǒng)計腳本: awk -F ‘\t‘ ‘{print $4}‘ 2004_2.txt| grep chedong.com/tech/|sort |uniq -c|sort -rn|head -10 awk -F ‘\t‘ 用TAB分割; grep chedong.com/tech 只列出筆記目錄下的文檔; sort 排序 uniq -c 匯總計數(shù) sort -rn 按數(shù)值排序 head -10 TOP 10 我的每月來源TOP10統(tǒng)計腳本: grep --binary-files=text chedong.com 2004_2.txt |awk -F ‘\t‘ ‘{print $3}‘| awk -F ‘/‘ ‘{print "http://"$3}‘|grep -v chedong.com|sort|uniq -c |sort -rn|head -10 grep --binary-files=text 強制按text文本處理 awk -F ‘\t‘ 用TAB分割; awk -F ‘/‘ 獲得域名; grep -v chedong.com 排除自身網(wǎng)站; sort 排序 uniq -c 匯總計數(shù) sort -rn 按數(shù)值排序 head -10 TOP 10 grep 打印上下文5行 grep -A 5 -B 5 sometext my.file 去掉#開頭的注釋,如:apache的httpd.conf grep -v "#" filename 打印大文檔中的某一行: sed -n 1234p access_log 將每4行數(shù)據(jù)變成一行 pr -a -J -T --columns=4 source.log -a 橫向輸出 -J 合并成行 -T 忽略頁頭和頁尾 --columns=4 每4個單元一次 已一些簡單的例子,解說 sed 的使用 最後,還列出 sed 的 manual page --------------------------------------------------------------- 1. 將 filename 檔案內(nèi)的 Giga 字串取代成 GigaRama sed s/Giga/GigaRama/ filename --------------------------------------------------------------- 2. 將 filename 檔案內(nèi)的 xfish 字串那一行刪除 sed /xfish/d filename --------------------------------------------------------------- 3. 指定哪一行,將之刪除 sed ‘4d‘ filename --------------------------------------------------------------- 4. 或指定第一行到第幾行,將之刪除 sed ‘1,4d‘ filename --------------------------------------------------------------- 5. 將第一行到第五行印出 sed -n 1,5p filename --------------------------------------------------------------- 6. 將 file 檔案內(nèi)的出現(xiàn) xfish 字串的那一行單獨寫到 file2 內(nèi) sed -n ‘/xfish/w file2‘ file --------------------------------------------------------------- 7. 萬用字元的使用,將 file 檔案內(nèi)的 xfis? 哪一行寫到 file2 內(nèi) sed ‘/xfis./w file2‘ file --------------------------------------------------------------- 8. 萬用字串的使用,將 file 檔案內(nèi)的 xfis* 哪一行寫到 file2 內(nèi) sed ‘/xfis*/w file2‘ file --------------------------------------------------------------- 9. 選定字元的使用,將 file 檔案內(nèi)的 xfis[abcd] 哪一行寫到 file2 內(nèi) sed ‘/xfis[abcd]/w file2‘ file --------------------------------------------------------------- 10. 特別符號的取消,利用 / sed s/\<title\>/\<TITLE\>/ file --------------------------------------------------------------- 11. 一行的起頭的取代,將 file 檔案的每一行起頭都加上 Hi.. sed s/^/Hi.. / file --------------------------------------------------------------- 12. 一行的結(jié)尾的取代,將 file 檔案的每一行結(jié)尾都加上 Hi.. sed s/$/Hi.. / file --------------------------------------------------------------- 13. 多重條件的指定,利用 -e 選項 sed -e ‘s/Giga/GigaRama/‘ -e ‘s/^/Hi../‘ file --------------------------------------------------------------- 下載解包:wget tar gz wget -P output_dir --cut-dirs=1 -nH -m ftp://username:password@123.123.123.123:21/dir1/dir2/ 選項說明: -P 指定輸出目錄名 --cut-dirs=2 不創(chuàng)建目錄層次 dir1/dir2/ -nH 不創(chuàng)建域名目錄:123.123.123.123/ -m 鏡像 例子: wget -P backup --cut-dir=1 -nH ftp://myname:mypass@www.chedong.com:21/tech/ 打包:使用GZ tar czf house.tgz house 解包:使用gz tar xzf house.tgz 打包:使用bz2 tar cjf house.tbz2 house 解包:使用bz2 tar zjf house.tbz2 ssh -p 12345 username@hostname.com sftp -oPort=12345 username@hostname.com |
|