原文地址：http:///2013/11/22/c100k-4-kernel-tuning/

早期的系統(tǒng)，系統(tǒng)資源包括CPU、內(nèi)存等都是非常有限的，系統(tǒng)為了保持公平，默認(rèn)要限制進(jìn)程對資源的使用情況。由于Linux的默認(rèn)內(nèi)核配置無法滿足C100K的要求，因此需要對其進(jìn)行適當(dāng)?shù)恼{(diào)優(yōu)。

我們可以通過 ulimit 查看一下典型的機(jī)器默認(rèn)的限制情況：

$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 204800
max locked memory       (kbytes, -l) 32
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 204800
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

比如其中的 open files，默認(rèn)一個(gè)進(jìn)程能打開的文件句柄數(shù)量為1024，對于一些需要大量文件句柄的程序，如web服務(wù)器、數(shù)據(jù)庫程序等，1024往往是不夠用的，在句柄使用完畢的時(shí)候，系統(tǒng)就會(huì)頻繁出現(xiàn)emfile錯(cuò)誤。

俗話說：一個(gè)巴掌拍不響，要完成 C100K 的目標(biāo)，需要服務(wù)器端與客戶端的緊密配合，下面將分別對這二者的調(diào)優(yōu)進(jìn)行介紹。

客戶端

1：文件句柄數(shù)量受限

在Linux平臺(tái)上，無論是編寫客戶端程序還是服務(wù)端程序，在進(jìn)行高并發(fā)TCP連接處理時(shí)，由于每個(gè)TCP連接都要?jiǎng)?chuàng)建一個(gè)socket句柄，而每個(gè)socket句柄同時(shí)也是一個(gè)文件句柄，所以其最高并發(fā)數(shù)量要受到系統(tǒng)對用戶單一進(jìn)程同時(shí)可打開文件數(shù)量的限制以及整個(gè)系統(tǒng)可同時(shí)打開的文件數(shù)量限制。

1.1：單一進(jìn)程的文件句柄數(shù)量受限

我們可以u(píng)limit命令查看當(dāng)前用戶進(jìn)程可打開的文件句柄數(shù)限制：

[root@localhost ~]# ulimit -n
1024

這表示當(dāng)前用戶的每個(gè)進(jìn)程最多允許同時(shí)打開1024個(gè)文件，除去每個(gè)進(jìn)程必然打開的標(biāo)準(zhǔn)輸入、標(biāo)準(zhǔn)輸出、標(biāo)準(zhǔn)錯(cuò)誤、服務(wù)器監(jiān)聽socket、進(jìn)程間通訊的unix域socket等文件，剩下的可用于客戶端socket連接的文件數(shù)就只有大概1024-10=1014個(gè)左右。也就是說，在默認(rèn)情況下，基于Linux的通訊程序最多允許同時(shí)1014個(gè)TCP并發(fā)連接。

對于想支持更高數(shù)量的TCP并發(fā)連接的通訊處理程序，就必須修改Linux對當(dāng)前用戶的進(jìn)程可同時(shí)打開的文件數(shù)量的軟限制（soft limit）和硬限制（hardlimit）。其中：

• 軟限制是指Linux在當(dāng)前系統(tǒng)能夠承受的范圍內(nèi)進(jìn)一步限制用戶能同時(shí)打開的文件數(shù)。
• 硬限制是指根據(jù)系統(tǒng)硬件資源狀況（主要是系統(tǒng)內(nèi)存）計(jì)算出來的系統(tǒng)最多可同時(shí)打開的文件數(shù)量。

通常軟限制小于或等于硬限制，可通過ulimit命令查看軟限制和硬限制：

[root@localhost ~]# ulimit -Sn
1024

[root@localhost ~]# ulimit -Hn
4096

修改單一進(jìn)程能同時(shí)打開的文件句柄數(shù)有2種方法：

1、直接使用ulimit命令，如：

[root@localhost ~]# ulimit -n 1048576

執(zhí)行成功之后，ulimit n、Sn、Hn的值均會(huì)變?yōu)?048576。但該方法設(shè)置的值只會(huì)在當(dāng)前終端有效，且設(shè)置的值不能高于方法2中設(shè)置的值。

2、對 /etc/security/limits.conf 文件，添加或修改：

* soft nofile 1048576
* hard nofile 1048576

其中，

• * 代表對所有用戶有效，若僅想針對某個(gè)用戶，可替換星號(hào)。
• soft即軟限制，它只是一個(gè)警告值。
• hard代表硬限制，是一個(gè)真正意義的閾值，超過就會(huì)報(bào)錯(cuò)。
• nofile表示打開文件的最大數(shù)量。
• 1048576 = 1024 * 1024，為什么要取這個(gè)值呢？因?yàn)?/li>

在linux kernel 2.6.25之前通過ulimit -n(setrlimit(RLIMIT_NOFILE))設(shè)置每個(gè)進(jìn)程的最大打開文件句柄數(shù)不能超過NR_OPEN（1024*1024）,也就是100多w（除非重新編譯內(nèi)核），而在25之后，內(nèi)核導(dǎo)出了一個(gè)sys接口可以修改這個(gè)最大值（/proc/sys/fs /nr_open）.具體的changelog在https://git./cgit/linux/kernel/git/torvalds/linux.git/commit/?id=9cfe015aa424b3c003baba3841a60dd9b5ad319b

注意文件保存之后，需要注銷或重啟系統(tǒng)方能生效。

1.2：整個(gè)系統(tǒng)的文件句柄數(shù)量受限

解決完單一進(jìn)程的文件句柄數(shù)量受限問題后，還要解決整個(gè)系統(tǒng)的文件句柄數(shù)量受限問題。我們可通過以下命令查看Linux系統(tǒng)級(jí)的最大打開文件數(shù)限制：

[root@localhost ~]# cat /proc/sys/fs/file-max
98957

file-max表示系統(tǒng)所有進(jìn)程最多允許同時(shí)打開的文件句柄數(shù)，是Linux系統(tǒng)級(jí)硬限制。通常，這個(gè)系統(tǒng)硬限制是Linux系統(tǒng)在啟動(dòng)時(shí)根據(jù)系統(tǒng)硬件資源狀況計(jì)算出來的最佳的最大同時(shí)打開文件數(shù)限制，如果沒有特殊需要，不應(yīng)該修改此限制。

要修改它，需要對 /etc/sysctl.conf 文件，增加一行內(nèi)容：

fs.file-max = 1048576

保存成功后，需執(zhí)行下面命令使之生效：

[root@localhost ~]# sysctl -p

2：端口數(shù)量受限

解決完文件句柄數(shù)量受限的問題后，就要解決IP端口數(shù)量受限的問題了。一般來說，對外提供請求的服務(wù)端不用考慮端口數(shù)量問題，只要監(jiān)聽某一個(gè)端口即可。可客戶端要模擬大量的用戶對服務(wù)端發(fā)起TCP請求，而每一個(gè)請求都需要一個(gè)端口，為了使一個(gè)客戶端盡可能地模擬更多的用戶，也就要使客戶端擁有更多可使用的端口。

由于端口為16進(jìn)制，即最大端口數(shù)為2的16次方65536（0-65535）。在Linux系統(tǒng)里，1024以下端口只有超級(jí)管理員用戶（如root）才可以使用，普通用戶只能使用大于等于1024的端口值。

我們可以通過以下命令查看系統(tǒng)提供的默認(rèn)的端口范圍：

[root@localhost ~]# cat /proc/sys/net/ipv4/ip_local_port_range
32768 61000

即只有61000-32768=28232個(gè)端口可以使用，即單個(gè)IP對外只能同時(shí)發(fā)送28232個(gè)TCP請求。

修改方法有以下2種：

1、執(zhí)行以下命令：

echo "1024 65535"> /proc/sys/net/ipv4/ip_local_port_range

該方法立即生效，但重啟后會(huì)失效。

2、修改 /etc/sysctl.conf 文件，增加一行內(nèi)容：

net.ipv4.ip_local_port_range = 1024 65535

保存成功后，需執(zhí)行下面命令使之生效：

[root@localhost ~]# sysctl -p

修改成功后，可用端口即增加到65535-1024=64511個(gè)，即單個(gè)客戶端機(jī)器只能同時(shí)模擬64511個(gè)用戶。要想突破這個(gè)限制，只能給該客戶端增加IP地址，這樣即可相應(yīng)成倍地增加可用IP:PORT數(shù)。具體可參考yongboy的這篇文章。

服務(wù)端

1：文件描述符數(shù)量受限

同客戶端的問題1。

2：TCP參數(shù)調(diào)優(yōu)

要想提高服務(wù)端的性能，以達(dá)到我們高并發(fā)的目的，需要對系統(tǒng)的TCP參數(shù)進(jìn)行適當(dāng)?shù)男薷膬?yōu)化。

方法同樣是修改 /etc/sysctl.conf 文件，增加以下內(nèi)容：

net.ipv4.tcp_tw_reuse = 1 

當(dāng)服務(wù)器需要在大量TCP連接之間切換時(shí)，會(huì)產(chǎn)生大量處于TIME_WAIT狀態(tài)的連接。TIME_WAIT意味著連接本身是關(guān)閉的，但資源還沒有釋放。將net_ipv4_tcp_tw_reuse設(shè)置為1是讓內(nèi)核在安全時(shí)盡量回收連接，這比重新建立新連接要便宜得多。

net.ipv4.tcp_fin_timeout = 15

這是處于TIME_WAIT狀態(tài)的連接在回收前必須等待的最小時(shí)間。改小它可以加快回收。

net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

提高TCP的最大緩沖區(qū)大小，其中：

net.core.rmem_max：表示接收套接字緩沖區(qū)大小的最大值（以字節(jié)為單位）。

net.core.wmem_max：表示發(fā)送套接字緩沖區(qū)大小的最大值（以字節(jié)為單位）。

net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

提高Linux內(nèi)核自動(dòng)對socket緩沖區(qū)進(jìn)行優(yōu)化的能力，其中：

net.ipv4.tcp_rmem：用來配置讀緩沖的大小，第1個(gè)值為最小值，第2個(gè)值為默認(rèn)值，第3個(gè)值為最大值。

net.ipv4.tcp_wmem：用來配置寫緩沖的大小，第1個(gè)值為最小值，第2個(gè)值為默認(rèn)值，第3個(gè)值為最大值。

net.core.netdev_max_backlog = 4096

每個(gè)網(wǎng)絡(luò)接口接收數(shù)據(jù)包的速率比內(nèi)核處理這些包的速率快時(shí)，允許送到隊(duì)列的數(shù)據(jù)包的最大數(shù)目。默認(rèn)為1000。

net.core.somaxconn = 4096

表示socket監(jiān)聽（listen）的backlog上限。什么是backlog呢？backlog就是socket的監(jiān)聽隊(duì)列，當(dāng)一個(gè)請求（request）尚未被處理或建立時(shí)，他會(huì)進(jìn)入backlog。而socket server可以一次性處理backlog中的所有請求，處理后的請求不再位于監(jiān)聽隊(duì)列中。當(dāng)server處理請求較慢，以至于監(jiān)聽隊(duì)列被填滿后，新來的請求會(huì)被拒絕。默認(rèn)為128。

net.ipv4.tcp_max_syn_backlog = 20480

表示SYN隊(duì)列的長度，默認(rèn)為1024，加大隊(duì)列長度為8192，可以容納更多等待連接的網(wǎng)絡(luò)連接數(shù)。

net.ipv4.tcp_syncookies = 1

表示開啟SYN Cookies。當(dāng)出現(xiàn)SYN等待隊(duì)列溢出時(shí)，啟用cookies來處理，可防范少量SYN攻擊，默認(rèn)為0，表示關(guān)閉。

net.ipv4.tcp_max_tw_buckets = 360000

表示系統(tǒng)同時(shí)保持TIME_WAIT套接字的最大數(shù)量，如果超過這個(gè)數(shù)字，TIME_WAIT套接字將立刻被清除并打印警告信息。默認(rèn)為180000。

net.ipv4.tcp_no_metrics_save = 1

一個(gè)tcp連接關(guān)閉后，把這個(gè)連接曾經(jīng)有的參數(shù)比如慢啟動(dòng)門限snd_sthresh、擁塞窗口snd_cwnd，還有srtt等信息保存到dst_entry中，只要dst_entry沒有失效，下次新建立相同連接的時(shí)候就可以使用保存的參數(shù)來初始化這個(gè)連接。

net.ipv4.tcp_syn_retries = 2

表示在內(nèi)核放棄建立連接之前發(fā)送SYN包的數(shù)量，默認(rèn)為4。

net.ipv4.tcp_synack_retries = 2

表示在內(nèi)核放棄連接之前發(fā)送SYN+ACK包的數(shù)量，默認(rèn)為5。

完整的TCP參數(shù)調(diào)優(yōu)配置如下所示：

net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.core.netdev_max_backlog = 4096
net.core.somaxconn = 4096
net.ipv4.tcp_max_syn_backlog = 20480
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_tw_buckets = 360000
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_synack_retries = 2

其它一些參數(shù)

vm.min_free_kbytes = 65536

用來確定系統(tǒng)開始回收內(nèi)存的閥值，控制系統(tǒng)的空閑內(nèi)存。值越高，內(nèi)核越早開始回收內(nèi)存，空閑內(nèi)存越高。

vm.swappiness = 0

控制內(nèi)核從物理內(nèi)存移出進(jìn)程，移到交換空間。該參數(shù)從0到100，當(dāng)該參數(shù)=0，表示只要有可能就盡力避免交換進(jìn)程移出物理內(nèi)存;該參數(shù)=100，這告訴內(nèi)核瘋狂的將數(shù)據(jù)移出物理內(nèi)存移到swap緩存中。