【原】簡單入門PHP中的多字節(jié)字符串操作

硬核項目經(jīng)理 2021-07-22

展開全文

簡單入門PHP中的多字節(jié)字符串操作

什么是多字節(jié)的字符串操作呢？其實不少的同學(xué)可能都已經(jīng)使用過了，但我們還是要從最基礎(chǔ)的問題說起。

一個字符占幾個字節(jié)并不是我們表面上看到的那樣。正常情況下，一個數(shù)字或英文以及英文符號都是占用一個字節(jié)的。但是這個世界的語言文字何其之多，特別是像中文、日文這樣的文字，往往用一個字節(jié)裝不下，這時候就需要多字節(jié)來解決了（多字節(jié)一般第一個字節(jié)是前導(dǎo)字節(jié)表示當(dāng)前是什么語言文字，后面的是正被的字節(jié)編碼）。比如說一個中文字在 GBK 環(huán)境是占用兩個字節(jié)，而在 UTF-8 下則是占用三個字節(jié)。而在最近幾年，由于 emoji 表情的出現(xiàn) UTF-8MB4 又成為了主流，在表示這些 emoji 表情字符的時候，往往又會使用 UTF-8MB4 這種占用四個字節(jié)的編碼格式來表示。

雖說字節(jié)的不同設(shè)置能夠幫助我們展示豐富的內(nèi)容，但對它的一些操作卻也帶來了麻煩。

字符串操作

$str = "abc測試一下";
echo strlen($str), PHP_EOL; // 15

strlen() 函數(shù)大家都不陌生，但是對于中文來說，它返回的數(shù)量明顯是不對的。我們當(dāng)前默認的編碼格式是 UTF-8 ，所以將一個中文當(dāng)做三個英文字符來數(shù)就正好是 15 個字符長度。很明顯，這不是我們想要的結(jié)果，假設(shè)我們要截取字符串的話，這個長度的計算可是很費勁的，搞不好還容易出現(xiàn)亂碼。

幸好在 PHP 的默認擴展中就已經(jīng)為我們準備好了一組 mb_ 函數(shù)庫，專門用來處理這類多字節(jié)字符串的問題。

echo mb_strlen($str), PHP_EOL; // 7
echo mb_strlen($str, 'GB2312'), PHP_EOL; // 11

在不指定 mb_strlen() 函數(shù)的第二個參數(shù)的情況下，會按照當(dāng)前文檔的默認編碼格式來進行轉(zhuǎn)換，所以我們的字符串長度就在 UTF-8 的環(huán)境下正常顯示了。當(dāng)然，我們也可以指定第二個參數(shù)為其它的編碼格式，比如以前常用的 GB2312 或者 GBK ，這樣返回的字符長度就是以一個中文占兩個字節(jié)的形式返回長度了。

var_dump(mb_strpos($str, "測")); // int(3)

var_dump(mb_convert_case($str, MB_CASE_UPPER)); // string(15) "ABC測試一下"
var_dump(mb_convert_case($str, MB_CASE_LOWER)); // string(15) "abc測試一下"

var_dump(mb_substr($str, 5)); // string(6) "一下"

當(dāng)然，mb_ 相關(guān)的字符串操作函數(shù)是比較全面的，字符出現(xiàn)位置、大小寫轉(zhuǎn)換、截取字符串等函數(shù)都是提供的，調(diào)用的參數(shù)也都和普通的字符串操作函數(shù)沒什么區(qū)別，只是它們多了一個可選的指定編碼的參數(shù)。在通常的情況下，只要我們的文件是對應(yīng)的編碼格式，這個參數(shù)就不用去寫了。

當(dāng)然，字符串的操作函數(shù)還有很多，這里就不一一列舉了，大家可以自行查閱相關(guān)的文檔。

字符串正則操作

既然說到了字符串的操作，正則相關(guān)的功能也是必不可少的，我們先看下使用默認的 preg_ 相關(guān)的函數(shù)操作中文的問題。

$str = iconv('UTF-8', 'GB2312', $str);

var_dump(preg_match("/[a-z]*測試/i", $str)); // int(0)
var_dump(preg_replace("/[a-z]*測試/i","試試", $str)); // string(11) "abc???????"

首先我們將測試用的字符串轉(zhuǎn)換為 GB2312 的形式。就像我們獲取的外部接口可能返回的就是 GB2312 的編碼的。這時直接使用 preg_ 相關(guān)的函數(shù)是無法正確獲得我們想要的結(jié)果的。

mb_regex_encoding('GB2312');
$pattern = iconv('UTF-8', 'GB2312', "[a-z]*測試");
var_dump(mb_ereg($pattern, $str)); // int(1)
var_dump(mb_eregi($pattern, $str)); // int(1)

var_dump(mb_ereg_replace($pattern,"試試", $str)); // string(10) "試試???"
var_dump(mb_eregi_replace($pattern,"試試", $str)); // string(10) "試試???"

接下來我們通過 mb_ereg 相關(guān)的函數(shù)來進行正則的匹配和替換，就能正常的對不同編碼的字符串進行操作了。注意，我們需要指定 mb_regex_encoding() 函數(shù)，告訴當(dāng)前默認的規(guī)劃替換編碼是 GB2312 ，同時，正則規(guī)則也要轉(zhuǎn)換成對應(yīng)的編碼格式。

mb_eregi 相關(guān)的函數(shù)和 mb_ereg 其實沒有本質(zhì)上的區(qū)別，只是它不區(qū)分大小寫了，就像 preg 相關(guān)函數(shù)中我們寫正則時的后綴符號 i 一樣。ereg 相關(guān)的函數(shù)都是不用寫反斜杠的，在普通的函數(shù)中其實是已經(jīng)被淘汰了的函數(shù)（性能沒有 preg 好，語法也有區(qū)別），大部分情況下都會直接使用 preg 相關(guān)的函數(shù)來進行操作。不過如果是牽涉到多字節(jié)相關(guān)的問題，在 mb_ 函數(shù)庫中還是只有 ereg 這類的函數(shù)可以使用。

字符串編碼轉(zhuǎn)換

就像我們之前學(xué)習(xí)過的 iconv() 函數(shù)一樣，mb_ 庫中也提供了字符編碼轉(zhuǎn)換的函數(shù)。

$phone = file_get_contents('https://tcc.taobao.com/cc/json/mobile_tel_segment.htm?tel=13888888888');

print_r($phone);
// __GetZoneResult_ = {
//     mts:'1388888',
//     province:'????',
//     catName:'?й????',
//     telString:'13888888888',
//  areaVid:'30515',
//  ispVid:'3236139',
//  carrier:'???????'
// }

var_dump(mb_convert_encoding($phone, 'UTF-8', "GBK"));
// string(183) "__GetZoneResult_ = {
//     mts:'1388888',
//     province:'云南',
//     catName:'中國移動',
//     telString:'13888888888',
//  areaVid:'30515',
//  ispVid:'3236139',
//  carrier:'云南移動'
// }
// "

echo mb_detect_encoding($phone, 'UTF-8,GBK'), PHP_EOL; // CP936

同樣我們還是拿這個獲取手機號信息的公共接口測試，它返回的內(nèi)容是 GBK 的編碼內(nèi)容。我們可以通過 mb_convert_encoding() 來轉(zhuǎn)換它的編碼內(nèi)容。mb_detect_encoding() 是檢測編碼格式，這里我們給了兩個參數(shù)，它會返回符合條件的編碼內(nèi)容，CP936 就是 GBK 的另一種表示（IBM在制作 code page 時將 GBK 編碼放在了第 936 頁）。

HTTP 參數(shù)操作

mb_internal_encoding("UTF-8");

首先介紹一個 mb_internal_encoding() 函數(shù)，其實就是設(shè)置當(dāng)前運行環(huán)境中的默認編碼規(guī)則的，如果不設(shè)置的話，就是以當(dāng)前這個 php 文件的編碼規(guī)則為默認的。大家了解一下，因為它會影響我們后面介紹的內(nèi)容。

// // localhost:9991/?a=我上
var_dump(mb_http_input('GPC')); // bool(false)
var_dump(mb_http_output()); // string(5) "UTF-8"

mb_internal_encoding("CP936");
mb_parse_str($_SERVER['QUERY_STRING'], $result);
print_r($result);
// Array
// (
//     [a] => 我上
// )

首先我們運行起來測試文件，然后用瀏覽器請求這個鏈接地址。mb_http_input() 是檢測 HTTP 輸入字符編碼，不過我測試的結(jié)果都是返回 false 。有了解的小伙伴可以留言說明下這個是什么情況。而 mb_http_output 則是設(shè)置檢測輸出的編碼，這個就會受到 mb_internal_encoding() 所定義的內(nèi)容的影響。

另外，mb_parse_str() 是 parse_str() 函數(shù)的多字節(jié)版，我們可以將瀏覽器的默認編碼轉(zhuǎn)換成 GBK 或者之后再來請求，因為我們設(shè)置當(dāng)前的 mb_internal_encoding() 為 CP936 了。在默認情況下，如果使用 UTF-8 的瀏覽器請求的話，這里就會報錯了，這就是 mb_internal_encoding() 對這些函數(shù)的影響。

其它屬性查看

最后，我們再來看看一些 mb_ 相關(guān)信息屬性的內(nèi)容。

var_dump(mb_language());
// string(7) "neutral"

mb_language() 函數(shù)用于獲取/設(shè)置當(dāng)前的語言，它可以接收一個參數(shù)設(shè)置當(dāng)前的語言信息。主要用于編碼郵件信息 mb_send_mail() 函數(shù)就是使用它來對郵件進行編碼。關(guān)于 mb_send_mail() 的使用大家可以自己嘗試一下，其實也是 send_mail() 函數(shù)的多字節(jié)版。neutral 的意思是中立的，其實也是跟我們的 mb_internal_encoding() 有關(guān)。

var_dump(mb_list_encodings());
// array(86) {
//     [0]=>
//     string(4) "pass"
//     [1]=>
//     string(5) "wchar"
//     [2]=>
//     string(7) "byte2be"
//     [3]=>
//     ……
//     [65]=>
//     string(5) "CP936"
//     ……

mb_list_encodings() 用于展示當(dāng)前系統(tǒng)中所支持的所有語言編碼的列表，在這個列表中我們就可以看到 CP936 的身影，但是沒有 GBK 哦，記住它們倆是一個東西就好了。

var_dump(mb_get_info());
// array(14) {
//     ["internal_encoding"]=>
//     string(5) "UTF-8"
//     ["http_output"]=>
//     string(5) "UTF-8"
//     ["http_output_conv_mimetypes"]=>
//     string(31) "^(text/|application/xhtml\+xml)"
//     ["func_overload"]=>
//     int(0)
//     ["func_overload_list"]=>
//     string(11) "no overload"
//     ["mail_charset"]=>
//     string(5) "UTF-8"
//     ["mail_header_encoding"]=>
//     string(6) "BASE64"
//     ["mail_body_encoding"]=>
//     string(6) "BASE64"
//     ["illegal_chars"]=>
//     int(0)
//     ["encoding_translation"]=>
//     string(3) "Off"
//     ["language"]=>
//     string(7) "neutral"
//     ["detect_order"]=>
//     array(2) {
//       [0]=>
//       string(5) "ASCII"
//       [1]=>
//       string(5) "UTF-8"
//     }
//     ["substitute_character"]=>
//     int(63)
//     ["strict_detection"]=>
//     string(3) "Off"
//   }

mb_get_info() 是查看當(dāng)前環(huán)境下默認的這些語言編碼的配置，比如我們熟悉的 internal_encoding 、 http_output 屬性都能在這里看到。

總結(jié)

用過的同學(xué)是不是也發(fā)現(xiàn)了今天文章的新姿勢了呢？沒錯，GBK 和 CP936 反而成為了今天文章的意外驚喜。這個在之前確實還真沒有注意到。其實 mb_ 相關(guān)的函數(shù)的使用已經(jīng)非常普遍了，基本算是學(xué)習(xí) PHP 的入門必備知識了。它還有很多的函數(shù)并沒有一一地列舉出來，有興趣的同學(xué)可以多多查閱官方手冊進行更加深入地學(xué)習(xí)。

測試代碼：

[https://github.com/zhangyue0503/dev-blog/blob/master/php/202011/source/10.簡單入門PHP中的多字節(jié)字符串操作.php][https://github.com/zhangyue0503/dev-blog/blob/master/php/202011/source/10.簡單入門PHP中的多字節(jié)字符串操作.php]

參考文檔：

https://www./manual/zh/book.mbstring.php