标签：unicode

[转载][PHP]处理 UTF-8

转载自: PHP 最佳实践方法

此章节由 Alex Cabal 撰写，节录自 PHP Best Practices 并作为我们 UTF-8 建议的基础。

这不是开玩笑的，请小心与细心并前后一致地处理它。

PHP 至今在底层仍未支援 Unicode。而有许多方式可以确认 UTF-8 字串的处理是正确的，但通常不容易，还需要从上而下翻遍程序所有阶层，从 HTML、SQL 到 PHP。我们将会聚焦在简短的实践总结。

继续阅读 →

[PHP]如何得知输入的字串是否为 UTF-8 编码

使用下列函数，如果传回值为 true，表示输入的字串为 UTF-8 编码:

// Returns true if $string is valid UTF-8 and false otherwise.
function is_utf8($string) {
    return preg_match('%^(?:
        [\x09\x0A\x0D\x20-\x7E]             # ASCII
        | [\xC2-\xDF][\x80-\xBF]            # non-overlong 2-byte
        | \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
        | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte
        | \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
        | \xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
        | [\xF1-\xF3][\x80-\xBF]{3}         # planes 4-15
        | \xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
    )*$%xs', $string);
}

参考网页

 

[Perl]如何得知输入的字串是否为 UTF-8 编码

使用下列函数，如果传回值为 1，表示输入的字串为 UTF-8 编码:

#Returns 1 if $text is valid UTF-8 and 0 otherwise.
sub is_utf8 {
    my $text = shift;
    if( $text =~ m/^(
        [\x09\x0A\x0D\x20-\x7E]             # ASCII
        | [\xC2-\xDF][\x80-\xBF]            # non-overlong 2-byte
        | \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
        | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte
        | \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
        | \xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
        | [\xF1-\xF3][\x80-\xBF]{3}         # planes 4-15
        | \xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
    )*$/x ){
        return 1;
    }
    else{
        return 0;
    }
} #sub is_utf8

参考网页

[Perl]Big5/UTF-8 编码转换的模组

Big5 及 UTF-8 编码的转换方式有两种 (请先安装 Encode::compat 模组):

方式一

use Encode::compat;
use Encode qw(from_to);

my $string = "中文";

#Big5 转 UTF-8
from_to($string, 'big5', 'utf8');
print "$string\n";

#UTF-8 转 Big5
from_to($string, 'utf8', 'big5');
print "$string\n";

继续阅读 →