Posts Tagged ‘ unicode

电子书《Unicode CJK Characters》中日韩统一表意文字列表

最近使用 E-Reader 查看中文字型时,觉得似乎应该要有一本可以展示所有中文字的工具书,但是我没找到这样的电子书。

于是我自己查询维基百科的 Unicode 相关网页,尝试以 Calibre 牛刀小试,制作了我的第一本电子书《Unicode CJK Characters》。


Read more

[转载]PHP 处理 UTF-8

转载自: PHP 最佳实践方法


此章节由 Alex Cabal 撰写,节录自 PHP Best Practices 并作为我们 UTF-8 建议的基础。

这不是开玩笑的,请小心与细心并前后一致地处理它。

PHP 至今在底层仍未支援 Unicode。而有许多方式可以确认 UTF-8 字串的处理是正确的,但通常不容易,还需要从上而下翻遍程序所有阶层,从 HTML、SQL 到 PHP。我们将会聚焦在简短的实践总结。

Read more

如何得知输入的字串是否为 UTF-8 编码 (PHP)

使用下列函数,如果传回值为 true,表示输入的字串为 UTF-8 编码:

// Returns true if $string is valid UTF-8 and false otherwise.
function is_utf8($string) {
    return preg_match('%^(?:
        [\x09\x0A\x0D\x20-\x7E]             # ASCII
        | [\xC2-\xDF][\x80-\xBF]            # non-overlong 2-byte
        | \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
        | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte
        | \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
        | \xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
        | [\xF1-\xF3][\x80-\xBF]{3}         # planes 4-15
        | \xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
    )*$%xs', $string);
}

参考网页

 

如何得知输入的字串是否为 UTF-8 编码 (Perl)

使用下列函数,如果传回值为 1,表示输入的字串为 UTF-8 编码:

#Returns 1 if $text is valid UTF-8 and 0 otherwise.
sub is_utf8 {
    my $text = shift;
    if( $text =~ m/^(
        [\x09\x0A\x0D\x20-\x7E]             # ASCII
        | [\xC2-\xDF][\x80-\xBF]            # non-overlong 2-byte
        | \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
        | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2} # straight 3-byte
        | \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
        | \xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
        | [\xF1-\xF3][\x80-\xBF]{3}         # planes 4-15
        | \xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
    )*$/x ){
        return 1;
    }
    else{
        return 0;
    }
} #sub is_utf8

参考网页

Big5/UTF-8 编码转换的模组

Big5 及 UTF-8 编码的转换方式有两种 (请先安装 Encode::compat 模组):

方式一

use Encode::compat;
use Encode qw(from_to);

my $string = "中文";

#Big5 转 UTF-8
from_to($string, 'big5', 'utf8');
print "$string\n";

#UTF-8 转 Big5
from_to($string, 'utf8', 'big5');
print "$string\n";

Read more

[转载]Unicode 脱逸序列转换

转载自: IT Inside


这里提供一段程式码,可以透过 JavaScript 将文字转换为 Unicode 脱逸序列。这段程式码,不论是对网页开发人员,还是对 java resource bundle 的翻译人员,都有很大的方便性。使用时只要将底下的程式码复制起来,以 html 副档名储存,就可以用 browser 执行了。

<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=big5">
<script language=javascript>
<!--
function StringToUniCode(source) {
  sret = "";
  // Unicode 跳脱序列之格式为 \u00ff
  for(var i=0; i < source.length; i++) {
   var num = new Number( source.charCodeAt(i));
   sret += "\\u" + num.toString(16);
  }
  return sret;
}
function convert(){
  document.forms.content.result.value = StringToUniCode(document.forms.content.source.value);
}
//-->
</script>
将文字转成 Unicode 跳脱序列
<form name=content>
来源:<input type=TEXT name=source size=40 value="常用连络人"><br />
结果:<input type=TEXT name=result size=40><br />
<input type=button value=转换 onclick="convert()">
</form>

return top