http://blog.cnsunrun.com/member/blog/blog\_info/30/84

字符是各种文字及标志的总称,包括每邦文字、标点符号、图形符号、数字相当于。字符集是基本上只字符的集合,字符集种类比较多,每个字符集包含的字符个数不同,常见字符集名称:ASCII字符集、GB2312字符集、BIG5字符集、
GB
18030字符集、Unicode字符集等。计算机要标准之处理各种字符集文字,需要开展字符编码,以便计算机能够辨识以及存储各种文字。


汉语文数据大,而且还分为简体中文和繁体中文两栽不同书规则的字,而计算机最初是依英语单字节字符设计之,因此,对汉语字符进行编码,是中文信息交流之技术基础。本文将仍字符集的时刻顺序讨论几栽典型的字符集,选取几种植代表性的汉语字符集,研究历史由来、特点、技术特点。

php各种编码集详解和在什么状况下进行动

ASCII 字符集

  浏览次数:46  发表时:2011-06-11 23:40       

1.称谓的原由

字符是各种文字和符号的总称,包括各邦文字、标点符号、图形符号、数字相当于。字符集是大抵个字符的汇,字符集种类比较多,每个字符集包含的字符个数不同,常见字符集名称:ASCII字符集、GB2312字符集、BIG5字符集、
GB
18030字符集、Unicode字符集等。计算机要准之处理各种字符集文字,需要展开字符编码,以便计算机能够辨识与贮各种文字。

ASCII(American Standard Code for Information
Interchange,美国音交互换标准代码)是基于罗马字母表的同等仿照电脑编码系统。

华语文数据大,而且还分为简体中文和繁体中文两种植不同书规则之文字,而电脑最初是比照英语单字节字符设计的,因此,对中文字符进行编码,是华语信息交流的技艺基础。本文将遵循字符集的年月顺序讨论几种典型的字符集,选取几栽代表性的中文字符集,研究历史由来、特点、技术特点。

2.特点

ASCII 字符集

其主要用于展示现代英语与任何西欧语言。它是现在太通用的单字节编码系统,并同样于国际标准ISO
646。

1.称号的缘故

3.饱含内容

ASCII(American Standard Code for Information
Interchange,美国信息交互换标准代码)是因罗马字母表底等同拟电脑编码系统。

控制字符:回车键、退格、换行键等。

2.特点

只是显示字符:英文大小写字符、阿拉伯数字与西文符号

其最主要用来展示现代英语与其它西欧语言。它是现在最通用的单字节编码系统,并同样于国际标准ISO
646。

4.技特点

3.包含内容

7各项(bits)表示一个字符,共128字符

控制字符:回车键、退格、换行键等。

5.ASCII扩大字符集

然而显示字符:英文大小写字符、阿拉伯数字与西文符号

7各项编码的字符集只能支持128单字符,为了表示再多之欧洲常常因此字符对ASCII进行了扩大,ASCII扩展字符集使用8员(bits)表示一个字符,共256字符。

4.技特点

ASCII扩展字符集比ASCII字符集扩充出的号子包括表格符号、计算符号、希腊字母和奇特之拉丁符号。

7个(bits)表示一个字符,共128字符

GB2312 字符集

5.ASCII恢宏字符集

 1.名的由

7各类编码的字符集只能支持128只字符,为了表示还多的欧洲不时因此字符对ASCII进行了扩大,ASCII扩展字符集使用8员(bits)表示一个字符,共256字符。

GB2312又称之为GB2312-80字符集,全称为《信息交换用汉字编码字符集·基本集》,由原本中国国家标准总局颁发,1981年5月1日推行。

ASCII扩展字符集比ASCII字符集扩充出的标记包括表格符号、计算符号、希腊字母和特种之拉丁符号。 

2.特点

GB2312 字符集

GB2312是炎黄国家标准的简体中文字符集。它所引用的方块字都埋99.75%底应用效率,基本满足了汉字的计算机处理要。在华地与新加坡抱广泛利用。

 1.称的原委

3.含有内容

GB2312又叫做GB2312-80字符集,全称为《信息置换用汉字编码字符集·基本集》,由原先中国国家标准总局宣告,1981年5月1日履行。

GB2312收录简化汉字及一般符号、序号、数字、拉丁字母、日文假名、希腊字母、俄文字母、汉语拼音符号、汉语注音字母,共
7445
个图形字符。其中囊括6763个字,其中一级汉字3755单,二级汉字3008单;包括拉丁字母、希腊字母、日文平假名及片假名字母、俄报西里尔字母在内的682单全角字符。

2.特点

4.技艺特点

GB2312是中华国家标准的简体中文字符集。它所引用的字都蒙99.75%的应用频率,基本满足了汉字之处理器处理得。在神州陆地和新加坡得到广泛应用。

(1)分区表示:

3.含有内容

GB2312中对所竣工汉字进行了“分区”处理,每区含有94个字/符号。这种代表方法吧称为区位码。

GB2312收录简化汉字及一般符号、序号、数字、拉丁字母、日文假名、希腊字母、俄文字母、汉语拼音符号、汉语注音字母,共
7445
个图形字符。其中囊括6763单字,其中一级汉字3755只,二级汉字3008独;包括拉丁字母、希腊字母、日文平假名及片假名字母、俄报西里尔字母在内的682只全角字符。 

各区包含的字符如下:01-09区为特殊符号;16-55区为一级汉字,按拼音排序;56-87区为二级汉字,按部首/笔画排序;10-15区暨88-94区则免出编码。

4.术特点

(2)双字节代表

(1)分区表示:

点滴个字节中前的字节为第一配节约,后面的字节为第二字节。习惯及如第一许节为“高字节”
,而称第二配节为“低字节”。

GB2312中针对所收字进行了“分区”处理,每区含有94单汉字/符号。这种代表法啊称为区位码。

“高位字节”使用了0xA1-0xF7(把01-87区的区号加上0xA0),“低位字节”使用了0xA1-0xFE(把01-94加以上0xA0)。

各区包含的字符如下:01-09区为特殊符号;16-55区为一级汉字,按拼音排序;56-87区为二级汉字,按部首/笔画排序;10-15区跟88-94区则非有编码。

5.编码比方

(2)双字节表示

因为GB2312字符集的率先独汉字“啊”字呢例,它的区号16,位号01,则区位码是1601,在大部电脑程序中,高字节和没有字节分别加0xA0得到程序的汉字处理编码0xB0A1。计算公式是:0xB0=0xA0+16,
0xA1=0xA0+1。

零星只字节中前的字节为率先许节约,后面的字节为第二字节。习惯及称第一字节为“高字节”
,而如第二许节为“低字节”。

BIG5 字符集

“高位字节”使用了0xA1-0xF7(把01-87区的区号加上0xA0),“低位字节”使用了0xA1-0xFE(把01-94加以上0xA0)。

1.称呼的缘故

5.编码举例

并且如大五码或五大码,1984年是因为台湾财团法人信息工业策进会和五间软件商店大?
(Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大众
(FIC)创立,故称大五码。

以GB2312字符集的率先独汉字“啊”字也例,它的区号16,位号01,则区位码是1601,在大部分电脑程序中,高字节和亚字节分别加0xA0得到程序的字处理编码0xB0A1。计算公式是:0xB0=0xA0+16,
0xA1=0xA0+1。

Big5码的生,是坐就台湾差厂商各自出不同的编码,如倚天码、IBM
PS55、王安码等,彼此不克匹配;另一方面,台湾政府及时并未推出官方的汉字编码,而中华陆地的GB2312编码亦非生出收录繁体中文字。

BIG5 字符集

2.特点

1.号的原故

Big5字符集共录取13,053个中文字,该字符集在中国台湾使用。耐人寻味的凡拖欠字符集重复地引用了一定量独一样的配:“兀”(0xA461暨0xC94A)、“??rdquo;(0xDCD1及0xDDFC)。

并且如大五码或五大码,1984年是因为台湾财团法人信息工业策进会和五间软件商店宏碁
(Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大众
(FIC)创立,故称大五码。

3.字符编码方法

Big5码的起,是因马上台湾差厂商各自推出不同之编码,如倚天码、IBM
PS55、王安码等,彼此不克配合;另一方面,台湾政府随即从来不推出官方的汉字编码,而中国次大陆的GB2312编码亦弗发生收录繁体中文字。

Big5码使用了双双配节储存方法,以半单字节来编码一个许。第一只字节称为“高位字节”,第二独字节称为“低位字节”。高位字节的编码范围0xA1-0xF9,低位字节的编码范围0x40-0x7E及0xA1-0xFE。

2.特点

各编码范围对应的字符类型如下:0xA140-0xA3BF为标点符号、希腊字母和特殊符号,另外于0xA259-0xA261,存放了双音节度量衡单位用字:???????憝??;0xA440-0xC67E吧常用汉字,先照笔划再以部首排序;0xC940-0xF9D5啊潮常因此汉字,亦是优先随笔划再按照部首排序。

Big5字符集共圈定13,053个中文字,该字符集在中国台湾使用。耐人寻味的凡该字符集重复地用了片只一样的许:“兀”(0xA461以及0xC94A)、“嗀”(0xDCD1及0xDDFC)。

4.Big5 的局限性

3.字符编码方法

尽管Big5垛内含有一万几近个字符,但是从未设想社会及流通的姓名、地名用配、方言用配、化学和生物科等用配,没有含日文平假名及片假名字母。

Big5码使用了夹许节储存方法,以简单个字节来编码一个字。第一单字节称为“高位字节”,第二只字节称为“低位字节”。高位字节的编码范围0xA1-0xF9,低位字节的编码范围0x40-0x7E及0xA1-0xFE。

譬如说台湾望“着”为“著”的异体字,故并未收录“着”字。康熙字典中之有的部首用配(如“亠”、“疒”、“?”、“?”等)、常见的丁名用字(如“??rdquo;、“煊”、“??rdquo;、“??rdquo;等)
也从没选用至Big5里面。

各编码范围对应的字符类型如下:0xA140-0xA3BF为标点符号、希腊字母和特殊符号,另外于0xA259-0xA261,存放了双音节度量衡单位用字:兙兛兞兝兡兣嗧瓩糎;0xA440-0xC67E乎常用汉字,先随笔划再比如部首排序;0xC940-0xF9D5为次常因此汉字,亦是先以笔划再依部首排序。

GB18030 字符集

4.Big5 的局限性

1.号的故

尽管Big5堆内包含一万大多独字符,但是没有考虑社会及流通的姓名、地名用配、方言用配、化学与生物科等用配,没有包含日文平假名及片假名字母。

GB
18030之齐是GB18030-2000《信息置换用汉字编码字符集基本凑的扩大》,是我国政府让2000年3月17日颁布之初的汉字编码国家标准,2001年8月31日后以中华市场高达颁布之软件要符合本标准

诸如台湾看看“着”为“著”的异体字,故并未选用“着”字。康熙字典中的有些部首用配(如“亠”、“疒”、“辵”、“癶”等)、常见的人头名用字(如“堃”、“煊”、“栢”、“喆”等)
也尚无用至Big5里。

2.特点

GB18030 字符集

GB
18030字符集标准的出名经过广大涉足与实证,来自国内外名信息技术行业的铺,信息产业部和原先国家质量技术监督局同步实施。

1.称号的因由

GB
18030字符集标准解决汉字、日文假名、朝鲜语和九州少数民族文字组成的大字符集计算机编码问题。该标准的字符总编码空间超过150万个编码位,收录了27484单汉字,覆盖中文、日文、朝鲜语和九州少数民族文字。满足中国陆上、香港、台湾、日本以及韩国顶东亚地区信息置换多文种、大字量、多用、统一编码格式的求。并且与Unicode
3.0本子兼容,填补Unicode扩展字符字汇“统一汉字扩展A”的始末。并且与原先的国度字符编码标准(GB2312,GB13000.1)兼容。

GB
18030底齐是GB18030-2000《信息交换用汉字编码字符集基本凑的扩展》,是我国政府让2000年3月17日发表的新的汉字编码国家标准,2001年8月31日晚每当炎黄市面达成揭示的软件要符合按专业

3.编码方法

2.特点

GB
18030专业以单字节、双字节以及四字节老三栽方式对字符编码。单字节部分使用0×00至0×7F码(对应于ASCII码的相应码)。双字节有的,首字节码从0×81至0×FE,尾字节码位分别是0×40暨0×7E跟0×80暨0×FE。四字节部分用GB/T
11383不下的0×30届0×39当作针对双字节编码扩充的后缀,这样扩大的季配节编码,其范围也0×81308130至0×FE39FE39。其中第一、三只字节编码码位均为0×81至0×FE,第二、四独字节编码码位均为0×30顶0×39。

GB
18030字符集标准的出名经过大与和论证,来自国内外名信息技术行业之企业,信息产业部和原来国家质量技术监督局同步执行。

4.含有的情节

GB
18030字符集标准解决汉字、日文假名、朝鲜语和中国少数民族文字组成的大字符集计算机编码问题。该标准的字符总编码空间超过150万独编码位,收录了27484独汉字,覆盖中文、日文、朝鲜语和九州少数民族文字。满足中国新大陆、香港、台湾、日本同韩国相当于东亚地区信息交换多文种、大字量、多用、统一编码格式的渴求。并且和Unicode
3.0版本兼容,填补Unicode扩展字符字汇“统一汉字扩展A”的情节。并且和以前的国字符编码标准(GB2312,GB13000.1)兼容。

双字节片用内容根本包括GB13000.1遍CJK汉字20902个、有关标点符号、表意文字描述称13只、增补的汉字和部首/构件80个、双配节编码的欧元符号等。  四字节有些用了上述双字节字符之外的,包括CJK统一汉字扩充A在内的GB
13000.1受的凡事字符。

3.编码方法

Unicode字符集

GB
18030专业以单字节、双字节同四字节老三种方式对字符编码。单字节部分采用0×00至0×7F码(对应于ASCII码的相应码)。双字节有,首字节码从0×81至0×FE,尾字节码位分别是0×40暨0×7E跟0×80暨0×FE。四字节有些使用GB/T
11383不以的0×30届0×39当作对双字节编码扩充的后缀,这样扩大的季许节编码,其范围吗0×81308130至0×FE39FE39。其中第一、三单字节编码码位均为0×81至0×FE,第二、四独字节编码码位均为0×30顶0×39。

1.号的来头

4.蕴含的情节

Unicode字符集编码是Universal Multiple-Octet Coded Character Set
通用多八位编码字符集的简称,是出于一个称作吧 Unicode 学术学会(Unicode
Consortium)的部门制定的字符编码系统,支持现今世界各种不同语言的封皮文件的置换、处理以及展示。该编码为1990年始发研发,1994年正规宣告,最新版本是2005年3月31日底Unicode
4.1.0。

双字节有的用内容要包括GB13000.1满CJK汉字20902个、有关标点符号、表意文字描述吻合13只、增补的字和部首/构件80独、双许节编码的欧元符号等。  四字节有用了上述双字节字符之外的,包括CJK统一汉字扩充A在内的GB
13000.1中的整字符。

2.特征

Unicode字符集

Unicode是均等种于电脑上利用的字符编码。它也各级种语言中之每个字符设定了统一而唯一的第二向前制编码,以满足超过语言、跨平台展开文本转换、处理的渴求。

1.称呼的原由

3.编码方法

Unicode字符集编码是Universal Multiple-Octet Coded Character Set
通用多八位编码字符集的简称,是由一个称吧 Unicode 学术学会(Unicode
Consortium)的部门制定的字符编码系统,支持现今世界各种不同语言的封皮文件的置换、处理和展示。该编码为1990年启幕研发,1994年正式发布,最新版本是2005年3月31日底Unicode
4.1.0。

Unicode
标准始终以十六进制数字,而且于挥洒时在前方加上前缀“U+”,例如字母“A”的编码为
004116 和字符“?”的编码为 20AC16。所以“A”的编码书写也“U+0041”。

2.特征 

4.UTF-8 编码

Unicode是同种于处理器上用的字符编码。它也各级种语言中之每个字符设定了统一而唯一的亚迈入制编码,以满足超过语言、跨平台进行文本转换、处理的要求。

UTF-8是Unicode的中间一个行使方法。 UTF是 Unicode Translation
Format,即把Unicode转做某种格式的意思。

3.编码方法

UTF-8便于不同之计算机之间利用网络传输不同语言及编码的文,使得双字节的Unicode能够在现存的拍卖单字节的体系上是传输。

Unicode
标准一直用十六进制数字,而且当写时以面前加上前缀“U+”,例如字母“A”的编码为
004116 和字符“?”的编码为 20AC16。所以“A”的编码书写也“U+0041”。

UTF-8以可换长字节来储存
Unicode字符,例如ASCII字母继续使用1字节囤积,重音文字、希腊字母或西里尔字母等使用2字节来储存,而常用之方块字365bet体育投注就要使3字节。辅助平面字符则运用4字节。

4.UTF-8 编码 

5.UTF-16 和 UTF-32 编码

UTF-8凡Unicode的中一个应用方式。 UTF是 Unicode Translation
Format,即把Unicode转做某种格式的意思。

UTF-32、UTF-16 和 UTF-8 是 Unicode
标准的编码字符集的字符编码方案,UTF-16 使用一个要么少于单不分配的 16
位代码单元的阵对 Unicode 代码点进行编码;UTF-32 即将每一个 Unicode
代码点表示为相同值的 32 位整数。

UTF-8便于不同之处理器之间下网络传输不同语言与编码的文字,使得双字节底Unicode能够以现存的拍卖单字节的系及对传输。

 

UTF-8以可更换长字节来储存
Unicode字符,例如ASCII字母继续以1字节囤积,重音文字、希腊字母或西里尔字母等采取2字节来存储,而常用之汉字就要动用3字节。辅助平面字符则使用4字节。

php教程
各种以乱码问题的解决智

5.UTF-16 和 UTF-32 编码 

1) 使用 标签设置页面编码

UTF-32、UTF-16 和 UTF-8 是 Unicode
标准的编码字符集的字符编码方案,UTF-16 使用一个要么零星单不分配的 16
位代码单元的阵对 Unicode 代码点进行编码;UTF-32 即将每一个 Unicode
代码点表示也相同值的 32 位整数。

夫标签的作用是声称客户端的浏览器用啊字符集编码显示该页面,xxx 可以呢
GB2312、GBK、UTF-8(和 MySQL 不同,MySQL 是
UTF8)等等。因此,大部分页给可应用这种办法来喻浏览器显示这页面的早晚以什么编码,这样才不见面造成编码错误而发乱码。但是一些上咱们见面发觉发生了马上句还是颇,不管
xxx 是呀一样栽,浏览器采用的一直犹是同一种植编码,这个情形本身后面会谈及。

 

呼吁留意, 是属于 HTML 信息之,仅仅是一个宣称,仅表明服务器都拿 HTML
信息污染至了浏览器。

php 各种应用乱码问题的化解办法

2) header(“content-type:text/html; charset=xxx”);

1) 使用 标签设置页面编码

以此函数 header() 的来意是拿括号中的音信作到 http
标头。如果括号内的情节吗和平遭遇所说那样,那作用以及
标签基本相同,大家对待第一个看发现字符都多的。但是差之是设来这段函数,浏览器就是见面永远使你所求的
xxx
编码,绝对不见面不任话,因此这函数是异常有因此之。为什么会这么为?那即便得说说
http 标头和 HTML信息的歧异了:

本条标签的来意是声称客户端的浏览器用什么字符集编码显示该页面,xxx 可以啊
GB2312、GBK、UTF-8(和 MySQL 不同,MySQL 是
UTF8)等等。因此,大部分页面可以下这种办法来喻浏览器显示是页面的上用什么编码,这样才不见面促成编码错误而出乱码。但是有些时候我们见面意识有了马上句还是很,不管
xxx 是呀一样种,浏览器采用的总犹是一律栽编码,这个情景本身后会谈及。

http 标头是服务器因为 http 协议传送 HTML 信息及浏览器前所送出底字串。而
标签是属 HTML 信息的,所以 header() 发送的情节先到浏览器,通俗点就是
header() 的先行级高于 (不明了但免得以这么说道)。假如一个 php
页面既来header(“content-type:text/html;charset=xxx”),又产生,浏览器就是独自认前者
http 标头而不认 meta 了。当然者函数只能在 php 页面内使用。

求留心, 是属于 HTML 信息之,仅仅是一个声明,仅表明服务器就将 HTML
信息污染至了浏览器。

平等也预留有一个题目,为什么前者就断起作用,而后者有时候就算挺呢?这便是通下去要讲话的Apache
的缘由了。

2) header(“content-type:text/html; charset=xxx”);

3) AddDefaultCharset

这函数 header() 的图是将括号中的音作到 http
标头。如果括号里的始末呢和被所说那样,那作用和
标签基本相同,大家对待第一只看发现字符都多的。但是不同的是只要发及时段函数,浏览器就是见面永远以你所求的
xxx
编码,绝对免会见无纵话,因此此函数是好有因此的。为什么会这么为?那即便得说说
http 标头和 HTML信息之别了:

Apache 根目录的 conf 文件夹里,有尽 Apache 的部署文档 httpd.conf。

http 标头是服务器因为 http 协议传送 HTML 信息到浏览器前所送出底字串。而
标签是属 HTML 信息的,所以 header() 发送的情节先到浏览器,通俗点就是
header() 的先期级高于 (不知情但免得以这么讲)。假如一个 php
页面既来header(“content-type:text/html;charset=xxx”),又起,浏览器就只认前者
http 标头而未认 meta 了。当然者函数只能以 php 页面内使用。

因而文本编辑器打开 httpd.conf,第 708 行(不同版本可能两样)有
AddDefaultCharset
xxx,xxx为编码名称。这行代码的意:设置任何服务器内之网页文件 http
标头里的字符集为而默认的 xxx字符集。有这行,就相当给给每个文件还加了一条龙
header(“content-type:text/html; charset=xxx”)。这下就懂得为什么明明
设置了是 utf-8,可浏览器始终用 gb2312 的故。

相同为养出一个问题,为什么前者就绝对起作用,而后人有时候就充分也?这就是是连接下去要说话的Apache
的来由了。

假定网页里发 header(“content-type:text/html;
charset=xxx”),就把默认的字符集改呢您设置的字符集,所以是函数永远有因此。如果拿
AddDefaultCharset xxx 前面加个”#”,注释掉这句,而且页面里不包含
header(“content-type…”),那这时节便轮到 meta 标签由作用了。

3) AddDefaultCharset

下列有以上的预顺序:

Apache 根目录的 conf 文件夹里,有周 Apache 的配置文档 httpd.conf。

 

为此文本编辑器打开 httpd.conf,第 708 行(不同版本可能不同)有
AddDefaultCharset
xxx,xxx为编码名称。这行代码的意:设置总体服务器内的网页文件 http
标头里之字符集为汝默认的 xxx字符集。有应声行,就一定给受每个文件都加了一行
header(“content-type:text/html; charset=xxx”)。这生虽知晓为何明明
设置了凡 utf-8,可浏览器始终用 gb2312 的由来。

header(“content-type:text/html; charset=xxx”)

倘网页里来 header(“content-type:text/html;
charset=xxx”),就管默认的字符集改也您设置的字符集,所以是函数永远有因此。如果将
AddDefaultCharset xxx 前面加个”#”,注释掉这句,而且页面里不包含
header(“content-type…”),那这时节就是轮至 meta 标签由作用了。

.. AddDefaultCharset xxx

下列有上述之先期顺序:

..

header(“content-type:text/html; charset=xxx”)

若果你是 web
程序员,建议让您的每个页面都加个header(“content-type:text/html;charset=xxx”),这样尽管可管她于另服务器都能够是显示,可移植性也比高。

.. AddDefaultCharset xxx

4) php.ini 中的 default_charset 配置:

..

php.ini 中的 default_charset = “gb2312” 定义了 php
的默认语言字符集。一般推荐注释掉此行,让浏览器根据网页头被的 charset
来机关选择语言而无做一个强制性的规定,这样便好当一起服务器上提供多种语言的网页服务。

万一你是 web
程序员,建议于你的每个页面都加个header(“content-type:text/html;charset=xxx”),这样尽管可管她于另服务器都能对显示,可移植性也比较大。

4) php.ini 中的 default_charset 配置:

php.ini 中的 default_charset = “gb2312” 定义了 php
的默认语言字符集。一般推荐注释掉此行,让浏览器根据网页头着的 charset
来机关选择语言而未做一个强制性的确定,这样便可当一齐服务器上提供多种语言的网页服务。

相关文章

网站地图xml地图