字节UTF到Unicode的编码转换(DOC X页)

unicode编码转换  时间:2021-04-12  阅读:()

UTF-8就是Unicode Transformation Format-8是Unicode的一种变换编码格式。

UTF-8有以下特性:

UCS字符U+0000到U+007F(ASCII)被编码为字节0x00到0x7F(ASCII兼容).这意味着只包含7位ASCII字符的文件在ASCII和UTF-8两种编码方式下是一样的.

所有>U+007F的UCS字符被编码为一个多个字节的串,每个字节都有标记位集.因此,ASCII字节(0x00-0x7F)不可能作为任何其他字符的一部分.

表示非ASCII字符的多字节串的第一个字节总是在0xC0到0xFD的范围里,并指出这个字符包含多少个字节.多字节串的其余字节都在0x80到0 xBF范围里.这使得重新同步非常容易,并使编码无国界,且很少受丢失字节的影响.

可以编入所有可能的231个UC S代码

UTF-8编码字符理论上可以最多到6个字节长,然而16位B MP字符最多只用到3字节长.

Bigendian UCS-4字节串的排列顺序是预定的.

字节0xFE和0xFF在UTF-8编码中从未用到.

下列字节串用来表示一个字符.用到哪个串取决于该字符在Unicode中的序号.

U-00000000 - U-0000007F: 0xxxxxxx

U-00000080 - U-000007FF: 110xxxxx 10xxxxxx

U-00000800 - U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx

U-00010000 - U-001FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

U-00200000 - U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

U-04000000 - U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx10xxxxxx从上表还可以看出 UTF-8每个编码字符都不可能以“10”开头 “10”是以连接符的形式出现在后面的编码字节开头。因此UTF-8编码在存储和传输时是不容易出错的。

下面是UTF-8到Unicode的编码转换代码(J2 ME环境下的实现)UTFC2UniC方法包含了编码转换逻辑。/**

*将UTF-8字节数据转化为Unicode字符串

*@p aram ut f_data b yte[] -U TF-8编码字节数组

*@param len int -字节数组长度

*@return String-变换后的Unicode编码字符串

*/pub lic static String UTF2Uni(byte[]utf_data, int len){

StringBuffer unis=new StringBuffer();char unic=0;int ptr=0;int c ntB its=0;fo r(;p tr<len;)

{cntB its=getC ntB its(ut f_da ta[ptr]);if(c ntB its==-1)

{

++ptr;c o nt inue;

}elseif(c ntB its==0)

{unic=UTFC2UniC(utf_data,ptr,cntB its);

++ptr;

}else

{unic=UTFC2UniC(utf_data,ptr,cntB its);ptr+=cntBits;

}unis.appe nd(unic);

}return unis.to S tring();

}

/**

*将指定的UTF-8字节组合成一个Unicode编码字符

*@p aram ut f b yte[] -UTF-8字节数组

*@param sptr int -编码字节起始位置

*@param cntB its int -编码字节数

*@return char-变换后的Unicode字符

*/pub lic static char UTFC2UniC(byte[]utf, int sptr, int cntBits)

{

/*

Unicode<->UTF-8

U-00000000-U-0000007F: 0 xxxxxxx

U-00000080-U-000007FF: 110xxxxx 10 xxxxxx

U-00000800-U-0000FFFF: 1110xxxx 10xxxxxx 10xxxxxx

U-00010000-U-001 FFFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

U-00200000-U-03FFFFFF: 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

U-04000000-U-7FFFFFFF: 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

*/int uniC=0; // repre sent the unicode charbyte firstByte=utf[sptr];int ptr=0; // po inter 0~15

//resolve single byte UTF-8 encoding charif(c ntB its==0)return(c har)fir stByte;

//re so lve the first bytefirs tB yte&=(1<<(7-c nt B its)) - 1;

//resolve multiple bytes UTF-8 encoding char(except the first byte)fo r(int i=sptr+c ntB its - 1; i>sp tr; --i)

{byte utfb=utf[i];uniC|=(utfb&0x3 f)<<ptr;ptr+=6;

}uniC|=fir stB yte<<p tr;return(c har)uniC;

}

//根据给定字节计算UTF-8编码的一个字符所占字节数

//UTF-8规则定义字节标记只能为0或2~6

private static int getCntBits(byte b)

{int cnt=0;i f(b==0)re t ur n-1;for(int i=7; i>=0; --i)

{if(((b>>i)&0x1)==1)

++cnt;elseb re ak;

}return(cnt>6| |cnt==1)?-1 :cnt;

}

参考资料

《UTF-8 and Unicode FAQ》——http://www.linuxforum.net/books/UTF-8-Unicode.html

Ceraus24元/月,国庆促销 香港云上新首月五折

Ceraus数据成立于2020年底,基于KVM虚拟架构技术;主营提供香港CN2、美国洛杉矶CN2、日本CN2的相关VPS云主机业务。喜迎国庆香港上新首月五折不限新老用户,cera机房,线路好,机器稳,适合做站五折优惠码:gqceraus 续费七五折官方网站:https://www.ceraus.com香港云内存​CPU硬盘流量宽带优惠价格购买地址香港云2G2核40G不限5Mbps24元/月点击购买...

享有云:美国BGP云服务器低至20元/月起,首月打折;香港2核2G2M仅50元/月起

享有云怎么样?享有云是一家新的国内云服务器商家,目前提供国内、香港及海外地区的云服务器,拥有多线路如:BGP线路、CN2线路、高防等云服务器,并且提供稳定、安全、弹性、高性能的云端计算服务,实时满足您的多样性业务需求。目前,美国bgp云服务器,5M带宽,低至20元/月起,270元/年起,首月打折;香港2核2G2M仅50元/月起,450元/年起!点击进入:享有云官方网站地址享有云优惠活动:一、美国B...

HoRain Cloud:国内特价物理机服务器,镇江机房,内地5线BGP接入,月付499元起

horain怎么样?horain cloud是一家2019年成立的国人主机商家,隶属于北京辰帆科技有限公司,horain持有增值电信业务经营许可证(B1-20203595),与中国电信天翼云、腾讯云、华为云、UCloud、AWS等签署渠道合作协议,主要提企业和个人提供云服务器,目前商家推出了几款特价物理机,都是在内地,性价比不错,其中有目前性能比较强悍的AMD+NVMe系列。点击进入:horain...

unicode编码转换为你推荐
signal37操作http现有新的ios更新可用请从ios14be苹果手机怎么更新到14phpcms模板phpcms在后台怎样改模板重庆网络公司一九互联网络公司做一个网站大概需要多少钱cisco2960配置cisco 2960 配置VLAN上网滴滴估值500亿滴滴出行股权项目投资怎么投 100w怎么可以投资不滴滴估值500亿滴滴拉屎 App 为何能估值 100 亿美金?是怎么计算出来的抢米网什么意思抢小米手机图文模块图文模块的标题栏填什么啊?
域名论坛 美国域名注册 哈尔滨域名注册 香港服务器租用 金万维动态域名 美国主机推荐 外贸主机 uk2 2014年感恩节 美国主机代购 42u机柜尺寸 win8升级win10正式版 gg广告 美国十次啦服务器 柚子舍官网 如何用qq邮箱发邮件 hktv 银盘服务是什么 vul 监控服务器 更多