python-字符转换遇到的问题

1，异常: 'ascii' codec can't encode characters

字符集的问题，在文件前加两句话：
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )

2，unicode中的‘\xa0’字符在转换成gbk编码时会出现问题，gbk无法转换'\xa0'字符。

所以，在转换的时候必需进行一些前置动作：

将'\xa0‘替换成u' '空格。

 #! /usr/bin/env python

 #coding=utf-8

 s=raw_input()

 print s,type(s),len(s)

 s=s.decode("gbk")

 print s,type(s),len(s)

 s=s.encode("utf-8")

 print s,type(s),len(s)

 s="中国"

 print s,type(s),len(s)

 中国

 中国 <type 'str'> 4

 中国 <type 'unicode'> 2

 中国 <type 'str'> 6

 中国 <type 'str'> 6

raw_input读入是gbk编码的，汉字和字母都是

4正则匹配language

#get each language parts:
findPart(u"[\u4e00-\u9fa5]+", usample, "unicode chinese")
findPart(u"[\uac00-\ud7ff]+", usample, "unicode korean")
findPart(u"[\u30a0-\u30ff]+", usample, "unicode japanese katakana")
findPart(u"[\u3040-\u309f]+", usample, "unicode japanese hiragana")
findPart(u"[\u3000-\u303f\ufb00-\ufffd]+", usample, "unicode cjk Punctuation")

巴特西

python-字符转换遇到的问题

最新文章

热门文章