在处理字符串时，常常会遇到不知道字符串是何种编码，如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式，是否会有一种有效的编码方式？chardet是一个非常优秀的编码识别模块。
chardet 是python的第三方库，需要下载和安装。现在 pip 已经可以很好的支持这个版本的下载了，建议使用pip 安装，关于pip 的安装部分，可以参考Windows下python的包管理器pip安装
在安装完chardet模块，我就可以使用它了，来看一段示例代码。
|
1 2 3 4 5 6 7 8 9 |
import chardet import urllib #可根据需要，选择不同的数据 TestData = urllib.urlopen('http://www.baidu.com/').read() print chardet.detect(TestData) 运行结果： {'confidence': 0.99, 'encoding': 'GB2312'} |
运行结果表示有99%的概率认为这段代码是GB2312编码方式。
另外一个相对高级的应用。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
import urllib from chardet.universaldetector import UniversalDetector usock = urllib.urlopen('http://www.baidu.com/') #创建一个检测对象 detector = UniversalDetector() for line in usock.readlines(): #分块进行测试，直到达到阈值 detector.feed(line) if detector.done: break #关闭检测对象 detector.close() usock.close() #输出检测结果 print detector.result 运行结果： {'confidence': 0.99, 'encoding': 'GB2312'} |
应用背景，如果要对一个大文件进行编码识别，使用这种高级的方法，可以只读一部，去判别编码方式从而提高检测速度。