一篇文章看懂py2/py3编码问题

py2和py3都使用unicode作为内存编码，简称内码。 python解释器内存中存储的文本在输出到屏幕、编辑器或保存为文件时，必须将内码转换成utf8或gbk等编码格式；同样，python解释器从输入设备接收文本，或者从文件中读取文本时，必须将utf8或gbk等编码转换成unicode编码格式。

因此，无论是py2还是py3，想要在unicode、utf8、gbk等编码格式之间转换的话，下图是通用的：

混淆的产生是因为 py2 和 py3 为这些编码格式分配了混淆的名称。

py2的字符串有两种类型：unicode类型和str类型。

py2的unicode类型就是unicode编码，py2的str类型一般是指除unicode编码之外的所有编码，包括ascii编码、utf8编码、gbk编码、cp936编码等。

py3的字符串也有bytes类型和str类型两种。 py3的str类型是unicode编码，py3的bytes类型一般是指除unicode编码以外的所有编码，包括ascii编码、utf8编码、gbk编码、cp936编码等。

同样是str类型，在py2和py3中完全颠倒了！下图增加了一点点内容，对理解编码问题更有帮助。

接下来，我们实战演练一下。

>>> s = 'abc天圆地方'
>>> type(s)
<class 'str'>
>>> len(s)
7
>>> s
'abc天圆地方'
>>> print(s)
abc天圆地方
>>> s.encode('unicode-escape')
b'abc\\u5929\\u5706\\u5730\\u65b9'

不管字符串前面是否加u，只要字符串前面不加b，IDLE中定义的字符串是unicode编码的，即py3的<class 'str'>，其长度为字符数，而不是字节数。我们把unicode字符串'abc sky circle place'转成utf8编码：

>>> s_utf8 = s.encode('utf8')
>>> type(s_utf8)
<class 'bytes'>
>>> len(s_utf8)
15
>>> s_utf8
b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9'
>>> print(s_utf8)
b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9'
>>> s_utf8.decode('utf8')
'abc天圆地方'

utf8编码是bytes类型（字节码），length是字节数。我们把unicode字符串'abc sky circle place'转成gbk编码：

>>> s_gbk= s.encode('gbk')
>>> type(s_gbk)
<class 'bytes'>
>>> len(s_gbk)
11
>>> s_gbk
b'abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'
>>> print(s_gbk)
b'abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'
>>> s_gbk.decode('s_gbk')
'abc天圆地方'

gbk编码也是bytes类型（字节码），长度也是字节数。我们来看看不同编码的字节码是否可以连接：

>>> ss = s_utf8 + s_gbk
>>> ss
b'abc\xe5\xa4\xa9\xe5\x9c\x86\xe5\x9c\xb0\xe6\x96\xb9abc\xcc\xec\xd4\xb2\xb5\xd8\xb7\xbd'
>>> ss.decode('utf8')
Traceback (most recent call last):
  File "<pyshell#64>", line 1, in <module>
    ss.decode('utf8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcc in position 18: invalid continuation byte
>>> ss.decode('gbk')
'abc澶╁渾鍦版柟abc天圆地方'
>>> ss.decode('utf8', 'ignore')
'abc天圆地方abcԲط'
>>> ss.decode('gbk', 'ignore')
'abc澶╁渾鍦版柟abc天圆地方'

可以看出不同编码的字节码可以拼接起来，但是一般不能解码成unicode（字符串），除非使用ignore参数。

python学习网，免费的在线学习
，欢迎关注！