TensorFlow支持Unicode，中文NLP终于省心了

整理 | 非主流
出品 | AI科技大本营

终于，TensorFlow 增加了对 Unicode 的支持。

什么是 Unicode？Unicode 是计算机科学领域里的一项业界标准，包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。

在处理自然语言时，了解字符串中字符的编码方式非常重要。因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字。最早的计算机在设计时采用 8 个比特（bit）作为一个字节（byte），所以一个字节能表示的最大的整数就是 255（二进制 11111111 = 十进制 255），0 - 255 被用来表示大小写英文字母、数字和一些符号，这个编码表被称为 ASCII 编码，比如大写字母 A 的编码是 65，小写字母 z 的编码是 122。

如果要表示中文，显然一个字节是不够的，至少需要两个字节，而且还不能和 ASCII 编码冲突，所以，中国制定了 GB2312 编码，用来把中文编进去。

类似的，日文和韩文等其他语言也有这个问题。为了统一所有文字的编码，Unicode 应运而生。Unicode 把所有语言都统一到一套编码里，这样就不会再有乱码问题了。

Unicode 几乎支持所有的语言，是字符编码最常用的标准。Unicode 规定，每个字符使用唯一的整数代码点（code point）表示，其值介于 0 和 0x10FFFF 之间。把代码点按顺序放置，就能得到一个 Unicode 字符串。

因此，TensorFlow 支持 Unicode 对中文 NLP 的研究人员来说绝对算得上是一大利好。与此同时，TensorFlow 社区也推出了新的 Unicode colab 教程，展示了如何在 TensorFlow 中表示 Unicode 字符串。

在使用 TensorFlow 时，有两种标准方式来表示 Unicode 字符串：

• 作为整数向量，其中每个位置包含一个代码点。

• 作为字符串，使用字符编码将代码点序列编码到字符串中，包括最常见的 UTF-8、UTF-16 等字符编码。

以下代码分别为使用代码点 UTF-8 和 UTF-16 显示字符串“语言处理”的编码。

# Unicode string, represented as a vector of code points.
text_chars = tf.constant([35821, 35328, 22788, 29702])

# Unicode string, represented as a UTF-8-encoded string scalar.
text_utf8 = tf.constant('\xe8\xaf\xad\xe8\xa8\x80\xe5\xa4\x84\xe7\x90\x86')

# Unicode string, represented as a UTF-16-BE-encoded string scalar.
text_utf16be = tf.constant('\x8b\xed\x8a\x00Y\x04t\x06')```

当然，你可能经常需要在不同的表示之间进行转换，而 TensorFlow 1.13 已添加了执行此操作的函数：

• tf.strings.unicode_decode：将编码的字符串标量转换为代码点的向量。

• tf.strings.unicode_encode：将代码点向量转换为编码的字符串标量。

• tf.strings.unicode_transcode：将编码的字符串标量转换为不同的编码。

例如，如果要将上述示例中的 UTF-8 表示解码为代码点向量，则可以执行以下操作：

>>> tf.strings.unicode_decode(text_utf8, input_encoding='UTF-8')
tf.Tensor([35821 35328 22788 29702], shape=(4,), dtype=int32)

当对包含多个字符串的 Tensor 进行解码时，字符串可能具有不同的长度。unicode_decode 将结果作为 RaggedTensor 返回，其内部维度的长度根据每个字符串中的字符数而变化。

>>> hello = [b"Hello", b"你好", b"こんにちは", b"Bonjour"]
>>> tf.strings.unicode_decode(hello, input_encoding='UTF-8')
<tf.RaggedTensor [[72, 101, 108, 108, 111],
                  [20320, 22909],
                  [12371, 12435, 12395, 12385, 12399],
                  [66, 111, 110, 106, 111, 117, 114]]>

以下是 Unicode 使用方法的详细介绍，希望对大家能有所帮助。

!pip install -q tf-nightly

from __future__ import absolute_import, division, print_function
import tensorflow as tf

tf.enable_eager_execution()

tf.string

通过基本的 TensorFlow tf.string dtype，你可以构建字节字符串的张量（tensor）。Unicode 字符串默认为 utf-8 编码。

tf.constant(u"Thanks     

<tf.Tensor: id=0, shape=(), dtype=string, numpy=b'Thanks \xf0\x9f\x98\x8a'>

tf.string 张量可以保存不同长度的字节串，因为字节串被视为原子单位。字符串长度不包括在张量尺寸中。

f.constant([u"You're", u"welcome!"]).shape

TensorShape([Dimension(2)])

Unicode 表示

在 TensorFlow 中有两种表示 Unicode 字符串的标准方法：

字符串标量，使用已知字符编码对代码点序列进行编码。
int32 vector，每个位置包含一个代码点。

例如，以下三个值都表示 Unicode 字符串“语言处理”。

# Unicode string, represented as a UTF-8 encoded string scalar.
text_utf8 = tf.constant(u"语言处理")
text_utf8

<tf.Tensor: id=3, shape=(), dtype=string, numpy=b'\xe8\xaf\xad\xe8\xa8\x80\xe5\xa4\x84\xe7\x90\x86'>

# Unicode string, represented as a UTF-16-BE encoded string scalar.
text_utf16be = tf.constant(u"语言处理".encode("UTF-16-BE"))
text_utf16be

<tf.Tensor: id=5, shape=(), dtype=string, numpy=b'\x8b\xed\x8a\x00Y\x04t\x06'>

# Unicode string, represented as a vector of Unicode code points.
text_chars = tf.constant([ord(char) for char in u"语言处理"])
text_chars

<tf.Tensor: id=7, shape=(4,), dtype=int32, numpy=array([35821, 35328, 22788, 29702], dtype=int32)>

表示之间的转换

TensorFlow 提供了在这些不同表示之间进行转换的操作：

• tf.strings.unicode_decode：将编码的字符串标量转换为代码点的向量。

• tf.strings.unicode_encode：将代码点向量转换为编码的字符串标量。

• tf.strings.unicode_transcode：将编码的字符串标量转换为不同的编码。

tf.strings.unicode_decode(text_utf8,
                          input_encoding='UTF-8')

<tf.Tensor: id=12, shape=(4,), dtype=int32, numpy=array([35821, 35328, 22788, 29702], dtype=int32)>

tf.strings.unicode_encode(text_chars,
                          output_encoding='UTF-8')

<tf.Tensor: id=23, shape=(), dtype=string, numpy=b'\xe8\xaf\xad\xe8\xa8\x80\xe5\xa4\x84\xe7\x90\x86'>

tf.strings.unicode_transcode(text_utf8,
                             input_encoding='UTF8',
                             output_encoding='UTF-16-BE')

<tf.Tensor: id=25, shape=(), dtype=string, numpy=b'\x8b\xed\x8a\x00Y\x04t\x06'>

Batch dimensions

解码多个字符串时，每个字符串中的字符数可能不相等。 其返回结果是 tf.RaggedTensor，其中最里面的维度的长度根据每个字符串中的字符数而变化。

# A batch of Unicode strings, each represented as a UTF8-encoded string.
batch_utf8 = [s.encode('UTF-8') for s in
              [u'hÃllo',  u'What is the weather tomorrow', u'Göödnight', u'