使用 base64 编码传输图像，优化微信小程序与 TensorFlow 通信

2023-10-06 05:24:38

缘起：微信小程序与 TensorFlow 的邂逅

在上一篇博文中，我们成功地构建了一个微信小程序，利用 TensorFlow Serving 部署的服务端进行图像分类。然而，当时的实现方案存在一个亟待解决的问题：图像数据在小程序和服务端之间的传输采用的是 JSON 化的 (299, 299, 3) 二进制数组表示，这会带来巨大的性能损耗。

为了解决这一瓶颈，我们亟需寻找一种更有效率的方法来传输图像数据。本文将详细介绍如何使用 base64 编码优化微信小程序与 TensorFlow 的通信，大幅提升图像处理性能。

base64 编码：图像传输的利器

base64 是一种二进制到文本的编码方法，常用于传输二进制数据，例如图像、视频和音频。与 JSON 不同，base64 编码后的数据体积更小，传输效率更高。

对于图像而言，base64 编码可以将二进制像素数据转换为可读的文本字符串。这种文本字符串不仅体积更小，而且更容易在网络上传输和处理。

实战演练：base64 编码优化

微信小程序端

1. 获取图像数据

首先，我们需要从微信小程序中获取图像数据。我们可以使用小程序提供的 wx.chooseImage 方法选择一张图片。

wx.chooseImage({
  count: 1, // 只选一张图片
  success: (res) => {
    // 获取图片的 base64 编码
    const base64Data = res.images[0].base64;
  }
});

2. 发送 base64 数据

获取 base64 编码后的图像数据后，即可将其发送到 TensorFlow Serving。我们可以使用小程序提供的 wx.request 方法发送 HTTP 请求。

wx.request({
  url: 'YOUR_SERVING_URL', // TensorFlow Serving 的地址
  method: 'POST',
  header: {
    'Content-Type': 'application/json'
  },
  data: {
    image: base64Data
  },
  success: (res) => {
    // 处理服务端返回的结果
  }
});

TensorFlow Serving 端

1. 解码 base64 数据

在 TensorFlow Serving 端，我们需要对接收到的 base64 编码图像数据进行解码。我们可以使用 TensorFlow 中的 tf.io.decode_base64 函数完成这一步。

import tensorflow as tf

def decode_base64_image(base64_data):
  return tf.io.decode_base64(base64_data)

2. 处理图像数据

解码后的图像数据是一个张量，我们可以对其进行预处理和推理，就像处理常规图像一样。

# 预处理图像
preprocessed_image = tf.keras.preprocessing.image.load_img(decoded_image, target_size=(299, 299))
preprocessed_image = tf.keras.preprocessing.image.img_to_array(preprocessed_image)
preprocessed_image = tf.keras.applications.mobilenet_v2.preprocess_input(preprocessed_image)

# 推理
predictions = model.predict(preprocessed_image)