返回

解决 WebSocket 流式传输音频中“receive_bytes()”无效输入问题的指南

javascript

解决 WebSocket 流式传输音频中“receive_bytes()”无效输入问题的终极指南

作为一名经验丰富的程序员和技术作家，我致力于分享我的知识和经验，帮助其他开发人员解决他们遇到的问题。今天，我们将深入探讨 WebSocket 流式传输音频时“receive_bytes()”接收无效输入的问题及其解决方案。

问题定义

当使用 WebSocket 流式传输音频数据时，客户端每 4 秒发送一个音频块。然而，服务器端的 Python 接收器在接收到第二个块后抛出“invalid input”错误。这种问题阻碍了应用程序接收和处理音频数据流。

解决方法

为了解决这个问题，需要对客户端和服务器端的代码进行以下修改：

客户端修改：

将以下代码修改为：

async (event) => {
  const arrayBuffer = event.data;
  const blob = new Blob([arrayBuffer], {
    type: "audio/wav; codecs=MS_PCM",
  });

  if (recorder.socket?.readyState === 1) {
    recorder.socket.send(blob);
  }
}

服务器端修改：

将以下代码修改为：

bytes_data, message_type = await websocket.receive_bytes()

此外，还需要修改流读取器以处理块：

streamer.add_basic_audio_stream(frames_per_chunk=1, sample_rate=sample_rate, format='fltp')

步骤详解

  1. 客户端修改：

    • 将事件数据转换为 ArrayBuffer，然后用作 Blob 的输入。这确保了发送的数据格式正确。

  2. 服务器端修改：

    • 从 WebSocket 接收消息类型，并在处理数据之前正确设置。
    • 将流读取器修改为处理单个块。

结论

通过实施这些修改，WebSocket 流式传输音频中的“receive_bytes()”无效输入问题应该得到解决。Python 接收器现在可以正确接收和处理音频块。

常见问题解答

  1. 为什么我需要将客户端事件数据转换为 ArrayBuffer？

    • 因为 Python 接收器期望接收 ArrayBuffer。

  2. 为什么我需要接收 WebSocket 消息类型？

    • 这样可以确保在处理数据之前正确设置消息类型。

  3. 为什么我需要修改流读取器？

    • 为了处理单个块，而不是一组块。

  4. 是否还有其他因素会导致“invalid input”错误？

    • 是的，例如 WebSocket 连接问题或不兼容的音频编解码器。

  5. 我可以使用其他方法解决这个问题吗？

    • 虽然本文中提供的解决方案很有效，但您可能可以使用其他方法，例如通过 WebSocket 发送分块数据。