解析WeNet云端推理部署代码，一文轻松掌握！

闲谈

2023-10-02 04:13:47

前言

随着语音交互技术蓬勃发展，自动语音识别（ASR）工具包的需求不断增长。WeNet作为一款开源端到端ASR工具包，凭借其从训练到部署的完整工具链，备受关注。本文将深入解析WeNet云端推理部署代码，帮助您轻松掌握部署过程。

第一步：准备推理环境

安装WeNet：pip install wenet
安装Python依赖项：pip install -r requirements.txt

第二步：导出推理模型

将训练好的模型导出为Paddle Inference模型：export.py --config config.yaml

第三步：构建推理服务

创建服务端代码：

from wenet.bin.paddle_server import create_server

server = create_server(port=8080, model_file="inference.pdmodel", params_file="inference.pdiparams")
server.run()

第四步：部署推理服务

使用Docker部署：

docker build -t wenet-server .
docker run -p 8080:8080 wenet-server

使用K8s部署（推荐）：

kubectl apply -f deployment.yaml
kubectl apply -f service.yaml

第五步：发送推理请求

发送POST请求：curl -X POST -H "Content-Type: application/json" -d '{"wav":"path_to_wav_file"}' http://localhost:8080/wav

代码示例

部署代码示例如下：

# service.yaml
apiVersion: v1
kind: Service
metadata:
  name: wenet-service
  labels:
    app: wenet
spec:
  type: NodePort
  selector:
    app: wenet
  ports:
  - port: 8080
    targetPort: 8080
    nodePort: 30000

# deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: wenet-deployment
  labels:
    app: wenet
spec:
  replicas: 1
  selector:
    matchLabels:
      app: wenet
  template:
    metadata:
      labels:
        app: wenet
    spec:
      containers:
      - name: wenet-container
        image: wenet-server
        ports:
        - containerPort: 8080