WebRTC ICE 连接失败？“Consent to send expired” 详解与解决

2024-12-30 12:51:15

WebRTC ICE 连接失败，显示“Consent to send expired”？

在WebRTC通信过程中，有时会遇到ICE（Internet Connectivity Establishment）连接失败的问题，表现为服务器端报出“Consent to send expired”，客户端连接状态变为“failed”。该问题往往发生在ICE连接看起来已经建立后不久，让人感到困惑。本文深入分析此问题的常见原因并提供对应的解决方案。

问题分析

“Consent to send expired”错误通常表示一个ICE连接虽然在初始阶段建立成功，但由于某些原因，远端未能保持发送请求的意愿或能力。简单来说，WebRTC的ICE连接不仅仅是简单地找到网络路径，还需要双方持续互相确认连接是否仍然有效。如果一段时间内没有收到对方的请求，为了节省资源，一侧可能会认为对方失去了连接意愿。常见的触发此问题的原因包括：

网络不稳定 ：在网络波动，特别是NAT穿越复杂的环境中，ICE连接可能会短暂中断。短暂的网络中断可能导致连接看似成功，但实际上不稳定，最终触发“Consent to send expired”错误。
Keep-alive机制失效 ：ICE协议有保持连接的机制。如果在连接建立后，双方未进行必要的数据交互或信令交换，以保持会话活跃，可能会被误判为连接失效。
防火墙或NAT的配置问题 ：一些网络环境中的防火墙或NAT配置会拦截或者超时一些连接。由于其不规范的操作可能会导致连接建立成功后不久失效。

解决方案

以下方案将分场景探讨如何应对WebRTC的ICE连接失败问题：

方案一：确保双方数据交互或信令交换频繁，以保持连接活跃。

原理：WebRTC依赖于定期数据传输（例如发送视频或信令消息）来维持连接状态。在某些实现中，仅成功交换初始SDP和ICE候选是不够的，系统可能需要实际的数据包才能认为连接依然有效。

步骤：

在成功建立连接之后，确保至少定期发送视频流或自定义消息数据。
若只需要音频或视频，务必保持数据流连续。可以增加虚拟的静音音频流或画面颜色几乎没有变化的视频流作为“保持连接”数据。

示例：

Python Server端，维持视频帧的发送：

class SyntheticVideoTrack(VideoStreamTrack):
   
   #  ... （省略之前的init）...
  
    async def recv(self):
       
        await asyncio.sleep(self.frame_interval)

        # Create a solid color frame
        frame_data = np.full((self.height, self.width, 3), self.color, dtype=np.uint8)
        video_frame = VideoFrame.from_ndarray(frame_data, format="rgb24")

        # Set presentation timestamp (PTS) and time base
        elapsed_time = time.time() - self.start_time
        video_frame.pts = int(elapsed_time * 90000)
        video_frame.time_base = Fraction(1, 90000)

        return video_frame

C# 客户端示例，发送测试帧：

public class IPCameraService {
    
     // ... （省略之前的初始化）...
        
     private async Task StartVideoStreaming(CancellationToken token){
        while(!token.IsCancellationRequested &&  pc != null && pc.connectionState == RTCPeerConnectionState.connected){
           // 此处可以插入每秒15次的视频发送，即为保证正常通信
           await Task.Delay(TimeSpan.FromSeconds(1.0/15));

            var testPatternSource = new VideoTestPatternSource(new VpxVideoEncoder());
             MediaStreamTrack videoTrack = new MediaStreamTrack(testPatternSource.GetVideoSourceFormats(), MediaStreamStatusEnum.SendRecv);
            pc.addTrack(videoTrack);
        }
    }
    // ... (Main function should now include _ =  Task.Run(() => StartVideoStreaming(token));)

}

方案二：配置NAT保持连接

原理：网络地址转换（NAT）会在局域网和互联网之间重写IP地址和端口。某些NAT网关在连接一段时间不活跃后会主动断开映射。使用STUN/TURN 服务器协助建立和维持NAT穿透的连接，有助于提高连接稳定。

步骤：

获取STUN和TURN服务器。STUN主要用于获取公网IP地址，而TURN主要用于在中继连接不可用时提供中继服务。
配置 WebRTC的RTCPeerConnection，引入 iceServers 。

示例：

Python Server端设置TURN服务，可以在初始连接时传递服务器地址，并且只传递一次：

 async def start_webrtc_stream(self, websocket, camera_url):
        logger.info("Initializing WebRTC stream")
     
        offer = await websocket.receive_text()
        offer = json.loads(offer)

       
        self.pc = RTCPeerConnection(
        iceServers=[
              {"urls": ["stun:stun.l.google.com:19302",
                     "stun:stun1.l.google.com:19302"]},
                     # For local development and testing.  
             {"urls":"turn:<YOUR TURN ADDRESS>","username":"<USERNAME>","credential":"<PASSWORD>"}
        ])

       # ...  （省略原有逻辑）...

C# 客户端需要更改EstablishConnection以包含turn：

 public async Task EstablishConnection(CancellationToken token)
{
            Debug.WriteLine("Establishing PeerConnection.");
            
            // Include stun/turn info 
            RTCConfiguration rtcConfig = new RTCConfiguration();
            rtcConfig.iceServers = new List<RTCIceServer>() {
               new RTCIceServer {urls= new string[] {"stun:stun.l.google.com:19302", "stun:stun1.l.google.com:19302"}},
               new RTCIceServer{ urls =new string[]{ "<YOUR TURN ADDRESS>" }, username = "<USERNAME>", credential = "<PASSWORD>"}
            };
          pc = new RTCPeerConnection(rtcConfig);

    //...（ 省略原有代码） ...
 }