B站 嵌入式孙老师博主个人介绍博主书籍-京东购买链接*Yocto项目实战教程加博主微信进技术交流群jerrydevRK3576 音视频网络传输总结RTP / RTSP / UDP / H265RK3576 做 Camera、IPC、AI 视频项目时整个系统真正核心其实只有一条链路Sensor ↓ ISP ↓ NV12/YUV ↓ H264/H265 编码 ↓ RTP/RTSP ↓ PC / 平板 / NVR只要把这条链路理解清楚ISP 编码 网络协议 实时传输这些东西基本就都通了。一、RK3576 Camera 的真实数据流以RK3576 IMX585为例。IMX585 输出的是RAW12 Bayer例如RG12 BG12 GB12这种数据本质是Sensor 原始感光数据并不是正常视频。所以/dev/video0通常就是RAW 节点这种数据不能直接 H265 编码 不能直接 RTSP 推流因为编码器不认识 RAW Bayer。二、ISP 在整个链路中的作用RK3576 ISP39 的作用RAW → 正常视频图像ISP 会完成Debayer 白平衡 自动曝光 降噪 Gamma 锐化 色彩校正 DRC 镜头校正最终输出NV12/YUV这时候才是真正“视频”。因此/dev/video11通常才是ISP 输出节点可以直接H265 编码 RTSP 推流 录像三、MPP 硬件编码器RK3576mpph265enc属于Rockchip MPP 硬件编码器作用NV12 → H265例如1920x1080 NV12经过mpph265enc后变成H265 码流压缩后网络带宽会小很多。四、UDP 与 TCP整个音视频网络传输本质只有UDP TCP两种底层方式。TCP特点可靠 有重传 顺序正确优点稳定 不丢数据缺点延迟高因为丢包会等待重传典型网页 下载 RTMP HLSUDP特点不重传 低延迟 允许丢包优点实时 速度快适合IPC 监控 AI Camera 实时视频因为实时视频最怕等待 卡顿不太怕偶尔丢一帧所以RTP 基本都跑 UDP五、RTP 是真正的视频传输协议RTPReal-time Transport Protocol真正负责传输音视频数据例如H264 H265 AAC会被RTP Packet切包后发送。RTP 通常基于 UDP因此延迟很低非常适合IPC AI 视频 实时监控六、RTSP 本质是控制协议RTSPReal Time Streaming Protocol很多人以为RTSP 在传视频实际上RTSP 本身不真正传视频RTSP 的作用PLAY PAUSE SETUP TEARDOWN也就是控制播放真正视频通常还是RTP在传。因此RTSP 控制 RTP 真正视频数据 UDP 底层网络 H265 视频压缩这是整个 IPC 领域最核心的理解。七、RK3576 RTP UDP 推流实战RK3576 推流gst-launch-1.0-v\v4l2srcdevice/dev/video11!\video/x-raw,formatNV12,width1920,height1080,framerate30/1!\mpph265enc!\h265parse config-interval-1!\rtph265paypt96config-interval1!\udpsinkhost192.168.50.131port5000这里模块作用v4l2src从 ISP 输出节点取图mpph265encRK3576 硬件 H265 编码h265parse整理 H265 码流rtph265payH265 → RTPudpsinkUDP 网络发送八、PC 主机接收 RTP 视频PCgst-launch-1.0-v\udpsrcport5000\capsapplication/x-rtp,mediavideo,clock-rate90000,encoding-nameH265,payload96!\rtph265depay!\h265parse!\avdec_h265!\videoconvert!\autovideosinksyncfalse接收流程UDP ↓ RTP ↓ H265 ↓ 解码 ↓ 显示九、为什么 IPC 更喜欢 RTSP因为低延迟 局域网稳定 播放器兼容广典型IPC Camera ↓ RTSP ↓ VLC / NVR / Tablet例如rtsp://192.168.50.34/live十、RTMP 与 WebRTC 的定位RTMP特点基于 TCP 稳定 延迟较高适合直播平台 OBS 抖音 B站WebRTC特点超低延迟适合视频会议 远程控制 机器人但复杂度高因此 RK3576 IPC 项目里最常见的还是RTSP RTP H265十一、RK3576 Camera 最核心的理解整个系统本质RAW ↓ ISP ↓ NV12 ↓ H265 ↓ RTP/RTSP ↓ 网络其中ISP 负责图像质量 MPP 负责视频压缩 RTP 负责实时传输 RTSP 负责播放控制 UDP 负责低延迟网络真正理解这条链路RK3576 音视频网络系统基本就完全通了。B站 嵌入式孙老师博主个人介绍博主书籍-京东购买链接*Yocto项目实战教程加博主微信进技术交流群jerrydev