Qt/C++开发监控GB28181系统/记一个取流失败问题的解决/不支持的传输模式/主动拉流端口校验

一、前言说明

原以为把手头上的海康大华宇视华为等摄像头测试国标监控功能没问题就算大功告成，哪成想这只是完成的一部分，各种复杂的情况只有现场才能复现，首先就是设备可能有盗版的设备，导致支持的协议不全，比如有些厂家的设备只支持TCP被动模式取流，你发其他模式点播，会返回sdp信息，仔细观察sdp信息会发现通信端口号为0，意味着其实不支持，此时要能够识别到，所以后面程序改成统一在收到了正确的sdp的取流端口后，再去打开视频通道收流解码，并给出错误的提示。那如何能保证自适应收流策略呢，绝大部分厂家做的是每个设备让用户选择取流方式，比如提供一个下拉框选择是udp/tcp被动/tcp主动，默认可以是tcp被动，其实做的完善一点的还可以自动纠错，一旦udp失败，再自动调整到其他方式取流，直到三种策略全测试完。

解决取流模式不支持的问题后，现场又发现一个奇怪的问题，同样是大华的摄像头，同样是tcp主动模式，有一个摄像头始终取流失败，具体是到已经连接成功取流后失败的，被强制断开了，然后用第三方的平台比如easynvr取流，发现正常，说明设备肯定是没有问题的，后面仔细想了想，是不是在下发端口的时候，对应tcp主动方式，当时考虑到服务端肯定是不起作用，所以端口号就随便填了个8888，然后socket就去连接，后面想想会不会这个端口号需要校验，比如设备只支持指定了服务端端口号的连接，非该端口号连接都直接拒绝，于是立即行动，对应socket先绑定地址和端口，再去连接，终于正常了，大呼一口气，原来真的是这样。后面发现宇视NVR的网页后台也有这个选项，是否需要校验端口号，勾选了就会去校验端口号，而有些设备默认开启了这个机制，导致很懵逼。

二、效果图

三、相关地址

1. 国内站点：https://gitee.com/feiyangqingyun
2. 国际站点：https://github.com/feiyangqingyun
3. 个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
4. 文件地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_gb28181。

四、功能特点

1. 支持设备注册、注销、心跳、校时、注册认证、注销认证等。
2. 设备上线后可以手动获取设备状态、设备信息、配置信息、预置位信息等。
3. 设备上线后自动获取设备通道信息，包括中文通道名称。识别到通道上线离线变化，会重新获取该设备的所有通道信息。
4. 支持视频点播，可以分别点播主码流和子码流，内置rtp解包线程，解包后发给视频播放组件解码播放。
5. 每个设备每个通道支持点播多个视频，通过ssrc区分，支持共用端口和不同端口收流。
6. 支持对某个设备下面所有通道、某个通道、某个通道对应的某个流分别关闭。
7. 支持录像文件查询和回放，回放控制支持暂停播放、继续播放、倍速播放、切换播放进度。
8. 支持录像文件下载，支持倍速比如8倍速下载，可同时多线程批量下载。
9. 回放和下载同时支持IPC和NVR，比如摄像头自带的SD存储卡录像文件回放，NVR上的硬盘录像文件回放。
10. 支持云台控制，向上、向下、向左、向右、左上、右上、左下、右下方位移动，镜头放大缩小，光圈放大缩小，镜头聚焦放焦。
11. 支持预置位信息的查询、调用、添加、修改、删除等操作。
12. 自动目录订阅功能，通道上线下线都有对应的信号通知。
13. 内置定时读取通道信息机制，以保证通道信息是最新的，比如有些NVR是不断更新的通道信息。
14. 内置订阅警情和位置移动功能，订阅后各种警情事件比如运动目标检测报警、入侵检测报警、徘徊检测报警等自动上报。
15. 支持语音对讲功能，可以直接在视频窗体的悬浮条上单击语音对讲按钮，再次单击关闭对讲，对讲期间悬浮条常驻显示。
16. 支持设备布防撤防，布防后警情信息会主动上报。
17. 国标服务同时支持udp和tcp方式，可选只监听一种或者两种都监听，tcp方式自动处理粘包问题。
18. 国标拉流同时支持udp、tcp被动、tcp主动三种方式，每个通道都可以自由选择何种拉流方式。
19. 内置拉流端口池，每次拉流从中取出一个，关闭流自动回收端口号，重复利用。
20. 收流端口自动纠错，自动跳过被占用的端口，不会出现端口占用导致收流失败的情况。
21. 支持三种取流方式自动检测离线重连，检测到离线后，自动重启点播拉流整个流程。
22. 录像文件回放，上一个完成后自动切换到下一个继续回放，直到所有回放完成。支持高达8倍速回放。
23. 视频播放自适应硬解码，极低资源占用，实时性极好，带悬浮条显示视频流信息，可以直接在悬浮条单击按钮保存录像文件到本地。
24. 支持几千路国标消息交互并发，实时视频流支持64路同时显示，可以拓展更多路数。
25. 支持阿里云等云服务器，可以分别设置内网监听地址和外网访问地址，一般云服务器上是监听地址用内网，对外访问用外网地址。
26. 支持视频分发，也就是推流，视频通道打开后可以自动推流到流媒体服务器，其他需要的地方拉流即可，支持rtsp、rtmp、hls、webrtc等方式拉流。
27. 实时预览和录像回放都支持推流，推流支持叠加文字和图片水印以及各种ffmpeg支持的滤镜效果，支持多个水印同时叠加。
28. 同时支持gb28181-2011、gb28181-2016、gb28181-2022以及后续可能的所有协议版本。
29. SIP解析和交互采用纯Qt底层代码实现，udp/tcp通信交互，祖传原创代码解析，不依赖任何第三方。
30. 代码量少，gb28181交互部分共几千行代码，注释详细，接口友好，使用极其简单，提供非常详细的使用示例。
31. 支持海康、大华、宇视、华为、天地伟业等所有国标设备，包括一些没有ssrc的设备。
32. 支持所有Qt版本和编译器以及操作系统，包括但不限于win、linux、mac、android、嵌入式linux、树莓派香橙派、国产os等。

五、相关代码

void GB28181Parse::parseSdp(GB28181Info info, QString &channel, QString &ssrc, int &transmitMode, int &transmitPort)
{transmitPort = 0;bool tcp = false;//passive=true表示需要服务端主动去连接设备端bool passive = (info.bodyAttr["a=setup"] == "passive");QStringList list = info.bodyAttr["m"].split(" ");if (list.count() > 2) {transmitPort = list.at(1).toInt();tcp = list.at(2).startsWith("TCP");}transmitMode = (!tcp ? 0 : (passive ? 2 : 1));ssrc = info.bodyAttr["y"];//语音对讲返回的sdp带有Subject字段QString subject = info.attr["Subject"];if (subject.isEmpty()) {channel = info.attr["To"].mid(5, 20);} else {channel = subject.split(",").last();channel = channel.split(":").first();}
}void GB28181ServerBase::parseData(const QString &host, quint16 port, const QString &data)
{GB28181Info info = GB28181Data::parseData(data, serverPara);info.deviceIp = host;info.devicePort = QString::number(port);//有时候可能是通道编码/必须从设备信息中获取到的才是正确的设备编码QString func = info.func;QString type = info.bodyType;QString id = info.deviceId;GB28181Device device = GB28181Helper::getDeviceId(info, id, devices);//qDebug() << TIMEMS << "000" << host << id << func << data;emit receiveData(host, port, id, data);if (func == "REGISTER") {//先判断服务器编码是否正确bool checkPwd = !serverPara.serverPwd.isEmpty();if (checkPwd && info.sipId != serverPara.serverId) {QString buffer = GB28181Data::getResponseData(info, toTag, "403 Forbidden/Wrong SipId", QStringList());this->writeData(host, port, id, buffer, "服务器编码错误");return;}//注册的时候对应Expires=3600/注销的时候对应Expires=0bool login = (info.attr.value("Expires") != "0");//先校验是否编码重复/该设备已注册if (login && GB28181Helper::existDevice(info, devices)) {emit receiveInfo(host, port, id, "设备编码重复");return;}//设置了密码才需要认证/并校验密码是否正确if (checkPwd) {if (!info.attr.contains("Authorization")) {QString buffer = GB28181Data::unauthorized(info, toTag, serverPara.serverRealm);this->writeData(host, port, id, buffer, QString("%1认证失败").arg(login ? "注册" : "注销"));//有些早期设备可能注销流程不规范/比如并没有响应认证要求/可以把下面这行注释掉就行return;} else {if (!info.pwdOk) {QString buffer = GB28181Data::getResponseData(info, toTag, "403 Forbidden/Wrong Password", QStringList());this->writeData(host, port, id, buffer, "认证密码错误");return;}}}//注册成功后立即查询设备/注销成功后执行对应的设备离线QString buffer = GB28181Data::responseOk(info, toTag);this->writeData(host, port, id, buffer, QString("设备%1成功").arg(login ? "注册" : "注销"));if (login) {this->queryDevice(info);} else {this->deviceOffline(id);}} else if (func == "MESSAGE" || func == "NOTIFY") {QString buffer = GB28181Data::responseOk(info, toTag);QString text = GB28181Helper::getCmdText(type);this->writeData(host, port, id, buffer, "返回" + text);if (type == "Keepalive") {//可能没有先注册/直接过来的就是心跳消息this->queryDevice(info);} else if (type == "DeviceInfo") {//收到设备信息才是真正的上线bool exist = GB28181Helper::updateDevice(info, serverPara, devices);if (!exist) {emit deviceChanged(id, true);this->query(id, "Catalog");this->queryConfig(id);}} else if (type == "Catalog") {QList<GB28181Channel> channels;int count = GB28181Parse::parseDeviceList(info, id, channels);int count2 = device.channels.count();//采用在线通道数量作为判断依据更准确int count3 = GB28181Helper::getOnlineChannel(device.channels);//通道数量发生了变化才需要触发/会定期查询/没变化就不要触发if (count != count3) {//每次收到的通道列表/和该设备所有通道列表未必一致/要取设备的列表channels = GB28181Helper::updateChannel(id, channels, devices);emit channelChanged(id, channels);}} else if (type == "ConfigDownload") {GB28181Parse::parseConfigDownload(info, devices);} else if (type == "PresetQuery") {QList<GB28181Preset> presets;GB28181Parse::parsePresetList(info, id, presets);if (presets.count() > 0) {emit receivePreset(presets);}} else if (type == "RecordInfo") {QList<GB28181Record> records;GB28181Parse::parseRecordInfo(info, id, records);if (records.count() > 0) {emit receiveRecord(records);}} else if (type == "Alarm") {GB28181Event event = GB28181Parse::parseAlarmInfo(info);emit receiveEvent(event);//通道上下线更新对应通道状态并重新查询if (GB28181Helper::updateOnline(event, devices)) {this->query(id, "Catalog");}} else if (type == "MediaStatus") {GB28181Status status = GB28181Parse::parseMediaStatus(info, devices);emit receiveStatus(status);} else if (type == "MobilePosition") {GB28181Position position = GB28181Parse::parseMobilePosition(info);emit receivePosition(position);}} else if (func == "INVITE") {QString channel, ssrc;int transmitMode, transmitPort;GB28181Parse::parseSdp(info, channel, ssrc, transmitMode, transmitPort);//有些厂家的设备返回的数据中/带的是设备编码而不是通道编码/需要在开始对讲的时候记住channel = this->property("channelId").toString();int audioPort = this->property("audioPort").toInt();QString sdp = GB28181Body::getAudioSdp(serverPara.serverId, serverPara.serverHost, audioPort, ssrc);QString buffer = GB28181Data::responseInvite(device, info, sdp, channel, ssrc);this->writeData(host, port, id, buffer, "开始语音对讲");devices[devices.indexOf(device)] = device;//有些设备不支持某种模式/应答的端口号是0if (transmitPort > 0) {emit startAudio(host, port, id, channel, ssrc, transmitMode, transmitPort);}} else if (func == "ACK") {} else if (func == "BYE") {QString buffer = GB28181Data::responseOk(info, toTag);this->writeData(host, port, id, buffer, "结束呼叫");} else if (type == "sdp") {QString channel, ssrc;int transmitMode, transmitPort;GB28181Parse::parseSdp(info, channel, ssrc, transmitMode, transmitPort);//有些厂家的设备返回的sdp没有带ssrc/需要从点播发送的ssrc值取if (ssrc.isEmpty()) {ssrc = GB28181Helper::getSsrc(id, channel, devices);}QString buffer = GB28181Data::ack(device, info, ssrc, cseqSN);this->writeData(device, buffer, "开始播放视频");devices[devices.indexOf(device)] = device;//有些设备不支持某种模式/应答的端口号是0if (transmitPort > 0) {emit startVideo(host, port, id, channel, ssrc, transmitMode, transmitPort);}} else if (!func.isEmpty()) {QString buffer = GB28181Data::responseOk(info, toTag);this->writeData(host, port, id, buffer, "其他消息应答");}
}