(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210823432.7 (22)申请日 2022.07.12 (71)申请人 南京云创大 数据科技股份有限公司 地址 210000 江苏省南京市秦淮区永智路6 号南京白下高新技术产业园区四号楼 A栋9层 (72)发明人 刘鹏　张真　汪良楠　张堃　曹骝　 (74)专利代理 机构 南京中盟科创知识产权代理 事务所 (特殊普通合伙) 32279 专利代理师 孙丽君 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/59(2022.01) G06V 10/26(2022.01)G06V 10/28(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/269(2017.01) (54)发明名称 一种基于图像分割技术的地铁车厢人员违 规行为检测方法 (57)摘要 本发明公开了一种基于图像分割技术的地 铁车厢人员违规行为检测方法， 该方法包括以下 步骤： 基于监控摄像头读取当前车厢内画面； 采 用实时分割技术对地铁车厢内的座椅进行准确 分割， 并初始化座椅区域； 利用帧间差光流场算 法确定是否读取车厢内的监控画面； 若对车厢内 的监控画面进行读取， 则对画面中乘 客进行骨骼 点检测； 基于骨骼点的空间结构信息， 对其行为 动作进行分类； 若乘客行为异常， 则对其脚部关 键点进行定位， 并同座椅的有效区域相结合， 判 断其是否存在违规行为。 本发明能够检测车厢乘 客的违规行为、 不文明行为， 为文明出行做出贡 献， 且无需地铁工作人员进行巡逻检查， 从而不 会增加地铁工作人员的工作量。 权利要求书3页 说明书7页 附图1页 CN 115082965 A 2022.09.20 CN 115082965 A 1.一种基于 图像分割技术的地铁车厢人员违规行为检测方法， 其特征在于， 该方法包 括以下步骤： 基于监控摄 像头读取当前 车厢内画面； 采用实时分割技 术对地铁车厢内的座椅进行准确分割， 并初始化 座椅区域； 利用帧间差光 流场算法确定是否读取 车厢内的监控画面； 若对车厢内的监控画面进行读取， 则对画面中乘客进行骨骼点检测； 基于骨骼点的空间结构信息， 对其行为动作进行分类； 若乘客行为异常， 则对其脚部关键点进行定位， 并 同座椅的有效区域相结合， 判断其是 否存在违规行为； 所述利用帧间差光 流场算法确定是否读取 车厢内的监控画面还 包括以下步骤： 若监控场景中出现物体运动时， 通过两帧相减得到 两帧图像灰度值差的绝对值； 计算当前帧与 前一帧及后 一帧之间的帧差图像， 且对隔帧差分后的图像进行阈值化处 理， 得到隔帧差分后的二 值图像， 并检测到运动物体； 对监控画面的图像进行光流分析， 且设定差值图中不为零处 的像素对应于灰度梯度 大 的点； 计算出运动物体的运动点的速度、 坐标、 方向和灰度值， 确定监控画面中是否有物体， 若有物体则确定读取 车厢内的监控画面； 所述基于骨骼点的空间结构信息， 对其行为动作进行分类还 包括以下步骤： 获取监控图像中基于骨骼点的空间结构信息， 并构建一棵具有支持向量机的节点树， 且对节点树每一步中由超平面划分出的区域标记为非硬 类； 利用基于径向基核函数的非线性支持向量机对基于骨骼点的空间结构信息进行分类。 2.根据权利要求1所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法， 其特征在于， 所述采用实时分割技术对地铁车厢内的座椅进行准确分割， 并初始化座椅区 域还包括以下步骤： 预训练短时密集连接模块， 并将短时密集连接模块集成在U ‑net体系结构中， 形成短时 密集连接模块网络， 同时配置解码器； 使用短时密集连接模块网络做为编码器的主干网络， 并采用BiSeNet的上下文路径来 编码座椅图像的上 下文信息； 通过细节引导模块引导低层以单流方式学习空间信息， 获得空间细节； 将空间细节与编码器深度块的上下文特征进行融合， 输出分割结果， 并初始化座椅区 域。 3.根据权利要求2所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法， 其特征在于， 所述短时密集连接模块中的每个层对输入的图像或特征在不同的尺度和各自 的域进行编码， 且逐步减小层的卷积核大小。 4.根据权利要求2所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法， 其特征在于， 所述短时密 集连接模块中被分成若干子模块， 用ConvXi表示第i个子模块的运 算， 第i个子模块的输出为： xi＝ConvXi(xi‑1,ki)； 其中， xi‑1和xi分别为第i个子模块的输入和输出， ConvXi包括卷积层、 B N层和ReLU， ki是权　利　要　求　书 1/3 页 2 CN 115082965 A 2卷积层的内核大小， i 为非零自然数。 5.根据权利要求4所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法， 其特征在于， 所述短时密集连接模块的最终输出为： xoutput＝F(x1,x2,…,xn) 其中， F为融合操作， x1,x2,…,xn为所有块的特 征映射， n 为非零自然数。 6.根据权利要求2所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法， 其特征在于， 所述使用短时密集连接模块网络做 为编码器的主干网络， 并采用BiSeNet的上 下文路径来编码座椅图像的上 下文信息还 包括以下步骤： 设定短时密集连接模块网络除输入层和预测层外， 还 包括6个阶段； 第3阶段至第5阶段分别生成下采样率为1/8， 1/16， 1/32的特征图， 并使用全局平均池 化生成具有大感受野的全局上 下文信息； 采用U‑shape结构对全局特征进行上采样， 并将其与编码阶段的后2个阶段的特征进行 组合， 且在 BiSeNet之后使用注意模块细化每两个阶段的组合特性； 其中， 在最终的语义分割预测中采用BiSeNet中的特征融合模块将从第2阶段得到的1/ 8降采样特 征与解码器得到的1/8降采样特 征进行融合。 7.根据权利要求2所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法， 其特征在于， 所述通过细节引导模块引导低层以单流方式学习空间信息， 获得空间细节还 包括以下步骤： 采用laplacian算子对分割的真实背景图进行边缘检测， 生成边缘细节图， 并在第3阶 段中插入detail Head生成detai l feature map； 使用真实值的细节作为detai l feature map的引导 来知道低层学习； 其中， 所述Laplacian算子生成不同步长的细节特征图以获取多尺度细节信息， 并采用 上采样的方式将细节特征图映射成原始大小， 同时融合一个可训练的11 ‑1卷积来进 行动态 重加权； 利用边界和角点信息采用阈值0.1将预测细节转 化为最终的原图的边 缘二值图像； 所述细节特 征图的细节损失 公式如下： Ldetail(pd,gd)＝Ldice(pd,gd)+Lbce(pd,gd) pd为预测的细节， gd为预测的相应细节真实值， Lbce为二元交叉熵损失， Ldice为dice  loss， 细节图的高度为H、 细节图的宽度为 W； 式中， pd为预测的细节， gd为预测的相应细节真实值， H为高度， W为宽度， i为非零自然 数， σ 为平 滑因子。 8.根据权利要求1所述的一种基于图像分割技术的地铁车厢人员违规行为检测方法， 其特征在于， 所述对其脚部关键点进行定位还 包括以下步骤： 将对地铁车厢内的乘客进行拍摄后获取的待检测图像输入OpenPose， 并输出关键点置 信图和关键点之间亲和力的向量场；权　利　要　求　书 2/3 页 3 CN 115082965 A 3