(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210309939.0 (22)申请日 2022.03.28 (65)同一申请的已公布的文献号 申请公布号 CN 114419634 A (43)申请公布日 2022.04.29 (73)专利权人 之江实验室 地址 310023 浙江省杭州市余杭区文一西 路1818号人工智能小镇10号楼 (72)发明人 查长海　黄志勇　钟灵　袁海辉　 顾建军　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06V 30/40(2022.01)G06V 30/304(2022.01) G06V 30/148(2022.01) G06K 9/62(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 30/19(2022.01) G06V 10/764(2022.01) (56)对比文件 CN 113076967 A,2021.07.0 6 审查员 赵会玲 (54)发明名称 一种基于特征规则的曲谱解析方法与装置 (57)摘要 本发明公开了一种基于特征规则的曲谱解 析方法与装置。 首先使用摄像头对纸质版的曲谱 进行图像采集， 在采集到的图像中检测曲谱所在 的区域， 并针对区域内的曲谱图像进行旋转校 正。 在校正后的曲谱图像中， 先根据曲谱的谱线 特征分离 出谱线和符号， 同时获取谱线及符号在 图像上的像素坐标。 分离出的符号根据符号特征 进行分类， 分为符号、 描述符两种类型的符号， 同 时根据像素坐标可以获得三者之间的关联。 符号 可以获取音符的音调和拍号信息， 描述符可以获 取调号、 谱号、 连音、 升降调等曲谱信息。 综合符 号和描述符及他们之间的关联关系， 就能够智能 解析出曲谱 所包含的乐曲信息。 本发 明公开的曲 谱解析方法具有 音符识别准确率高的特点。 权利要求书2页 说明书7页 附图3页 CN 114419634 B 2022.07.26 CN 114419634 B 1.一种基于特 征规则的曲谱解析 方法， 其特 征在于， 包括以下步骤： S1， 采集图像， 对图像中曲谱区域的进行 特征检测， 将图像的前 景部分作为曲谱区域； S2， 计算曲谱区域的仿射变换关系得到仿射矩阵， 根据仿射矩阵进行投影， 并通过归一 化得到相同分辨 率的曲谱校正图像； S3， 计算曲谱校正图像中水平方向的像素点数量来统计谱线特征， 根据谱线特征进行 分类得到谱线数据和符号数据； S4， 根据聚类算法将符号数据分割为子符号数据， 并以包络框的形式存储； 通过霍夫变 换对每个子符号数据行圆形检测和直线检测； 根据是否包含圆形特征和直线 特征将符号数 据划分为音符数据和描述符数据； S5， 通过区域分割算法将音符数据划分为符头、 符干和符尾； 根据符头与音符所在谱线 的相对位置关系， 获得每个音符的音调； 解析符头和符尾的特征信息， 获得每个音符的节 拍； S6， 通过描述符和包络 框的特征信息， 将描述符数据进行分类， 得到描述符类型； S7， 综合描述符类型、 音符数据对应的音调和节拍， 完成曲谱解析。 2.根据权利要求1所述的基于特征规则的曲谱解析方法， 其特征在于， 所述步骤S1中， 对图像中曲谱区域的进行特征检测， 计算图像中所有像素点的颜色梯度值， 根据该颜色梯 度值得到边 缘角点， 将该边 缘角点范围内的图像作为图像的前 景部分， 即曲谱区域。 3.根据权利要求1所述的基于特征规则的曲谱解析方法， 其特征在于， 所述步骤S3具体 为： 计算曲谱校正图像中水平方向的黑色像素点数量， 在该黑色像素点数量超过当前行像 素点数量的70%时， 则认为当前行为一条谱线， 以此统计谱线特征， 根据谱线特征划分得到 谱线数据和符号数据。 4.根据权利要求3所述的基于特征规则的曲谱解析方法， 其特征在于， 所述谱线特征包 含谱线的起始位置横纵坐标、 终止位置横纵坐标以及谱线的线宽； 所述谱线的起始位置横 纵坐标为图像坐标系下的像素坐标。 5.根据权利要求1所述的基于特征规则的曲谱解析方法， 其特征在于， 根据聚类算法将 符号数据分割为子符号数据， 并以包络框的形式存储； 通过霍夫变换对每个子符号数据行 圆形检测和直线检测， 得到圆形检测的结果和 直线检测的结果； 所述圆形检测的结果包含 圆形特征的数量， 圆形是否实心， 所述直线检测结果包含直线 特征的数量， 每条直线的长短 和角度； 根据每个子符号数据及其包含的图像特征信息， 对特征信息进 行分类； 其中所有仅 包含圆形特征和直线 特征的子符号数据即为包含音符的数据， 将这些子符号数据统计进入 音符数据， 将不包 含音符的数据统计进入描述符数据。 6.根据权利要求1所述的基于特征规则的曲谱解析方法， 其特征在于， 根据符头与音符 所在谱线的相对位置关系， 获得每个音符的音调的过程具体为： 再利用霍夫圆特征检测算 法， 检测圆形所在的位置， 对符头和符尾进 行分辨； 记录符头数据中利用霍夫圆检测识别到 的圆心位置， 结合谱线位数据， 计算谱线间距， 基于符头圆心计算音符距离最下方谱线的距 离通过谱线间距与音符距离最下方谱线的距离的比值得到调号差， 由声部和调号差推断出 音符的音调。 7.根据权利要求1所述的基于特征规则的曲谱解析方法， 其特征在于， 所述描述符数据 为调号、 拍号、 谱号、 符点、 符杠、 延音 线、 小节线。权　利　要　求　书 1/2 页 2 CN 114419634 B 28.根据权利要求1所述的基于特征规则的曲谱解析方法， 其特征在于， 包络框的特征信 息包括包络 框的尺寸、 长 宽比； 符号的特 征信息包括符号的形状、 位置 。 9.一种基于特征规则的曲谱智能解析装置， 其特征在于， 包括一个或多个处理器， 用于 实现权利要求1 ‑8中任一项所述的基于特 征规则的曲谱解析 方法。 10.一种计算机可读存储介质， 其上存储有程序， 其特征在于， 该程序被处理器执行时， 用于实现权利要求1 ‑8中任一项所述的基于特 征规则的曲谱解析 方法。权　利　要　求　书 2/2 页 3 CN 114419634 B 3