解决超宽视差图像拼接难题 扩博智能研发团队论文刊发顶级期刊

　　近期，由扩博智能研发团队主导，并与苏州大学及英国赫尔瓦特大学(Heriot-Watt University)合作撰写的高精度风车叶片拼接算法论文《Towards Accurate Image Stitching for Drone-based Wind Turbine Blade Inspection》被可再生能源领域顶级期刊《Renewable Energy》接收，并于2022年12月21日刊发。此次登刊代表了扩博智能在风电领域相关原创核心技术被国际学术界高度认可。

　　《Renewable Energy》是可再生能源领域国际著名学术期刊，中科院JCR 一区，影响因子为8.634。在该项目中，扩博智能为第一资助单位，通讯单位，同时还受到国家自然科学基金及一带一路创新合作项目支持。

　　用新算法解决图像拼接的“老问题”

　　该篇名为《Towards Accurate Image Stitching for Drone-based Wind Turbine Blade Inspection》的论文阐述了扩博智能自主研发的高精度风车叶片拼接算法，该算法解决了超宽视差图像拼接(Wide Parallax Image Stitching)中的多个难题，且拼接精度为五种常规拼接算法的2-3倍。基于该算法拼接的叶片图像为后续叶片破损检测(Defect detection)、分类(Defect Classification)、去重(Deduplication)、叶片展示及智能分析(Blade Visualization and Analysis)等操作打好基础。

　　在传统拼接算法中，严重依赖物体表面纹理特征进行关键点提取，且拍摄设备的稳定性对拼接效果产生直接影响。再者，拼接图片如果太多且角度不稳，容易产生累计误差，导致尾部图片拼接后变形较大。而在实际风车叶片拼接场景中，上述条件均不具备：(1)常见风车叶片为纯白或纯红，纹理特征不明显，较难提取稳定的关键点，(2)在无人机进行叶片巡检中，因为阵风等因素影响，导致摄像头位姿略时刻变化，(3)常见风车叶片近20米，需近距离拍摄15-25张图片覆盖整个叶片，是典型的超宽视差图像拼接，极易产生累计误差，导致叶片变形或无法对齐等问题。

　　为解决以上问题，扩博智能提出了一种从粗粒度到细粒度的高精度叶片拼接算法(From coarse-grained to fine-grained image stitching)。在粗粒度拼接阶段，首先进行低质量图片过滤，之后巧妙利用图像中叶片边缘、相机-叶片距离(camera-blade distance)等信息拼接出一个大致叶片轮廓，避免了因图像位置错误、运动模糊等导致无法拼接的问题。特别需要指出的是，扩博智能推出的自动叶片巡检系统可以尽最大可能稳定相机-叶片的距离及速度，确保拍摄图像的稳定性跟清晰度。

　　而在细粒度拼接阶段，研究团队将拼接问题转化为典型的优化问题，通过Adam optimizer的方式进行损失函数优化，进而回归最优拼接参数组合。具体来说，研究团队一共定义了两个损失(Texture Loss及Shape Loss)跟三个约束项(Scale Constraint， Rotation Constraint及Overlap Constraint)来优化粗粒度拼接中的细微错误跟变形问题，并且提出了偏移方法(shifting)进一步抵消因为相机不稳定导致的边缘不对齐问题。最后，研究团队还提出了一种叶片渲染技术，用来去除拼接处的阴影，提升叶片可视化效果。经过在多个数据库上对比测试，扩博智能提出的拼接算法在精度上达到了常规拼接算法的2-3倍，满足工业级拼接精度要求。

　　以开源数据集邀业界共同实践创新

　　除上述的算法成果，扩博智能团队还在论文中发布了一个开源数据集，将自身积累和学习的数据集与学术界进行分享和交流。对于正在这个行业中努力探索和实践更多样风车叶片图像拼接技术的企业和研究者来说，分类越详细，场景越真实的风车叶片数据越能让算法更好地进行学习和练习，进而使算法更好地应用于实际场景。可以说，风车叶片图像拼接技术的突破与是否能获取足量的风车叶片图像数据样本有密不可分的关系。

　　此前在相关研究领域中，一共有四个开源的风车叶片数据集，但都各自存在一些短板和问题。在论文中，扩博智能团队展示了有些数据集的数据只能用于3D数据重构，有些图片拍摄的是静止的叶片零件而不是真实场景中的风车，而有些数据集的数据过于模糊，并不针对于风车叶片而是拍摄了整个风车。

　　扩博智能此次公开的数据集中包括详细的风车应用场景分类，对可能出现的defect的标注，以及扩博智能团队如何对叶片进行具体的分割，拼接等技术细节。开源数据集不仅包含了针对于风车叶片的各种场景细节，还会与扩博智能的实践操作绑定，并实时进行数据更新。在风电领域，扩博智能使用的是自主研发的高度智能化、模块化的 “扩博博云风机叶片智能化巡检系统”。该系统包括无人机自动巡检系统和叶片数字化管理平台两部分。其无人机自动巡检系统基于计算机视觉等人工智能技术，可实现无人机的100%自主飞行并以每台风机15-25分钟高效智能巡检。巡检完成后将提供清晰完整的图像资料,准确定位的初检缺陷图形和尺寸。数据处理及管理平台将无人机自动巡检采集到的图像数据进行智能识别,并提供兼备原始数据图像、分类缺陷等级、巡检维修建议的综合检测报告。根据在风场的一线作业经验，扩博智能团队的开源数据集也将不断进行补充和优化。

　　论文背后的 “小巨人”

　　本次主导论文撰写与发布的扩博智能研发团队，来自于这家2021年获得国家级专精特新“小巨人”的扩博智能。 扩博智能聚焦计算机视觉和机器学习技术，专注为行业和企业用户提供端到端一体化智能服务，能有效提升传统行业运营效率并加快数字化变革。截至目前，扩博智能已提交130 多项知识产权申请，获得多项发明专利的授权，为打造面向风电行业的人工智能产品奠定了深厚的技术基础。

　　在去年于上海举办的WAIC世界人工智能大会中，扩博智能还首次公开了风机叶片前缘腐蚀维修智能机器人“Sparrow”。扩博智能的“Sparrow”机器人可通过扩博智能自主研发的特种机器人平台，收集叶片缺陷数据，有针对性地完成叶片的维护及修理，减少风机在发电过程中的故障率，及停机维修时间，最终提升风机发电效率。目前，“Sparrow” 风机叶片前缘腐蚀维修智能机器人已完成最新一轮的维修测试，进入最终的调试阶段，并将很快投入使用，服务全国各风场。(图片来源扩博)