Preliminary Research on House Information Extraction Technology Based on UAV Images
-
摘要: 本文以新疆疏附县境内的无人机影像为基础,采用多种方法对研究区内的房屋进行自动提取。由于不同地物在无人机影像中的色彩差异不显著,基于像元的房屋信息提取效果不理想;面向对象的房屋信息提取方法能够识别出绝大部分房屋,但基于DOM影像的提取结果难以识别房屋数量及单栋房屋的面积,而nDSM数据具有房屋的高度信息,基于nDSM数据提取的房屋信息相对较好,提取的房屋信息与实际结果较为吻合,造成误差的原因主要是简易棚和树木的干扰。结果表明,无人机影像具有明显优势,可为区域房屋调查提供有效的基础信息。Abstract: Based on UAV images in Shufu county, Xinjiang Province, a variety of methods were used to automatically extract houses in the study area. Because the color difference of different objects in the drone image is not significant, the selected classification method is not suitable and the pixel-based house information extraction effect is not ideal. Object-oriented house information extraction methods can identify most houses, but it is difficult to identify the number of houses and the area of a single house due to its base on DOM image extraction. With the elevation information of houses, the house information extracted based on nDSM data is the best. The extracted house information is more consistent with the actual one. The main error is caused by simple sheds and the interference of trees. The results show that UAV images have obvious advantages and can provide effective basic information for regional house surveys.
-
Key words:
- UAV image /
- Houses /
- Information extraction
-
引言
新疆是我国地震活动最为强烈的地区之一,震害种类繁多,在历次破坏性地震中,由房屋倒塌及损毁造成人员伤亡和财产损失的情况屡见不鲜(付博,2018),为有效减少或减轻地震造成的灾害风险,开展以房屋为主的承灾体调查是一项重要的基础性工作。传统的方法多以地面调查(人员走访、仪器测绘)为主,但其投入较大、效率偏低,难以满足实际工作需求。随着遥感技术的发展,特别是无人机的应用,为快速、高效地获取房屋信息提供了新的技术思路。
本世纪初就有基于遥感影像提取建筑物信息的研究,近年来提取方法、技术逐渐成熟。曾龙文(2017)利用AdaBoost 算法采用颜色、纹理和形状特征检测建筑物,并将算法集成在系统中,设计和实现了基于无人机遥感影像的建筑物提取系统;李鹏飞(2015)利用阈值分割的方法从无人机影像中实现了建筑物与周围环境的初步分割,实现了建筑物的半自动化提取;和仕芳等(2016)运用旋翼无人机获取了云南部分地区建筑的高清影像,为开展抗震能力调查评估提供重要支撑;李金香等(2019)采用高分辨率的遥感数据研究并提取真实居民地空间分布信息;此外部分学者还利用地震发生之后的无人机影像进行房屋震害信息提取,并取得了较好的实际应用效果(王晓青等,2003,2008;李金香等,2017)。
目前通过遥感影像获取建筑物信息的方法主要有2种,一种是通过目视解译的方法,另一种是通过计算机半自动或自动提取。前者主要是以人眼观察的方式,凭借实地调查资料和经验来提取地物,该方法目前应用范围最广,也是解译结果最准确的方法(赵妍等,2016),但效率偏低,因此依靠计算机技术自动识别和提取建筑物已成为未来遥感影像解译的趋势(曾龙文,2017)。本次工作我们以西昆仑山前的农村房屋为研究对象,利用旋翼无人机获取的高分辨率数据,尝试应用不同的方法自动提取房屋,并将提取的结果与实际情况进行对比分析,讨论其优势与不足,以期为今后的房屋调查和地震现场应急提供技术支持。
1. 研究区房屋特征及无人机影像数据采集
本次工作的研究区位于西昆仑山前的疏附县境内,该地区新生代以来构造活动强烈,地震活动频发,且人口相对密集,经济发展相对滞后。2004年之前该地区农村居民的房屋抗震能力较差,2004年之后新疆率先开展农村安居工程,经过多年的努力,目前研究区内农村居民的房屋绝大部分以砖木结构为主,并采取了必要的抗震措施,抗震能力得到显著提高。此外居民区的规划也更为合理,基本沿路两侧分布。
我们使用搭载Zenmuse X3云台(1276万像素)的微型无人机对研究区的房屋开展数据采集,航拍区位于山前冲洪积平原,海拔约1300 m,地形相对平整,整体高差较小。一般来说,在无人机航拍过程中,飞行高度越低,影像清晰度就越高,越便于观察房屋的结构,但与此同时也会造成影像数据量过大,影响后期处理;飞行高度过高,在单张照片中会包含更大范围的建筑物影像,但会造成单栋房屋的分辨率降低。因此为确保影像的分辨率同时又不至于使数据量过于庞大,作业过程中无人机的飞行高度控制在约100 m,相邻照片间的重叠率达70%以上,无人机飞行的航向与道路基本平行。共拍摄有效航片574张,覆盖面积2.14 km2。
2. 研究区房屋信息提取
目前基于无人机影像自动提取房屋信息的方法可大体分为2类,分别为基于像元的房屋影像识别和面向对象的分类方法。基于像元的分类方法主要考虑像元的波段光谱特征(张磊等,2009;付伟锋等,2018),面向对象的分类方法不仅利用了影像的光谱信息,还综合了对象面积、大小、灰度差异、位置关系等特征(付博,2018)。本次工作分别采用上述2种方法对获取的无人机影像进行房屋信息提取。
2.1 基于像元的房屋信息提取
基于像元的房屋分类有多种方式(监督分类、非监督分类),本研究采用监督分类方法(用被确认的样本像元去识别其他未知类别像元的过程),建立判别函数进行图像分类,即根据已知训练区提供的样本,选择特征参数,作为决策规则。具体步骤如下:
(1)类别定义。主要通过目视将影像中的地物分为水体、公路、灌木、裸地、植被、黄色屋顶、白色屋顶、蓝色屋顶、红色屋顶;(2)样本选择。为前期定义的每类地物进行样本选择,在绘制样本区域时尽量让每类地物均匀地分布在影像区域,初次完成样本选择后需进行样本间的可分离性检验,其数值在0~2之间,数值越大,意味着可分离度越高。如图1所示,绝大部分样本间的可分离度均超过了1.8,属于合格样本,当数值小于1.8时则需要编辑样本或重新选择样本;(3)选择分类器。本研究选用的软件包含多种分类器,如:平行六面体、最小距离、马氏距离、最大似然、神经网络、支持向量机,依据分类的复杂程度和精度需求,本文最终选用神经网络分类器进行地物分类,此分类方法的原理是利用计算机模拟人脑结构,用许多小的处理单元模拟生物的神经元,用算法实现人脑的识别、记忆、思考过程。
完成上述步骤之后,利用神经网络分类器对影像进行监督分类,房屋的分类结果如图2所示。为了验证其分类效果,先通过目视解译将图中的房屋用黑点标示,从结果中可以看出,部分原本是道路和裸地的区域被识别为房屋,提取的结果与实际情况存在较大差异,并不十分理想,分析原因可能是研究区的房屋多以砖木结构为主,屋顶通过铺设草席并覆盖房泥封顶,此外,无人机数据采集的时间正值春季,当地沙尘比较严重,地物整体呈现出灰黄的色调,使得屋顶的影像特征与未硬化的路面以及裸地非常相似,而基于像元的房屋信息提取是以单个影像像元为基础,导致不能较好地提取房屋信息。
2.2 面向对象的房屋信息提取
面向对象的房屋信息提取技术以每个影像对象为基本处理单元,同时融入目标地物的本质属性,包括光谱、纹理、形状等信息,通过建立的规则将遥感影像中的地物进行分类与提取,不仅包含了对象的光谱信息,还包含了与相邻对象之间的语义信息(杜凤兰等,2004;付博,2018;金永涛等,2018;荆帅军,2019)。
在研究区内获取的无人机数据既可以生成数字正射影像图(Digital Orthophoto Map,DOM),也可生成归一化数字表面模型(normalized Digital Surface Model,nDSM)数据,本次工作将基于上述2种影像完成面向对象的房屋提取。
2.2.1 基于DOM的房屋信息提取
依据影像的光谱、纹理等性质将一幅影像区分为具有不同特征的区域,在遥感影像信息提取过程中,影像分割是最为关键的一步,分割方法有很多种,每种方法各有优点与局限。本文采用基于阈值的分割算法进行影像分割,如图3所示,从图中可以看出基于阈值15的分割结果将地物分割得太过细碎,而阈值为30时得到的房屋图斑整体性较好。
完成影像分割后,每个被分割对象仅为性质一致的单元,需要通过不同特征的组合与分类确定其属于哪一类地物。一般情况下,从对象的光谱、大小、纹理、形状、上下文信息等方面,选取2个以上合适的特征进行组合,才能较好地识别对象的类别。特征选取得越准确则分类结果就会相对更加精准,但如果特征选取的数量过多,各个特征之间会增加相互干扰,从而导致分类结果变差。本研究的重点是将房屋从影像中提取出来,考虑到房屋的色调分布相对均匀,与周围植被相比部分房屋的平均亮度较高,此外,房屋大多呈现出较为规则的矩形,因此本研究选取光谱特征和形态特征进行房屋信息提取。
常用的光谱特征参数有光谱平均值、亮度、比率、标准差、最大像素值,本文选取亮度和比率,其中亮度代表描述对象均值在各波段的平均值,比率代表单个影像对象的均值与所有同该对象相关的总光谱层数的比值,这2项参数容易将房屋与植被、土地等地物进行区分(熊增连等,2015)。常用的形态特征参数包括面积、周长、长宽比、紧凑度、矩形度、形状指数,其中长宽比是反映地物的形状呈现矩形程度的参数,是多边形长宽的比值,而影像中的房屋大多呈现相对规则的矩形,因此本文选取长宽比作为形状特征的参数。
确定特征参数之后,需对特征参数取值,要不断调整方能达到相对较好的分类效果,影像分类结果如图4所示,图4(b)为经过多次调整特征参数取值后的结果,其中亮度取值为154~225、比率取值0.3~0.6、长宽比取值1.5~4,从分类结果看,基于DOM的房屋信息提取方法能识别出绝大部分的房屋,仅有少量靠近房屋的农田因其形状与房屋相似而被识别为房屋,不足之处在于提取的结果与房屋的实际轮廓仍有一定差异,难以厘清房屋的数量及单栋房屋面积。
2.2.2 基于nDSM数据的房屋信息提取
归一化数字表面模型(nDSM)数据可以反映地物真实高度,本次获取的无人机数据包含坐标和高程信息,通过相应软件处理可生成包含三维坐标(xyz)和颜色信息(RGB)的点云数据,基于点云数据做进一步处理即可获得数字地表模型(DSM)数据(图5),从DSM数据中剔除地表高程,便可生成归一化数字表面模型(nDSM)(图6(a))。
得到的nDSM数据已可区分绝大部分裸地、道路等(黑色区域),而绝大部分房屋呈红色色调,因此本文采用光谱特征中的亮度参数对nDSM数据进行识别,实现房屋信息提取,如图6(b)所示。从图中可以看出,几乎所有房屋轮廓均得到了较好识别,但图像放大后发现,提取的结果与实际情况并非完全一致,影像中共有房屋244栋(目视解译),识别出的房屋轮廓有232个,且232个房屋轮廓中仅准确识别出217栋房屋,有15个轮廓属于误分,将个别大型卡车和树木识别为房屋(图7(a)、图7(b)),此外识别出的房屋轮廓与房屋实际轮廓并非100%吻合,部分提取的结果中误将房屋周边搭建的简易棚和树木识别为房屋的一部分(图7(c)、图7(d))。
为进一步定量评价提取的效果,将影像范围内的房屋分为3个评价区,并采用提取正确率(正确提取的面积占实际提取面积的百分比)对其进行检验。图8(b)中紫色区域为人工目视圈定的单体房屋,图8(a)黄线部分为本次工作自动提取的建筑物范围,分别统计3个评价区内人工圈定的房屋面积Sm、自动提取的房屋面积Sa、二者的公共部分Sc,进而统计每个评价区的提取正确率C(用户精度),具体结果如表1所示。评估区1内有房屋93栋,提取正确率达73%,评估区2内有房屋78栋,房屋提取效果较好,提取正确率达84%,评估区3内有房屋73栋,提取正确率达到75%,3个评估区中,评估区2的房屋提取正确率最高,主要是因为评估区2内的房屋多为公共用房(学校、医院、村委会),此类房屋轮廓清晰,与周边环境差异显著,因此提取房屋的范围与目视圈定的范围较为接近,另外2个评估区内的房屋多为居民自建,房屋周边有树木或搭建有简易棚,而这2种地物均具有一定的高程,因此提取房屋轮廓容易受到干扰,与房屋实际轮廓存在较大差异。
表 1 房屋提取精度评价Table 1. Accuracy of evaluation of house extraction评价区 Sm/m2 Sa/m2 Sc/m2 C/% 1 6045 6324 4616 73 2 5074 5135 4313 84 3 5112 5226 3919 75 3. 结论与讨论
从上述不同方法的提取结果来看,基于像元的房屋信息提取效果不理想,部分道路及裸地被识别为房屋,但不能因此则认为该方法不适用于房屋信息的提取,曾龙文(2017)利用基于像元的方法提取建筑物信息时发现,由于蓝色屋顶的建筑与周边地物的色彩差异显著,工业厂房等蓝色屋顶建筑物识别准确率为91%,效果明显优于灰色屋顶的建筑,这表明基于像元的房屋信息提取方法可能适用于房屋与其他地物色彩存在明显差异的地区,而本文研究区内屋顶的影像特征与未硬化的路面以及裸地非常相似,可能是造成分类效果不理想的原因之一。此外,本研究仅选择了神经网络分类器对影像进行监督分类,也是造成分类效果不理想的原因。
在面向对象的房屋信息提取中,本研究分别使用了DOM影像和nDSM数据进行提取,对比二者提取的结果,2种方案都能将大部分植被、房屋、道路较好地分离,但基于DOM影像提取结果的房屋被分割得较碎,提取结果与房屋实际轮廓存在差异,难以厘清房屋数量及单栋房屋面积。由于nDSM数据包含房屋高度信息,因此基于nDSM数据提取的房屋效果较好,但提取结果与房屋实际轮廓并非完全吻合,通过对随机选取区域的定量评价表明,该方法对轮廓清晰的房屋提取效果较好,误差主要来源于房屋周围树木以及简易棚的干扰,此外要获取研究区内的nDSM数据,需要较高分辨率和重合率的无人机数据,处理步骤也较为繁琐,在一定程度上制约了其应用范围。
本研究采用不同方法对研究区内的无人机影像进行房屋信息提取,结果表明不同提取方法各有优势与局限性,提取的精度既受方法自身影响,也有来自无人机影像的制约,因此使用无人机影像提取房屋信息时,需要依据实际情况因地制宜选取合理的方法。目前利用无人机正射影像可提取出与房屋轮廓相似的矢量数据,从而比较容易得到影像范围内房屋的数量以及单层房屋的面积,利用倾斜摄影的无人机影像还可生成房屋的三维模型,能够呈现房屋的立体视觉效果,直观了解房屋的结构类型、外墙装饰等信息。将无人机摄影技术应用于房屋调查、震害分析、风险评估已处于实用性阶段,相信随着无人机摄影技术的发展以及后期数据处理方法的进步,在今后开展房屋调查等工作时,无人机将会有更广阔的应用前景。
-
表 1 房屋提取精度评价
Table 1. Accuracy of evaluation of house extraction
评价区 Sm/m2 Sa/m2 Sc/m2 C/% 1 6045 6324 4616 73 2 5074 5135 4313 84 3 5112 5226 3919 75 -
杜凤兰, 田庆久, 夏学齐等, 2004. 面向对象的地物分类法分析与评价. 遥感技术与应用, 19(1): 20—23 doi: 10.3969/j.issn.1004-0323.2004.01.005Du F. L. , Tian Q. J. , Xia X. Q. , et al. , 2004. Object-oriented image classification analysis and evaluation. Remote Sensing Technology and Application, 19(1): 20—23. (in Chinese) doi: 10.3969/j.issn.1004-0323.2004.01.005 付博, 2018. 基于无人机正射影像的建筑物震害识别研究. 北京: 中国地震局地质研究所.Fu B., 2018. Recognition of Earthquake-caused buildings damage based on UAV orthophoto. Beijing: Institute of Geology, China Earthquake Administration. (in Chinese) 付伟锋, 邹维宝, 2018. 深度学习在遥感影像分类中的研究进展. 计算机应用研究, 35(12): 3521—3525 doi: 10.3969/j.issn.1001-3695.2018.12.001Fu W. F. , Zou W. B. , 2018. Review of remote sensing image classification based on deep learning. Application Research of Computers, 35(12): 3521—3525. (in Chinese) doi: 10.3969/j.issn.1001-3695.2018.12.001 和仕芳, 邓树荣, 张方浩等, 2016. 旋翼无人机在建筑物抗震能力调查中的应用. 地震研究, 39(4): 673—679 doi: 10.3969/j.issn.1000-0666.2016.04.018He S. F. , Deng S. R. , Zhang F. H. , et al. , 2016. Application of the rotor UAV in the seismic-capacity survey of the buildings. Journal of Seismological Research, 39(4): 673—679. (in Chinese) doi: 10.3969/j.issn.1000-0666.2016.04.018 金永涛, 杨秀峰, 高涛等, 2018. 基于面向对象与深度学习的典型地物提取. 国土资源遥感, 30(1): 22—29Jin Y. T. , Yang X. F. , Gao T. , et al. , 2018. The typical object extraction method based on object-oriented and deep learning. Remote Sensing for Land & Resources, 30(1): 22—29. (in Chinese) 荆帅军, 2019. 基于无人机倾斜影像的建筑物震害提取研究. 北京: 中国地震局地震预测研究所.Jing S. J., 2019. Research on building earthquake damage extraction based on UAV oblique images. Beijing: Institute of Earthquake Science, China Earthquake Administration. (in Chinese) 李金香, 李亚芳, 李帅等, 2017. 无人机遥感技术在新疆皮山地震灾情获取中的应用. 震灾防御技术, 12(3): 690—699 doi: 10.11899/zzfy20170324Li J. X. , Li Y. F. , Li S. , et al. , 2017. Application of remote sensing technology of UAV in the acquisition of earthquake disaster in Pishan, Xinjiang. Technology for Earthquake Disaster Prevention, 12(3): 690—699. (in Chinese) doi: 10.11899/zzfy20170324 李金香, 赵朔, 金花等, 2019. 结合纹理和形态学特征的高分遥感影像建筑物震害信息提取. 地震学报, 41(5): 658—670 doi: 10.11939/jass.20190014Li J. X. , Zhao S. , Jin H. , et al. , 2019. A method of combined texture features and morphology for building seismic damage information extraction based on GF remote sensing images. Acta Seismologica Sinica, 41(5): 658—670. (in Chinese) doi: 10.11939/jass.20190014 李鹏飞, 2015. 基于无人机影像建筑物提取技术的研究. 南昌: 东华理工大学.Li P. F., 2015. Study on the technology of building extraction based on UAV aerial image. Nanchang: East China University of Technology. (in Chinese) 王晓青, 魏成阶, 苗崇刚等, 2003. 震害遥感快速提取研究——以2003年2月24日巴楚-伽师6.8级地震为例. 地学前缘, 10(特刊): 285—291Wang X. Q. , Wei C. J. , Miao C. G. , et al. , 2003. The extraction of seismic damage from remote sensing images——A case study of Bachu-Jiashi earthquake with MS=6.8 occurred on Feb. 24, 2003. Earth Science Frontiers, 10(S): 285—291. (in Chinese) 王晓青, 王龙, 王岩等, 2008. 汶川8.0级大地震应急遥感震害评估研究. 震灾防御技术, 3(3): 251—258 doi: 10.3969/j.issn.1673-5722.2008.03.007Wang X. Q. , Wang L. , Wang Y. , et al. , 2008. Study on the damage assessment of Wenchuan Ms8.0 earthquake based on remote sensing imagery. Technology for Earthquake Disaster Prevention, 3(3): 251—258. (in Chinese) doi: 10.3969/j.issn.1673-5722.2008.03.007 熊增连, 潘建平, 阳春花, 2015. 面向对象的房屋特征信息自动提取方法. 地理空间信息, 13(5): 16—18. doi: 10.3969/j.issn.1672-4623.2015.05.006 曾龙文, 2017. 基于无人机遥感影像建筑物提取系统设计与实现. 雅安: 四川农业大学.Zeng L. W., 2017. Design and implementation of building extraction system for remote sensing image based on unmanned aerial vehicle. Yaan: Sichuan Agricultural University. (in Chinese) 张磊, 张景发, 2009. 基于面向对象分类的建筑物倒塌率计算方法研究. 地震, 29(增刊): 139—145Zhang L. , Zhang J. F. , 2009. Research on the ratio of collapsed buildings based on object-oriented classification. Earthquake, 29(S): 139—145. (in Chinese) 赵妍, 张景发, 姚磊华, 2016. 基于面向对象的高分辨率遥感建筑物震害信息提取与评估. 地震学报, 38(6): 942—951 doi: 10.11939/jass.2016.06.014Zhao Y. , Zhang J. F. , Yao L. H. , 2016. Seismic damage information extraction and evaluation of buildings with high resolution remote sensing based on object—oriented method. Acta Seismologica Sinica, 38(6): 942—951. (in Chinese) doi: 10.11939/jass.2016.06.014 -